Curso de Inteligencia Artificial · Unidad 9 · Material didáctico para secundaria, Bachillerato y FP. Índice del curso completo. Duración: 2–3 sesiones de 55 minutos y trabajo autónomo.
Aprenderás a evaluar aplicaciones de IA mediante casos de contratación, vigilancia, vehículos autónomos y protección de datos.
Antes de empezar: cuando una predicción afecta a una persona
Imagina que una empresa recibe 800 solicitudes para contratar a un técnico informático. Para ahorrar tiempo decide utilizar un programa que ordena automáticamente a las personas candidatas. El programa devuelve una puntuación, pero nadie puede explicar por qué algunas personas han quedado descartadas. ¿Sería suficiente con que el programa acertara en muchos casos?
En esta unidad aprenderemos a identificar riesgos reales, reconocer los principios éticos asociados y proponer soluciones. No se trata de memorizar palabras bonitas: debemos poder comprobar si una decisión automatizada se ajusta a esos principios.
9.1. Qué es la ética aplicada a la IA
La ética estudia qué acciones son correctas, qué consecuencias tienen y qué responsabilidades debemos asumir ante otras personas. Cuando diseñamos o utilizamos un sistema de inteligencia artificial, también tomamos decisiones humanas: qué datos reunir, qué objetivo optimizar, quién evaluará el resultado y qué hacer si el sistema perjudica a alguien.
La IA puede ayudarnos a diagnosticar enfermedades, detectar fallos industriales o facilitar el aprendizaje. También puede clasificar injustamente a personas, vulnerar su intimidad o generar información falsa. Los mismos avances técnicos pueden resultar beneficiosos o problemáticos según su diseño y su uso.
La Recomendación sobre la Ética de la Inteligencia Artificial de la UNESCO, adoptada en noviembre de 2021, propone principios, valores y áreas de acción política para orientar su desarrollo. En este capítulo trabajaremos cinco principios seleccionados por el currículo de Hong Kong; no son una reproducción exhaustiva de toda la Recomendación.
9.2. Cinco principios éticos para analizar una aplicación
Los principios se complementan. Por ejemplo, un sistema puede parecer preciso, pero vulnerar la privacidad; otro puede preservar los datos, pero discriminar a quienes no se parecen al alumnado incluido en su conjunto de entrenamiento. Evaluar la IA exige considerar varias dimensiones a la vez.
9.3. Transparencia: comprender qué decide el sistema
La transparencia empieza por informar a las personas de que se está utilizando IA, para qué se utiliza y qué consecuencias puede tener. La explicabilidad pretende ofrecer motivos comprensibles de una salida concreta. No siempre es posible explicar por completo cada operación interna de una red neuronal, pero sí podemos documentar datos utilizados, limitaciones, pruebas, criterios de decisión y mecanismos de revisión.
Imaginemos un sistema que etiqueta una fruta como «plátano» y cambia su predicción al colocar una pegatina de colores en la imagen. Quizá el modelo aprendió una pista irrelevante. Si no examinamos su comportamiento, podríamos confiar en una respuesta equivocada.
| Pregunta de auditoría | Ejemplo de comprobación |
|---|---|
| ¿Se ha comunicado el uso de IA? | Aviso claro antes de que se aplique al proceso. |
| ¿Por qué se recomendó esta opción? | Factores generales y posibilidad de revisión. |
| ¿Qué límites conoce el equipo? | Informe de pruebas y casos de error. |
9.4. Justicia y equidad: aprender de datos sin reproducir desigualdades
Un algoritmo aprende patrones que aparecen en sus datos. Si los ejemplos históricos reflejan preferencias injustas, el modelo puede repetirlas. Supón que una empresa contrató en el pasado a menos mujeres para puestos técnicos por motivos ajenos a su competencia. Si los datos de contratación se convierten en «respuestas correctas», la IA podría aprender ese sesgo.
La equidad requiere analizar a quién perjudica el sistema, qué grupos se han incluido en sus pruebas y si las diferencias observadas están justificadas. No basta con decir que el algoritmo «no ve» una característica personal: otras variables pueden actuar como sustitutos.
| Caso ficticio: selección de perfiles | Grupo A | Grupo B |
|---|---|---|
| Candidaturas evaluadas | 100 | 100 |
| Candidaturas recomendadas | 60 | 30 |
| Tasa de recomendación | 60 % | 30 % |
En este ejemplo inventado existe una diferencia visible entre tasas. La diferencia no demuestra por sí sola una discriminación: para analizarla debemos conocer las competencias, los criterios de selección, las condiciones de evaluación y las posibles causas. Es una señal que exige investigar, no una sentencia automática.
9.5. Beneficencia: buscar beneficios reales y minimizar riesgos
Beneficencia significa desarrollar y utilizar tecnología buscando el bienestar de las personas. Se relaciona con la prevención de daños: un sistema destinado a mejorar el tráfico no debería aumentar los accidentes, y una herramienta educativa no debería perjudicar a quien necesita más apoyo.
El currículo original propone robots de seguridad en aeropuertos. Antes de utilizarlos habría que preguntar: ¿qué peligro concreto disminuyen?, ¿cómo interactúan con personas vulnerables?, ¿qué sucede si confunden un objeto inocuo con una amenaza?, ¿existen alternativas menos intrusivas?
La comparación correcta no es «IA sí o no» sin contexto, sino beneficios esperados, perjuicios posibles y medidas para prevenirlos.
9.6. Responsabilidad: ¿quién responde cuando se equivoca?
Que una decisión se obtenga con un modelo no elimina las responsabilidades humanas u organizativas. Debe existir una persona o entidad encargada de validar el sistema, supervisar los resultados, registrar incidentes y tramitar reclamaciones.
Un vehículo automatizado permite estudiar problemas difíciles, como el llamado «dilema del tranvía». Es un experimento mental útil para debatir, pero el trabajo práctico de seguridad vial se centra en reducir riesgos, respetar normas, prever fallos y evitar llegar a situaciones extremas, no en escoger rutinariamente quién debe resultar perjudicado.
| Fase | Responsabilidad posible |
|---|---|
| Diseño | Definir finalidades, límites y medidas preventivas. |
| Despliegue | Comprobar que funciona en las condiciones previstas. |
| Uso | Supervisar, informar y permitir revisión humana cuando proceda. |
| Incidente | Investigar, corregir y responder ante personas afectadas. |
9.7. Privacidad: no todo dato útil debe recopilarse
Un móvil puede manejar datos de ubicación, imágenes, micrófono, historial de uso y contactos, según sus permisos y configuración. Al combinar datos de distintas fuentes se pueden deducir rutinas que una persona no ha publicado expresamente.
Antes de usar una IA, debemos identificar la finalidad del tratamiento, limitar la información recopilada, asegurarla y determinar cuánto tiempo se conservará. Si para enseñar a clasificar residuos basta con imágenes de objetos, no necesitamos fotografías de caras ni nombres del alumnado.
La normativa aplicable en España incluye el Reglamento General de Protección de Datos y la legislación española correspondiente. Para situaciones reales conviene consultar las orientaciones actualizadas de la AEPD y las políticas del centro.
Actividad 1. Auditoría de una IA que selecciona candidatos
Situación ficticia: una empresa utiliza una IA que recibe currículos, ordena solicitudes y descarta automáticamente al 40 % de aspirantes. El sistema no permite reclamar y guarda todos los documentos indefinidamente.
- Escribe cuál es la finalidad declarada del sistema y qué personas quedan afectadas.
- Relaciona al menos cuatro problemas concretos con los cinco principios de esta unidad.
- Propón una medida verificable para cada problema (por ejemplo, plazo limitado de conservación, aviso previo o revisión por una persona).
- Redacta un mensaje de seis líneas que la empresa debería mostrar antes de procesar una candidatura.
- Explica qué datos no serían necesarios y por qué.
Producto: tabla «principio → riesgo → prueba → mejora», más el texto informativo.
Actividad 2. Detectar posibles sesgos: interpretar antes de concluir
Trabaja con los datos ficticios de la tabla del apartado 9.4.
- Calcula la diferencia absoluta entre las tasas de recomendación de los grupos A y B.
- Propón tres explicaciones posibles de esa diferencia; evita afirmar que todas son ciertas.
- ¿Qué información adicional pedirías para distinguir entre un problema de datos, de reglas o de diferencias en las candidaturas?
- Diseña una prueba en la que solo cambie una característica irrelevante para el puesto, manteniendo iguales las competencias.
- Explica por qué no debe utilizarse la IA como único árbitro de una contratación sin garantías adecuadas.
Actividad 3. Dilema ético sobre privacidad en el instituto
Un centro propone instalar cámaras con IA para registrar la asistencia mediante reconocimiento facial. En grupos de tres, preparad un informe de una página que responda:
- ¿Qué problema se quiere solucionar realmente?
- ¿Qué riesgos existen para la privacidad, la equidad y la seguridad?
- ¿Qué alternativas menos invasivas podrían resolverlo?
- ¿Quién revisaría los errores? ¿Cómo podrían reclamar los estudiantes?
- ¿Cuál es vuestra recomendación y cómo la justificaríais?
Criterio de calidad: deben aparecer evidencias y medidas concretas, no solo opiniones.
Autoevaluación y resumen
Contesta sin consultar la teoría:
- ¿En qué se distinguen ética, transparencia y explicabilidad?
- ¿Por qué un conjunto de datos grande puede contener sesgos?
- ¿Qué significa la minimización de datos?
- ¿Una diferencia estadística demuestra por sí sola discriminación? Justifica.
- ¿Quién debe asumir la responsabilidad de un sistema automatizado?
Resumen: la calidad técnica importa, pero no es suficiente. La IA responsable exige analizar transparencia, justicia, beneficencia, responsabilidad y privacidad, y establecer medidas verificables para prevenir daños.
Fuentes y créditos
- Hong Kong Education Bureau (2023), Module on Artificial Intelligence for Junior Secondary Level, Booklet 2, Unit 2, pp. 22–31. Consultar fuente.
- UNESCO (2021), Recomendación sobre la Ética de la Inteligencia Artificial. Consultar fuente.
- Agencia Española de Protección de Datos (AEPD), orientaciones sobre protección de datos. Consultar fuente.
- Explicaciones, esquemas y actividades: elaboración original para TICenelAula, adaptadas al contexto educativo español. Las fotografías de Unsplash se atribuyen a sus autores.