¿Puede gobernar una inteligencia artificial? Estudiantes de la UPC analizan el impacto ético de una consejería gestionada por IA 04/06/2026

Los estudiantes, divididos en 12 grupos, se les ha asignado una consejería y han debatido el impacto ético de delegar funciones a una IA

¿Podríamos tener una Consejer-IA de Universidades, de Sanidad o de Transportes? ¿Qué decisiones podría tomar una inteligencia artificial y en qué condiciones? ¿Dónde debemos poner las líneas rojas sobre lo que nunca podríamos delegar a una máquina? Estas son algunas de las preguntas que se han hecho una cincuentena de estudiantes del grado en Ciencia e Ingeniería de Datos de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC) junto a estudiantes del grado en Filosofía de la Universidad de Barcelona (UB), en el marco de la asignatura Ética en Ciencia e Ingeniería de Datos. Este grado se imparte conjuntamente entre la Facultad de Informática de Barcelona (FIB), la Escuela Técnica Superior de Ingeniería de Telecomunicación de Barcelona (ETSETB) y la Facultad de Matemáticas y Estadística (FME).

Durante los últimos meses, han analizado el impacto ético de delegar funciones de gobierno de la Generalitat de Catalunya en sistemas de inteligencia artificial, identificando los límites de la automatización en la esfera pública.

La idea nació de la iniciativa del gobierno de Albania que, en septiembre de 2025, anunciaba el nombramiento de una ministra generada por IA, Dellia, para luchar contra la corrupción. Eva Vidal, profesora de la ETSETB y responsable de la asignatura, creyó que era un buen punto de partida para abrir el debate en el aula.

Así, a los estudiantes, divididos en 12 grupos, se les ha asignado una consejería y han tenido que definir su "nivel de automatización". Para cada Consejer-IA, han analizado diferentes cuestiones, como las funciones que podrían ser automatizadas, los datos que serían necesarios y cómo se recogerían, los tipos de modelos de IA que se podrían diseñar, las personas que estarían implicadas, tanto en el diseño como en la supervisión, así como a quién afectarían las decisiones que implementaría la IA. También han tenido que tener en cuenta cuestiones económicas, de impacto ambiental y preparar casos concretos de aplicación, que han debatido en el aula. El objetivo final: hacer un análisis ético y reflexionar sobre su responsabilidad como futuros profesionales de la ingeniería de datos y de la IA.

La actualidad sobre la IA, en el aula

El trabajo realizado en el aula ha planteado numerosos casos y retos, que han expuesto y debatido en cada clase con el resto de compañeros. Por ejemplo, desde la Consejer-IA de Salud han preparado como punto de partida para el debate un pequeño juego interactivo en el que el jugador/a asume el rol de consejero/a de salud. El juego muestra diferentes situaciones y dilemas éticos que plantea el uso de la IA y analiza su impacto en cuatro grandes ámbitos: pacientes, médicos, medio ambiente y finanzas. El reto consiste en mantener un equilibrio en los cuatro ámbitos, para continuar en el cargo, hasta un máximo de 16 años de mandato. El juego abre el debate sobre los límites del uso de la tecnología en un ámbito tan sensible como el de la salud. Una reflexión que les lleva a plantearse los límites de la autonomía de los modelos de IA y afirmar que "la IA no resuelve los conflictos éticos, sino que los hace visibles".

El reto de integrar la IA en el sistema judicial o en la gestión de las prisiones se ha analizado desde la Consejer-IA de Justicia y Calidad Democrática. Se ha planteado, por ejemplo, si podría dejarse en manos de la tecnología el trabajo ordinario de los juzgados, para hacer más eficiente la gestión de los expedientes, o para ayudar a los jueces en la redacción de sentencias. ¿Podríamos usar una IA para la clasificación de los internos de una prisión, decidiendo su grado de peligrosidad, o un software de detección de mentiras en los interrogatorios a partir de datos biomédicos, como el pulso o la tensión ocular? Los estudiantes han tenido que reflexionar sobre cómo definir una métrica justa o qué variables son legítimas de utilizar, porque, en definitiva, "diseñando y utilizando una IA estamos definiendo qué modelo de justicia queremos".

La IA ante la crisis económica

Otro caso práctico es el planteado por la Consejer-IA de Economía y Finanzas: ¿podríamos dejar en manos de una IA el desarrollo de un plan de austeridad ante una crisis económica? Aquí, los estudiantes se han preguntado si al aplicarlo estamos gobernando o solo estamos optimizando. "¿Un plan puede ser matemáticamente coherente, pero socialmente devastador?", reflexiona Denys Cherednychenko, portavoz de la Consejer-IA. Las conclusiones son claras: la neutralidad algorítmica es una falacia: "Los datos nos marcan el camino más corto, pero no el destino al que queremos llegar como sociedad", afirma el estudiante.

¿Es arte solo lo que es 100% humano?

La Consejer-IA de Cultura y Deportes ha debatido sobre qué es una obra de arte y la ética profesional en este ámbito. ¿Es necesario poner límites al uso de la IA a los participantes en un concurso literario? ¿Y qué entendemos por IA? ¿Utilizar un corrector ortográfico es válido, pero no lo es un generador de textos? Son preguntas que se han hecho los estudiantes, analizando si únicamente es arte lo que es 100% humano.

Esta Consejer-IA también ha reflexionado sobre los efectos de aplicar la IA al arbitraje en el deporte de alta competición: ¿un partido tendría interés, si se pitan todas las faltas que detecta la IA? ¿O hará que los jugadores bajen el nivel de confrontación, afectando al nivel de la competición? Y han analizado si un algoritmo podría realizar la mejor selección nacional para participar en competiciones internacionales, sin sesgos ni "amiguismos".

"El silencio ético es un fracaso"

Estos son algunos casos que han tratado los estudiantes durante la asignatura. Ejemplos prácticos que les han hecho pensar en qué condiciones se puede dar una autonomía completa al algoritmo y cuándo es imprescindible garantizar la intervención y la responsabilidad humana. ¿Sobre quién caería la "culpa", en caso de que haya algún problema? "Es importante que, detrás de cada línea de código, siga habiendo humanidad", expresa el portavoz de la Consejer-IA de Interior y Seguridad Pública en su intervención.

"El objetivo de esta asignatura es que nuestro estudiantado reconozca su futura responsabilidad como profesionales, que reflexione sobre cómo la tecnología que van a diseñar tiene implicaciones a diversos niveles en la sociedad y no es en ningún caso neutra. Que ser un buen ingeniero o ingeniera no solo implica dominar la parte técnica, sino también conocer los impactos ambientales, sociales y económicos de lo que hacemos", explica la profesora Eva Vidal. "Como ingenieros e ingenieras tomarán decisiones que tienen una implicación ética, y es básico que estén preparados, que tengan espíritu crítico", añade.

En el aula se ha debatido sobre regulación y democracia; la necesidad de establecer unos criterios públicos y mecanismos de auditoría; la "reserva" humana y la responsabilidad no delegable; la pretendida neutralidad del algoritmo, la importancia de la revocabilidad técnica de los sistemas, o los sesgos y desigualdades ya existentes en los datos, que perpetúan las desigualdades ya existentes en la sociedad. Reflexiones que se han aplicado a temas de actualidad y que les han llevado a pensar sobre los dilemas a los que se tendrán que afrontar, en un futuro, en la práctica profesional. "El silencio ético es un fracaso", concluye el portavoz de la Consejer-IA de Interior y Seguridad Pública.