Skip to content

¿Qué sistemas de inteligencia artificial estarán prohibidos en Europa?

Photo by Chris Yang on Unsplash

La Unión Europea quiere dar un paso más hacia la regulación de la inteligencia artificial (IA). Como ha adelantado el blog del Departamento de Interior de la Generalitat de Catalunya, Notes de Seguretat, la UE ha propuesto una normativa sobre IA que prohibe el uso del reconocimiento facial para la vigilancia y los algoritmos que manipulen el comportamiento humano. El objetivo de esta nueva normativa es evitar el desarrollo de tecnología que pueda ser considerada de alto riesgo para la población. En FEPSU te explicamos los puntos clave de esta propuesta de legislación europea y cómo puede afectar al uso de la tecnología en materia de seguridad y prevención

Prohibiciones y limitantes

Entre los sistemas de IA que están prohibidos por esta nueva normativa europea se incluyen aquellos diseñados o utilizados para manipular el comportamiento, las opiniones o las decisiones humanas, haciendo que una persona se comporte, forme una opinión o tome una decisión en su detrimento. 

También se prohiben aquellos sistemas que se utilicen para vigilar a la población de forma indiscriminada y que se apliquen de manera generalizada, aquellos que se utilicen para puntuar socialmente a la ciudadanía y aquellos que exploten información o realicen predicciones de una persona o grupo de personas con el objetivo de orientar sus vulnerabilidades. 

Antes de la publicación oficial de esta nueva norma en materia de inteligencia artificial, ya se habían filtrado algunas propuestas que prometían reglas más duras para las tecnologías de IA de alto riesgo, entre las cuales se incluían los algoritmos utilizados por la policía

Sin embargo, los expertos dejaron claro que estas reglas eran muy vagas y contenían algunas lagunas. Por este motivo, finalmente han quedado fuera de la limitación la tecnología de inteligencia artificial utilizada por el ejército, así como los sistemas que usan las autoridades en materia de seguridad pública

Un cerco a la IA de alto riesgo

Además de estas prohibiciones, los estados miembros de la UE deberán aplicar una mayor supervisión sobre aquella inteligencia artificial que se considere de alto riesgo, entre los que se encuentran: aquellos que establezcan la prioridad en el envío de servicios de emergencia, aquellos que determinen el acceso o la asignación de personas a institutos educativos, los algoritmos de reclutamiento, los sistemas que evalúan la solvencia crediticia, aquellos que realizan evaluaciones de riesgo individuales y los de predicción del crimen

Las gobiernos y administraciones deberán nombrar órganos de evaluación para probar, certificar e inspeccionar todos aquellos sistemas de IA que por su funcionalidad y alcance puedan suponer un atentado para la libertad y los derechos de la ciudadanía. Por otro lado, cualquier empresa que desarrolle servicios de inteligencia artificial que estén prohibidos o que no proporcione la información correcta sobre estos podría recibir multas de hasta el 4% de sus ingresos globales. 

Para hacer frente a los riesgos que suponen los nuevos sistemas de IA, la UE propone que estos incluyan un botón o algún otro procedimiento que permita apagar el sistema al instante, si fuera necesario. Además, todos estos sistemas deberán tener una supervisión humana y no podrán ser completamente autónomos. 

Con esta legislación se espera que la Unión Europea pueda garantizar la seguridad de la ciudadanía, al mismo tiempo que no se impide la competencia de las empresas tecnológicas europeas con la de países como Estados Unidos y China.

Mayor transparencia y confianza

A principios de mayo, el grupo de trabajo de Efus sobre seguridad e innovación organizó una conferencia web en la que, entre otras cosas, se debatió alrededor de esta propuesta legislativa de la UE sobre el uso de la inteligencia artificial

En este encuentro, en el que participaron representantes de distintas ciudades europeas, así como académicos e investigadores, se dejó claro que este tipo de tecnologías no solo suponen riesgos para la población, sino también oportunidades en el ámbito de la seguridad urbana; por ejemplo a través de softwares que ayuden en la búsqueda de personas desaparecidas o que permitan procesar grandes cantidades de datos para agilizar las tareas administrativas diarias. 

Sin embargo, para evitar los posibles peligros que pueda ocasionar los sistemas de IA, por su falta de transparencia y de trazabilidad de los datos, hace falta tomar una serie de medidas que ayuden también a generar confianza de cara al público. 

En este sentido, por ejemplo, se expusieron los casos de Amsterdam y Helsinki, ciudades que han desarrollado instrumentos para fomentar la confianza y la transparencia, a través de los cuales se requiere que los proveedores proporcionen información sobre las suposiciones y elecciones realizadas en el desarrollo de los algoritmos, así como que describan claramente las medidas tomadas para garantizar la integridad de los conjuntos de datos. 

En estas ciudades europeas se han creado también sitios web accesibles a toda la población, que explican cómo funcionan los algoritmos, qué datos utilizan y qué planes de gestión de riesgos existen para mitigar la posible discriminación. Estos instrumentos de explicabilidad son un ejemplo de cómo comunicarse con los usuarios y ser transparentes sobre los riesgos potenciales. 

Además de estas medidas, es importante que los representantes de las ciudades y otras autoridades locales también sean incluidos en los procesos de desarrollo e innovación de nuevas herramientas de IA, compartiendo sus necesidades sobre el terreno y las mejores prácticas para fomentar el compromiso y la aceptación de la comunidad.

Si quieres conocer más acerca de la nueva normativa sobre inteligencia artificial que ha propuesto la Unión Europea, puedes visitar el blog Notes de Seguretat, del Departamento de Interior de la Generalitat de Catalunya. En cambio, si deseas conocer a fondo los debates y propuestas que se dieron en el grupo de trabajo de Efus sobre seguridad e innovación, puedes leer el resumen de la jornada en este enlace. Para estar al tanto de la actualidad sobre el uso de la tecnología en materia de seguridad urbana y prevención, no te olvides de visitar la página web de FEPSU.

Compartir

Hazte miembro

Para acceder a las diversas actividades y servicios que realizamos

Escríbenos para obtener más información

Suscríbete a nuestro newsletter

Recibe noticias sobre:

FEPSU recoge sus datos para recibir información y publicidad de la asociación y sus actividades. La base de legitimidad es su consentimiento. Puede ejercer sus derechos y consultar toda la información en la política de privacidad.