La legislación europea sobre inteligencia artificial, a debate

¿Cuáles son las luces y sombras de la nueva ley europea sobre inteligencia artificial? Esta es la pregunta a la que han intentado responder los profesores de la Universitat Oberta de Catalunya (UOC), Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación, y Sergio de Juan-Creix, profesor colaborador de Derecho del grado de Comunicación. Esta propuesta de legislación elaborada por la Unión Europea ha despertado reacciones diversas entre los expertos en tecnología, seguridad y derecho, ya que, aunque es un marco normativo novedoso, sigue teniendo lagunas en su texto que invitan a pensar en los siguientes pasos que se deben tomar. En FEPSU te compartimos algunas de las principales conclusiones a las que han llegado estos docentes de la UOC en un artículo publicado en su web

Una legislación con mucha expectativa

La propuesta de legislación de la Unión Europea sobre inteligencia artificial que salió a la luz hace unos meses era el paso necesario después de la puesta en marcha del Reglamento General de Protección de Datos (RGPD). Según el profesor de los Estudios de Informática, Multimedia y Telecomunicación de la UOC, Josep Curto, antes de esta propuesta se ha vivido en Europa un periódo de “todo vale”, en el que se han construido sistemas de IA sin tener en cuenta los límites que se deben establecer a el desarrollo de esta tecnología para garantizar su uso seguro. 

Además, como apunta el profesor colaborador de Derecho del grado de Comunicación de la UOC, Sergio de Juan-Creix, hay algunos aspectos importantes sobre la inteligencia artificial que han quedado fuera de la regulación. Por ejemplo, los neuroderechos, es decir el área relacionada con nuestra privacidad e identidad mental, es uno de los campos que ha quedado más desamparado en la nueva normativa propuesta. 

“La inteligencia artificial es la herramienta necesaria para predecir tu comportamiento y, basándose en esto, ofrecerte productos o servicios en función de cómo eres o cuál es tu estado de ánimo, anticipándote a él o moldeándolo al gusto del oferente. Esto va más allá de la privacidad o incluso de la intimidad porque para hacerlo necesitan tener cierto control predictivo sobre tu mente”, afirma De Juan-Creix, experto en derecho digital.

El abogado también destaca que esa intrusión puede traducirse en una manipulación a gran escala y puede tener un impacto directo en nuestras decisiones. Por otro lado, la propuesta de legislación europea también omite, en el ámbito técnico, las recomendaciones sobre los enfoques de preservación de la privacidad, los sistemas conocidos como privacy-preserving machine learning

El limbo de la responsabilidad civil

Para los profesores de la UOC, otro de los aspectos que podrían llegar a crear controversia si continúan sin regularse son los referidos a la responsabilidad civil, ya que no está del todo delimitado quién es el responsable en caso de que la tecnología incurra en un fallo ni cómo se puede hacer entendible esto para la población, lo cual podría tener graves consecuencias para un uso seguro de los dispositivos que utilicen IA.

Estas consideraciones requerirán un largo proceso de negociación, de implantación y, finalmente, asimilación por parte de la ciudadanía. Un proceso que, sin embargo, será clave que se lleve a cabo para garantizar que se sigan una serie de criterios éticos en el uso de estas tecnologías y para prevenir cualquier tipo de amenaza a la seguridad

Los dos expertos de la UOC recuerdan que esta propuesta todavía está en fase de aprobación y su redacción final puede variar significativamente, e incluso abordar en el futuro todos estos espacios en blanco. De hacerlo, habría otro punto revisable en su opinión, y es el de cómo las empresas articularían el cumplimiento de la normativa. “El tejido de empresas en Europa es amplio, y la forma en la que van a consumir inteligencia artificial va a ser muy diferente, por lo que va a ser muy fácil cometer errores”, señala Curto. 

Igualmente, las multas previstas podrían revisarse, ya que las indicadas en la propuesta —hasta veinte millones de euros o el 4 % de la facturación anual— son similares a las presentadas en la regulación del reglamento general. Esto, como apunta Curto, no es del todo eficaz, ya que en los últimos años muchas empresas han recibido sanciones relacionadas con la gestión y la protección de los datos de sus clientes y aun así algunas de ellas siguen realizando las mismas prácticas, ya que operan en múltiples países al mismo tiempo y buscan estrategias para saltarse el cumplimiento de la norma. 

Una posible solución a la evasión de multas por parte de las empresas podría ser, por ejemplo, realizar acciones coordinadas entre países respecto a las empresas investigadas para que las sanciones acumuladas fueran realmente eficaces. Otra opción sería elevar la cuantía de las multas.

Un debate abierto

En FEPSU ya hemos abordado en distintas ocasiones los debates que suscita el uso de la inteligencia artificial, sobre todo por parte de las administraciones públicas y en el caso específico de las fuerzas y cuerpos de seguridad. Por ejemplo, durante los encuentros virtuales “Nuevas tecnologías aplicadas a la seguridad urbana” dedicamos una sesión a reflexionar alrededor de los criterios éticos que hay que tomar en cuenta para un buen uso de la IA en materia de prevención y seguridad urbana

Además, también hemos comentado la petición que hicieron al Gobierno español un grupo de académicos, profesionales y activistas de varios ámbitos para que no se utilicen las herramientas de reconocimiento facial hasta que no exista una ley que regule este tipo de tecnologías de inteligencia artificial. Del mismo modo, también hemos explicado al detalle cuáles serán los sistemas de IA que está previsto que se prohiban en Europa, según el primer borrador de la propuesta de ley que se ha debatido en este artículo. 

En este sentido, el uso de la inteligencia artificial en materia de seguridad y prevención sigue siendo un tema a debate y seguramente seguirá invitando a la reflexión en los próximos meses cuando se apruebe la nueva normativa europea para su regulación. 

Si deseas conocer al detalle las reflexiones de los profesores y expertos de la UOC en materia de informática y derecho alrededor de la nueva normativa europea sobre inteligencia artificial, puedes leer el artículo completo publicado en la página web de la universidad.

¿Qué sistemas de inteligencia artificial estarán prohibidos en Europa?

La Unión Europea quiere dar un paso más hacia la regulación de la inteligencia artificial (IA). Como ha adelantado el blog del Departamento de Interior de la Generalitat de Catalunya, Notes de Seguretat, la UE ha propuesto una normativa sobre IA que prohibe el uso del reconocimiento facial para la vigilancia y los algoritmos que manipulen el comportamiento humano. El objetivo de esta nueva normativa es evitar el desarrollo de tecnología que pueda ser considerada de alto riesgo para la población. En FEPSU te explicamos los puntos clave de esta propuesta de legislación europea y cómo puede afectar al uso de la tecnología en materia de seguridad y prevención

Prohibiciones y limitantes

Entre los sistemas de IA que están prohibidos por esta nueva normativa europea se incluyen aquellos diseñados o utilizados para manipular el comportamiento, las opiniones o las decisiones humanas, haciendo que una persona se comporte, forme una opinión o tome una decisión en su detrimento. 

También se prohiben aquellos sistemas que se utilicen para vigilar a la población de forma indiscriminada y que se apliquen de manera generalizada, aquellos que se utilicen para puntuar socialmente a la ciudadanía y aquellos que exploten información o realicen predicciones de una persona o grupo de personas con el objetivo de orientar sus vulnerabilidades. 

Antes de la publicación oficial de esta nueva norma en materia de inteligencia artificial, ya se habían filtrado algunas propuestas que prometían reglas más duras para las tecnologías de IA de alto riesgo, entre las cuales se incluían los algoritmos utilizados por la policía

Sin embargo, los expertos dejaron claro que estas reglas eran muy vagas y contenían algunas lagunas. Por este motivo, finalmente han quedado fuera de la limitación la tecnología de inteligencia artificial utilizada por el ejército, así como los sistemas que usan las autoridades en materia de seguridad pública

Un cerco a la IA de alto riesgo

Además de estas prohibiciones, los estados miembros de la UE deberán aplicar una mayor supervisión sobre aquella inteligencia artificial que se considere de alto riesgo, entre los que se encuentran: aquellos que establezcan la prioridad en el envío de servicios de emergencia, aquellos que determinen el acceso o la asignación de personas a institutos educativos, los algoritmos de reclutamiento, los sistemas que evalúan la solvencia crediticia, aquellos que realizan evaluaciones de riesgo individuales y los de predicción del crimen

Las gobiernos y administraciones deberán nombrar órganos de evaluación para probar, certificar e inspeccionar todos aquellos sistemas de IA que por su funcionalidad y alcance puedan suponer un atentado para la libertad y los derechos de la ciudadanía. Por otro lado, cualquier empresa que desarrolle servicios de inteligencia artificial que estén prohibidos o que no proporcione la información correcta sobre estos podría recibir multas de hasta el 4% de sus ingresos globales. 

Para hacer frente a los riesgos que suponen los nuevos sistemas de IA, la UE propone que estos incluyan un botón o algún otro procedimiento que permita apagar el sistema al instante, si fuera necesario. Además, todos estos sistemas deberán tener una supervisión humana y no podrán ser completamente autónomos. 

Con esta legislación se espera que la Unión Europea pueda garantizar la seguridad de la ciudadanía, al mismo tiempo que no se impide la competencia de las empresas tecnológicas europeas con la de países como Estados Unidos y China.

Mayor transparencia y confianza

A principios de mayo, el grupo de trabajo de Efus sobre seguridad e innovación organizó una conferencia web en la que, entre otras cosas, se debatió alrededor de esta propuesta legislativa de la UE sobre el uso de la inteligencia artificial

En este encuentro, en el que participaron representantes de distintas ciudades europeas, así como académicos e investigadores, se dejó claro que este tipo de tecnologías no solo suponen riesgos para la población, sino también oportunidades en el ámbito de la seguridad urbana; por ejemplo a través de softwares que ayuden en la búsqueda de personas desaparecidas o que permitan procesar grandes cantidades de datos para agilizar las tareas administrativas diarias. 

Sin embargo, para evitar los posibles peligros que pueda ocasionar los sistemas de IA, por su falta de transparencia y de trazabilidad de los datos, hace falta tomar una serie de medidas que ayuden también a generar confianza de cara al público. 

En este sentido, por ejemplo, se expusieron los casos de Amsterdam y Helsinki, ciudades que han desarrollado instrumentos para fomentar la confianza y la transparencia, a través de los cuales se requiere que los proveedores proporcionen información sobre las suposiciones y elecciones realizadas en el desarrollo de los algoritmos, así como que describan claramente las medidas tomadas para garantizar la integridad de los conjuntos de datos. 

En estas ciudades europeas se han creado también sitios web accesibles a toda la población, que explican cómo funcionan los algoritmos, qué datos utilizan y qué planes de gestión de riesgos existen para mitigar la posible discriminación. Estos instrumentos de explicabilidad son un ejemplo de cómo comunicarse con los usuarios y ser transparentes sobre los riesgos potenciales. 

Además de estas medidas, es importante que los representantes de las ciudades y otras autoridades locales también sean incluidos en los procesos de desarrollo e innovación de nuevas herramientas de IA, compartiendo sus necesidades sobre el terreno y las mejores prácticas para fomentar el compromiso y la aceptación de la comunidad.

Si quieres conocer más acerca de la nueva normativa sobre inteligencia artificial que ha propuesto la Unión Europea, puedes visitar el blog Notes de Seguretat, del Departamento de Interior de la Generalitat de Catalunya. En cambio, si deseas conocer a fondo los debates y propuestas que se dieron en el grupo de trabajo de Efus sobre seguridad e innovación, puedes leer el resumen de la jornada en este enlace. Para estar al tanto de la actualidad sobre el uso de la tecnología en materia de seguridad urbana y prevención, no te olvides de visitar la página web de FEPSU.

Garantizar la protección de los espacios públicos

Los espacios públicos son lugares de intercambio, cultura, comercio, ocio y expresión política, cualidades inherentes a las ciudades. Sin embargo, debido a que son lugares abiertos y, en muchos casos, emblemáticos de una ciudad, una región o un país, los espacios públicos pueden convertirse también en focos de delincuencia e incivismo y, lo que es peor, en blancos principales de ataques terroristas, como ha sucedido en Europa durante la última década. Por este motivo, el Foro Europeo de Seguridad Urbana (Efus) ha lanzado el proyecto Secu4All, que busca fortalecer las capacidades de los entes locales y regionales para garantizar la seguridad de los espacios públicos y la protección contra posibles riesgos de lugares como instalaciones deportivas, centros comerciales, escuelas o sistema de transporte, los cuales pueden convertirse en objetivos de ataques. En FEPSU te compartimos algunos de los principales objetivos de este nuevo programa europeo.

Herramientas para las ciudades

Para las autoridades locales y regionales, la gestión de los espacios públicos es sin duda una de sus acciones más visibles a los ojos de la ciudadanía, ya que es el ámbito donde su visión de la sociedad se materializa y representa mejor. Asegurar que estos espacios sean inclusivos y abiertos, pero también pacíficos y seguros, es un desafío complejo para los entes locales y regionales, que son los que se encuentran en primera línea cuando ocurre una crisis. Ayudar a las ciudades europeas a tener mejores herramientas teóricas y prácticas para abordar la prevención es una de las principales metas del proyecto Secu4All.

Este programa impulsado y liderado por Efus tendrá una duración de dos años y sus principales objetivos son: aumentar el conocimiento de las autoridades locales y regionales sobre los métodos y herramientas para evaluar la vulnerabilidad de los espacios públicos locales; mejorar la comunicación entre todos los actores relevantes que deben actuar en el caso de que ocurra una crisis (antes, durante y después); compartir conocimientos sobre las tecnologías innovadoras para reforzar la protección de los espacios públicos e intercambiar criterios éticos sobre el uso de dichas tecnologías y los datos recopilados; y reducir la sensación de inseguridad de los ciudadanos mediante la “Prevención del delito a través del diseño ambiental” (CPTED, por sus siglas en inglés).

Con un amplio alcance europeo y un enfoque transversal, el proyecto Secu4All reúne a un consorcio de autoridades locales y regionales, universidades y centros de investigación, think tanks, así como una red de agentes de seguridad privada. Entre sus miembros se encuentran el centro CRIMINA de la Universidad Miguel Hernández en Elche, el cual participó en nuestro webinar más reciente, y el Ayuntamiento de Xàbia, que es uno de los miembros actuales de FEPSU. Además, participan también las organizaciones europeas DITSS (Países Bajos) Dsp-groep Bv-DSP (Países Bajos), KEMEA (Grecia), la Organización Europea para la Seguridad-EOS (Bélgica), el Bruxelles – Prévention & Sécurité (Bélgica); los foros de seguridad urbana DEFUS (Alemania), FFSU (Francia) y FISU (Italia); así como el ayuntamiento de La Haya (Países Bajos) y la Policía Municipal de Riga (Letonia).

Cooperación y buenas prácticas

La experiencia en los diversos proyectos de prevención del crimen en los espacios públicos ha demostrado que es esencial que las administraciones locales y regionales cooperen con una amplia gama de actores locales, tanto del sector público como del privado, sobre todo en los ámbitos de planificación urbana, encuestas, servicios de transporte y movilidad, organización de eventos, protección y concientización de empresas locales y también, fundamentalmente, en la comunicación y el trabajo conjunto con las autoridades nacionales y europeas pertinentes. Sin embargo, para hacerlo, necesitan conocimientos y herramientas adecuadas. Ese es uno de los propósitos centrales del proyecto Secu4All: desarrollar contenidos formativos que proporcionen a las autoridades locales conocimientos teóricos y prácticos para que puedan mejorar sus acciones de prevención local o programas para salvaguardar sus espacios públicos frente a riesgos.

Pero además de estas herramientas y de la cooperación entre actores, “los gobiernos locales y regionales deben promover una mejor conciencia entre los ciudadanos sobre las buenas prácticas a seguir en caso de una amenaza, como un ataque terrorista”, como explica la especialista en mitigación de riesgos y miembro del Comité Asesor de Expertos de PACTESUR, Susanne Skov Diemer. En una entrevista para Efus, esta consultora en materia de seguridad señala que todavía no se ha desarrollado una “cultura de seguridad colectiva contra el terrorismo y otras amenazas actuales”, como sí ha sucedido, por ejemplo, con la educación de las medidas que hay que tomar en casos de incendios. 

“Si los ciudadanos adquieren una mejor y más amplia comprensión de las amenazas, el trabajo de las autoridades locales y nacionales y la policía en la protección de los espacios públicos no se verá obstaculizado”, apunta Skov Diemer. Para ello, además, es de vital importancia que los ciudadanos estén preparados psicológicamente para afrontar una crisis, ya que, como ha demostrado la crisis sanitaria provocada por el coronavirus, “el estrés y el miedo pueden causar un comportamiento irracional y dañino”.

Pero esta preparación por parte de la ciudadanía no se consigue únicamente con una pedagogía psicológica y de buenas prácticas. También es muy importante que las autoridades locales y regionales mejoren “la confiabilidad, rapidez y eficiencia de sus canales de comunicación con los ciudadanos y explicar mejor las amenazas actuales y cómo reaccionar ante ellas”, pues, como pasó con los primeros meses de la pandemia, “la información insuficiente, poco clara y “los consejos contradictorios de los gobiernos jugaron un factor importante en la reacción de la gente a la crisis”. Una forma de reaccionar ante las crisis por parte de las administraciones públicas que el proyecto Secu4All intentará mejorar.  

Para saber más sobre este programa europeo liderado por Efus, puedes visitar su página web. Si quieres conocer otras iniciativas relacionadas con la seguridad urbana y la prevención, sigue nuestras redes sociales, donde semanalmente compartimos los artículos de nuestro blog así como otros proyectos en los que participa FEPSU y sus miembros.