La legislación europea sobre inteligencia artificial, a debate

¿Cuáles son las luces y sombras de la nueva ley europea sobre inteligencia artificial? Esta es la pregunta a la que han intentado responder los profesores de la Universitat Oberta de Catalunya (UOC), Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación, y Sergio de Juan-Creix, profesor colaborador de Derecho del grado de Comunicación. Esta propuesta de legislación elaborada por la Unión Europea ha despertado reacciones diversas entre los expertos en tecnología, seguridad y derecho, ya que, aunque es un marco normativo novedoso, sigue teniendo lagunas en su texto que invitan a pensar en los siguientes pasos que se deben tomar. En FEPSU te compartimos algunas de las principales conclusiones a las que han llegado estos docentes de la UOC en un artículo publicado en su web

Una legislación con mucha expectativa

La propuesta de legislación de la Unión Europea sobre inteligencia artificial que salió a la luz hace unos meses era el paso necesario después de la puesta en marcha del Reglamento General de Protección de Datos (RGPD). Según el profesor de los Estudios de Informática, Multimedia y Telecomunicación de la UOC, Josep Curto, antes de esta propuesta se ha vivido en Europa un periódo de “todo vale”, en el que se han construido sistemas de IA sin tener en cuenta los límites que se deben establecer a el desarrollo de esta tecnología para garantizar su uso seguro. 

Además, como apunta el profesor colaborador de Derecho del grado de Comunicación de la UOC, Sergio de Juan-Creix, hay algunos aspectos importantes sobre la inteligencia artificial que han quedado fuera de la regulación. Por ejemplo, los neuroderechos, es decir el área relacionada con nuestra privacidad e identidad mental, es uno de los campos que ha quedado más desamparado en la nueva normativa propuesta. 

“La inteligencia artificial es la herramienta necesaria para predecir tu comportamiento y, basándose en esto, ofrecerte productos o servicios en función de cómo eres o cuál es tu estado de ánimo, anticipándote a él o moldeándolo al gusto del oferente. Esto va más allá de la privacidad o incluso de la intimidad porque para hacerlo necesitan tener cierto control predictivo sobre tu mente”, afirma De Juan-Creix, experto en derecho digital.

El abogado también destaca que esa intrusión puede traducirse en una manipulación a gran escala y puede tener un impacto directo en nuestras decisiones. Por otro lado, la propuesta de legislación europea también omite, en el ámbito técnico, las recomendaciones sobre los enfoques de preservación de la privacidad, los sistemas conocidos como privacy-preserving machine learning

El limbo de la responsabilidad civil

Para los profesores de la UOC, otro de los aspectos que podrían llegar a crear controversia si continúan sin regularse son los referidos a la responsabilidad civil, ya que no está del todo delimitado quién es el responsable en caso de que la tecnología incurra en un fallo ni cómo se puede hacer entendible esto para la población, lo cual podría tener graves consecuencias para un uso seguro de los dispositivos que utilicen IA.

Estas consideraciones requerirán un largo proceso de negociación, de implantación y, finalmente, asimilación por parte de la ciudadanía. Un proceso que, sin embargo, será clave que se lleve a cabo para garantizar que se sigan una serie de criterios éticos en el uso de estas tecnologías y para prevenir cualquier tipo de amenaza a la seguridad

Los dos expertos de la UOC recuerdan que esta propuesta todavía está en fase de aprobación y su redacción final puede variar significativamente, e incluso abordar en el futuro todos estos espacios en blanco. De hacerlo, habría otro punto revisable en su opinión, y es el de cómo las empresas articularían el cumplimiento de la normativa. “El tejido de empresas en Europa es amplio, y la forma en la que van a consumir inteligencia artificial va a ser muy diferente, por lo que va a ser muy fácil cometer errores”, señala Curto. 

Igualmente, las multas previstas podrían revisarse, ya que las indicadas en la propuesta —hasta veinte millones de euros o el 4 % de la facturación anual— son similares a las presentadas en la regulación del reglamento general. Esto, como apunta Curto, no es del todo eficaz, ya que en los últimos años muchas empresas han recibido sanciones relacionadas con la gestión y la protección de los datos de sus clientes y aun así algunas de ellas siguen realizando las mismas prácticas, ya que operan en múltiples países al mismo tiempo y buscan estrategias para saltarse el cumplimiento de la norma. 

Una posible solución a la evasión de multas por parte de las empresas podría ser, por ejemplo, realizar acciones coordinadas entre países respecto a las empresas investigadas para que las sanciones acumuladas fueran realmente eficaces. Otra opción sería elevar la cuantía de las multas.

Un debate abierto

En FEPSU ya hemos abordado en distintas ocasiones los debates que suscita el uso de la inteligencia artificial, sobre todo por parte de las administraciones públicas y en el caso específico de las fuerzas y cuerpos de seguridad. Por ejemplo, durante los encuentros virtuales “Nuevas tecnologías aplicadas a la seguridad urbana” dedicamos una sesión a reflexionar alrededor de los criterios éticos que hay que tomar en cuenta para un buen uso de la IA en materia de prevención y seguridad urbana

Además, también hemos comentado la petición que hicieron al Gobierno español un grupo de académicos, profesionales y activistas de varios ámbitos para que no se utilicen las herramientas de reconocimiento facial hasta que no exista una ley que regule este tipo de tecnologías de inteligencia artificial. Del mismo modo, también hemos explicado al detalle cuáles serán los sistemas de IA que está previsto que se prohiban en Europa, según el primer borrador de la propuesta de ley que se ha debatido en este artículo. 

En este sentido, el uso de la inteligencia artificial en materia de seguridad y prevención sigue siendo un tema a debate y seguramente seguirá invitando a la reflexión en los próximos meses cuando se apruebe la nueva normativa europea para su regulación. 

Si deseas conocer al detalle las reflexiones de los profesores y expertos de la UOC en materia de informática y derecho alrededor de la nueva normativa europea sobre inteligencia artificial, puedes leer el artículo completo publicado en la página web de la universidad.

Tecnología y privacidad en tiempos de Covid

La tecnología ha jugado un papel importante en la respuesta a la pandemia de la Covid-19 en todo el mundo. Sobre todo ha predominado el uso de aplicaciones de rastreos de contactos, que brindan beneficios indiscutibles como la precisión, la velocidad y la capacidad de gestionar grandes cantidades de información. Sin embargo, también plantean dudas respecto al respeto de la privacidad y el uso de los datos por parte de estas herramientas y de quienes las manejan. Alrededor de estas cuestiones se debatió el pasado 11 de febrero en el simposio en línea “Los datos y el orden público: de las prácticas descriptivas a las prescriptivas”, organizado por la Universidad de Groningen (Países Bajos) y en el que Efus participó. En FEPSU te compartimos algunas de las principales conclusiones a las que se llegaron en este evento.

Avances tecnológicos en pandemia

Durante el evento, Efus fue la organización encargada de moderar el panel sobre las oportunidades y riesgos del uso de datos por parte de las instituciones públicas, una sesión titulada “Gestión de crisis y protección de datos durante Covid-19”. En ella se profundizó alrededor de muchos de los puntos tratados en las conferencias web organizadas el año pasado por la red sobre la gestión de la crisis sanitaria provocada por el coronavirus

En mayo de 2020, los países europeos apenas habían empezado a desarrollar y probar aplicaciones de rastreo de contactos, y algunos estaban usando drones para monitorear las regulaciones de distancia física. En esos meses, Efus organizó una conferencia web sobre el uso de tecnología para gestionar la pandemia, donde ya se ahondó respecto al impacto que estas podían tener en la privacidad de las personas. 

A finales de 2020, FEPSU también realizó una serie de conferencias web con actores locales y regionales españoles en materia de seguridad urbana, para discutir los retos y beneficios del uso de drones, así como los criterios éticos para un buen uso de la inteligencia artificial por parte de las fuerzas y cuerpos de seguridad. Sin embargo, desde entonces se ha podido constatar una evolución de la tecnología, sobre todo en lo que respecta a la garantía de la protección de datos y las formas en que la percepción pública respecto a ellas ha cambiado. 

La tecnología y su contexto 

En el simposio se analizaron distintos casos del uso de la tecnología para la gestión de la pandemia. La Dra. Angela Daly del Centro Strathclyde de Derecho y Políticas de Internet en Glasgow (Reino Unido) explicó que la aplicación escocesa de rastreo de contactos recibió una aceptación relativamente alta por parte de la población, lo cual ha sido clave para su efectividad. Daly destacó que lograr una alta aceptación entre la ciudadanía solo es posible si existe confianza en el gobierno y sus capacidades de gestión de datos.

Por otro lado, Anis Fuad del Centro para la Sociedad Digital de la Universidad Gadjah Mada en Yogyakarta (Indonesia) comentó que Indonesia había sido testigo de un aumento de la telemedicina debido al nuevo coronavirus. Fuag aseguró que muchas empresas de telemedicina están ampliando sus servicios, lo que plantea la pregunta de cómo continuarán estas iniciativas una vez superada la crisis de la Covid-19 y, específicamente, qué pasará con los datos que se recopilen a través de dichas aplicaciones.

Principios de protección de datos

El Consejo de Europa ha elaborado un informe sobre soluciones digitales para luchar contra la Covid-19, en el cual se describe cómo las medidas de emergencia afectaron los derechos a la privacidad y la protección de datos. El documento fue presentado por la Jefa de la Unidad de Protección de Datos del Consejo de Europa, Sophie Kwasny, quien es la responsable del establecimiento de estándares y políticas sobre protección de datos y privacidad. 

Kwasny destacó que los principios de protección de datos que se aplican en un estado de emergencia son: el escrutinio efectivo (parlamentario y judicial), la previsibilidad de la legislación de emergencia y la cooperación leal entre las instituciones estatales. El principio del escrutinio efectivo, por ejemplo, nos obliga a plantearnos las siguientes interrogantes: ¿Han sido efectivas las tecnologías utilizadas hasta ahora (aplicaciones de rastreo de contactos, monitoreo de drones, brazaletes electrónicos, por nombrar solo algunas)? En otras palabras, ¿vale la pena correr el riesgo de filtraciones de datos por la promesa de la tecnología?

Uso responsable de los datos

¿Cómo podemos empezar a pensar en un uso responsable de los datos ante una crisis como la actual pandemia? El decano del Campus de la Facultad de Fryslan de la Universidad de Groningen, Andrej Zwitter, reiteró que existen medios para garantizar el uso seguro de los datos durante situaciones de crisis.

Más allá de las salvaguardas enumeradas por Sophie Kwasny, el decano Zwitter también señaló que la comunidad humanitaria ha desarrollado principios como el procesamiento justo de datos y los derechos a la retención y eliminación de datos. No obstante, quedan por abordar una serie de lagunas, como los derechos de los interesados ​​y la necesidad de elaborar un concepto que incluya la privacidad del grupo, en lugar de abordar únicamente los derechos de privacidad individuales.

Si te interesa conocer más sobre los debates actuales entorno al uso de la tecnología en el ámbito de la seguridad y la prevención, no dudes en visitar la página web de FEPSU, donde además encontrarás también diversos recursos sobre la materia e información sobre los proyectos en los que participan los miembros de la red.

La importancia de los datos en la prevención

¿Cuál es el primer paso para la elaboración de una estrategia efectiva de prevención? Durante varias décadas, las ciudades europeas han apostado por los diagnósticos de las causas del crimen como punto de partida para la elaboración de un plan sólido de prevención del delito y seguridad comunitaria. Estos estudios se deben elaborar a través de auditorias locales de seguridad, contando con las perspectivas de los actores que trabajan y viven en las comunidades. Pero no solo eso: los diagnósticos deben centrarse también en el análisis de los datos existentes. En FEPSU te compartimos algunas pautas que ha elaborado la Red Municipal Canadiense de Prevención del Crimen para trabajar en un análisis de datos que arroje luz sobre los programas de seguridad comunitaria.

Entender las causas a partir de los datos

El análisis de datos es sumamente importante a la hora de elaborar y evaluar las estrategias de prevención del crimen en las ciudades. Por un lado, permiten a los municipios buscar activos y brechas en sus servicios existentes. Por otra parte, estos datos son necesarios para establecer los procesos de evaluación que permitirán medir los resultados de estos proyectos de prevención. Estos dos puntos son muy relevantes para ayudar a las autoridades locales a identificar las causas del crimen y para poder tomar decisiones informadas sobre los problemas prioritarios de sus ciudades.   

En la actualidad, los sistemas de tecnología de la información permiten analizar datos sobre personas y lugares donde es más probable que ocurra un delito, una información que es potencialmente más importante para la prevención que para el uso que se pueda dar en el mantenimiento del orden y el cumplimiento de la ley. Estos datos se pueden utilizar para ayudar a centrarse en los factores de riesgo del delito y, por lo tanto, identificar estrategias y programas para reducir el crimen y la victimización. Dependiendo de la complejidad de la información que debe recopilarse y analizarse, ciertas habilidades técnicas pueden ser útiles para determinar los resultados de la auditoría y la evaluación. Aún así, desde el Foro Europeo de Seguridad Urbana (Efus) ponen a disposición de sus socios y autoridades locales una serie de guías para elaborar mejor estos diagnósticos.

¿Cómo elaborar una buena auditoría?

Es importante diagnosticar las causas de la delincuencia analizando tendencias y evaluando las necesidades de la comunidad para encontrar soluciones preventivas. Una vez que se determinan las causas, se pueden identificar soluciones basadas en evidencia y aplicar recursos para implementar las soluciones con las comunidades. Algunos buenas experiencias con este tipo de procesos se pueden ver en ciudades como Glasgow y Cardiff, que redujeron la violencia callejera en un 50% o más en unos pocos años. 

Glasgow realizó un análisis epidemiológico para identificar las razones de los patrones delictivos, incluido el análisis de los factores de riesgo iniciales de violencia tanto para las víctimas como para los delincuentes. Cardiff recopiló datos en las salas de emergencia de los hospitales, con el fin de identificar puntos de intervención en momentos críticos para prevenir futuras violencias. Estos son algunos ejemplos de cómo, al determinar los activos y las necesidades subyacentes de las comunidades, los datos se pueden usar para establecer metas y enfocar los recursos propios en la consecución de buenos resultados.

Para Efus, una auditoría de seguridad local se debe realizar en cuatro pasos imprescindibles: Primero, un análisis sistémico que permite comprender los problemas relacionados con la delincuencia y la victimización en una ciudad; segundo, la identificación de activos y recursos para la actividad preventiva; tercero, la identificación de prioridades; y, cuarto, la configuración de una estrategia que permita abordar esas prioridades. Estas medidas requieren que las organizaciones y los miembros de la comunidad trabajen juntos en colaboración para compartir información y determinar los desafíos del crimen, los factores de riesgo y las fuentes de información. Para lograr resultados, es fundamental una buena comunicación entre los socios y una sólida participación.

Pasar del diagnóstico a la implementación

Después de un estudio exhaustivo sobre las causas de la delincuencia local, las ciudades pueden desarrollar planes estratégicos que propongan acciones basadas en experiencias de éxito que se han aplicado en otros lugares. Pero es importante tener en cuenta siempre las especificidades de cada comunidad y ahí es donde entra en juego también el análisis de datos, que permitirá ver los focos de inseguridad y la manera en que estos se comportan en el espacio urbano

De la misma manera, es relevante contar con buenas técnicas de gestión para ejecutar el plan. Para esto es importante que las autoridades locales inviertan tiempo y presupuesto en capacitar y apoyar al personal municipal en el proceso de diagnóstico. En algunos casos, puede ser buena idea buscar el apoyo de profesionales y expertos con experiencia en el establecimiento de las metas para los programas de prevención del delito y en el diseño de formas de evaluación de los resultados y la rentabilidad. 

Tras la implementación del plan, los municipios deben evaluar los resultados para realizar las reformas necesarias y avanzar hacia mejores resultados. Además, este paso puede ir precedido de la identificación de nuevos objetivos para la reducción de la delincuencia, poniendo siempre el foco en invertir en aquellas comunidades que se encuentran en una desventaja estructural para poder prevenir efectivamente el crimen. 

Si quieres conocer todas las pautas que brinda la Red Municipal Canadiense de Prevención del Crimen para un buen uso de los datos en la prevención del crimen, puedes consultar el documento completo en inglés. Recuerda que en la página web de FEPSU encontrarás también todo tipo de recursos para mejorar las estrategias de prevención, como guías de acción y fichas pedagógicas.


Compartir