El Parlamento Europeo, en contra de la vigilancia policial preventiva

El Parlamento Europeo ha decidido poner freno al uso de la inteligencia artificial (IA) para la vigilancia policial predictiva. En una resolución aprobada a inicios de octubre con 377 votos a favor, 248 en contra y 62 abstenciones; los eurodiputados y eurodiputadas han llamado a prohibir las actuaciones policiales predictivas basadas en datos obtenidos a partir de tecnologías como, por ejemplo, los dispositivos de reconocimiento facial. En FEPSU hacemos un repaso de los puntos más importantes de esta resolución que cambiará la forma en que estas herramientas se utilizan por parte de las fuerzas y cuerpos de seguridad. 

Peligro de discriminación

Combatir la discriminación y garantizar el derecho a la privacidad. Estas han sido las principales razones por las que el Parlamento Europeo ha decidido oponerse al uso de herramientas de inteligencia artificial para actuaciones de vigilancia predictiva. Los eurodiputados y las eurodiputadas han exigido fuertes salvaguardas para aquellas ocasiones en que se utilicen herramientas de IA en la aplicación de la ley.

En la resolución, los parlamentarios han señalado el riesgo de sesgo algorítmico en las aplicaciones de IA y han enfatizado que se necesita supervisión humana y fuertes poderes legales para prevenir la discriminación por parte de estas herramientas, especialmente en su uso por parte de las fuerzas y cuerpos de seguridad o en las fronteras. “Los operadores humanos siempre deben tomar las decisiones finales y los sujetos monitoreados por sistemas impulsados ​​por inteligencia artificial deben tener acceso a la reparación”, aseguran los eurodiputados y las eurodiputadas.

Según el texto de la resolución, los sistemas de identificación basados ​​en inteligencia artificial cometen errores a la hora de identificar a grupos étnicos minoritarios, personas LGBTIQ+, ancianos y mujeres en tasas más altas, lo que es particularmente preocupante en el contexto de la aplicación de la ley y la actuación judicial. “Para garantizar que se respeten los derechos fundamentales al utilizar estas tecnologías, los algoritmos deben ser transparentes, rastreables y suficientemente documentados”, subrayan los eurodiputados y las eurodiputadas, en relación a los criterios éticos para un buen uso de la IA. Además, siempre que sea posible, las autoridades públicas deberían utilizar software de código abierto para ser más transparentes.

Prohibición del reconocimiento facial

En este sentido, para respetar la privacidad y la dignidad humana, los parlamentarios y las parlamentarias han solicitado una prohibición permanente del reconocimiento facial de personas en los espacios públicos, ya que, en su opinión, la ciudadanía solo debe ser monitoreada cuando existan sospechas de un delito. El Parlamento Europeo ha pedido, además, que se prohíba el uso de bases de datos privadas de reconocimiento facial (como el sistema Clearview AI, que ya está en uso) y la vigilancia policial predictiva basada en datos de comportamiento.

Los eurodiputados y las eurodiputadas también han abogado por prohibir los sistemas de puntuación social, que intentan calificar la confiabilidad de los ciudadanos en función de su comportamiento o personalidad. Además, los y las representantes del Parlamento Europeo han mostrado su preocupación por el uso de datos biométricos para identificar a las personas de forma remota. Por ejemplo, las puertas de control fronterizo que utilizan el reconocimiento automatizado y el proyecto iBorderCtrl (un «sistema inteligente de detección de mentiras» para la entrada de viajeros a la Unión Europea) deberían descontinuarse, según la resolución. Los parlamentarios y las parlamentarias han instado a la Comisión Europea a abrir procedimientos de infracción contra los Estados miembros si es necesario. 

“Los derechos fundamentales son incondicionales. Por primera vez en la historia, pedimos una moratoria en el despliegue de sistemas de reconocimiento facial con fines de aplicación de la ley, ya que la tecnología ha demostrado ser ineficaz y, a menudo, conduce a resultados discriminatorios. Nos oponemos claramente a la vigilancia policial predictiva basada en el uso de IA, así como a cualquier procesamiento de datos biométricos que conduzca a una vigilancia masiva. Esta es una gran victoria para todos los ciudadanos europeos”, ha manifestado el europarlamentario búlgaro, Petar Vitanov. 

Una tecnología en debate: antecedentes

En FEPSU hemos abordado en distintas ocasiones los debates que despierta el uso de la inteligencia artificial en las actuaciones policiales, especialmente aquellas dirigidas hacia la predicción de comportamientos delictivos. Una de las preguntas que ha suscitado este tema ha sido: ¿Qué tan efectiva es la vigilancia policial predictiva? La digitalización de las bases de datos ha abierto puertas para cambios en los métodos policiales para pronosticar la posibilidad de que se cometan delitos. Sin embargo, al mismo tiempo se ha cuestionado su eficacia para la prevención del delito, algo que los eurodiputados y las eurodiputadas seguramente han tenido en cuenta a la hora de emitir su dictamen. 

En este espacio habíamos advertido ya que la UE estaba buscando dar pasos firmes hacia la regulación de la inteligencia artificial en materia de seguridad, como demuestra esta resolución del Parlamento Europeo. A inicios de junio hicimos un repaso de los sistemas de inteligencia artificial que estarán prohibidos en Europa, si finalmente sale adelante la propuesta de normativa europea que busca poner fin al uso del reconocimiento facial para la vigilancia y los algoritmos que manipulen el comportamiento humano.

Sin embargo, esta propuesta de legislación elaborada por la UE ha despertado reacciones diversas entre los expertos en tecnología, seguridad y derecho, ya que, aunque es un marco normativo novedoso, sigue teniendo lagunas en su texto que invitan a pensar en los siguientes pasos que se deben tomar. En este artículo analizamos los distintos puntos de vista encontrados que ha suscitado el debate sobre la regulación de la IA. 

Para estar al tanto de las últimas novedades en lo que respecta al uso de la inteligencia artificial y otras tecnologías en materia de prevención del delito y seguridad urbana, no dudes en seguir nuestras redes sociales (Twitter y Facebook), donde encontrarás artículos, eventos y recursos diversos para mantenerte informado.

Inteligencia artificial: un arma de doble filo

La inteligencia artificial (IA) puede ser una herramienta muy útil para la seguridad urbana. Esta tecnología se utiliza para usos que van desde el software de lectura de matrículas de vehículos, hasta el reconocimiento facial y otras aplicaciones relacionadas con la vigilancia policial predictiva. Pero esta herramienta también está siendo cada vez más utilizada por ciberdelincuentes, quienes se aprovechan de su uso para encontrar nuevas formas de amenazar y atacar la seguridad de los sistemas informáticos de la ciudadanía y de las instituciones. Así lo establece un informe recientemente publicado por la ONU y la Europol, del que te compartimos en FEPSU algunas de sus principales conclusiones. 

Potenciar el uso positivo de la IA

El pasado 19 de noviembre se publicó un documento elaborado conjuntamente por Europol, el Instituto Interregional de Investigación sobre Justicia y Crimen (UNICRI) de las Naciones Unidas y Trend Micro que analiza los usos delictivos actuales y previstos de la IA. Este informe proporciona información sobre ataques existentes y potenciales que aprovechan la inteligencia artificial y recomendaciones para las administraciones, fuerzas y cuerpos de seguridad, legisladores y otras instituciones sobre cómo mitigar estos riesgos.

“La IA promete al mundo una mayor eficiencia, automatización y autonomía. En un momento en el que el público está cada vez más preocupado por el posible uso indebido de la IA, tenemos que ser transparentes sobre las amenazas, pero también analizar los beneficios potenciales de la tecnología de IA», asegura Edvardas Šileris, director del Centro Europeo de Ciberdelincuencia de Europol. “Este informe nos ayudará no solo a anticipar posibles usos maliciosos y abusos de la IA, sino también a prevenir y mitigar esas amenazas de manera proactiva. Así es como podemos desbloquear el potencial que tiene la IA y beneficiarnos del uso positivo de los sistemas de IA», agrega Šileris. 

La IA como objetivo y como medio

El informe concluye que los ciberdelincuentes aprovecharán la IA como vector de ataque y como superficie de ataque, es decir como medio y como objetivo para conseguir sus fines criminales. Las falsificaciones profundas (deep fake) son actualmente el uso más conocido de la IA como vector de ataque. Sin embargo, el informe advierte que se necesitará nueva tecnología de detección en el futuro para mitigar el riesgo de campañas de desinformación y extorsión, así como las amenazas que apuntan a conjuntos de datos de IA.

En este sentido, personas con el objetivo de realizar un crimen podrían utilizar esta tecnología para desarrollar convincentes ataques de ingeniería social a gran escala o malware de raspado de documentos, para hacer que los ataques sean más eficientes. Por otro lado, la IA podría respaldar la evasión de reconocimiento de imágenes y biometría de voz; los ataques de ransomware, mediante la evasión y la focalización inteligente; o la contaminación de datos, mediante la identificación de puntos ciegos en las reglas de detección. Además, el informe también advierte que se están desarrollando sistemas de IA para mejorar la efectividad del malware y para interrumpir los sistemas de reconocimiento facial y anti-malware.

“A medida que las aplicaciones de inteligencia artificial comienzan a tener un gran impacto en el mundo real, se hace evidente que esta será una tecnología fundamental para nuestro futuro”, afirma Irakli Beridze, director del Centro de Inteligencia Artificial y Robótica de UNICRI. “Sin embargo, así como los beneficios para la sociedad de la IA son muy reales, también lo es la amenaza del uso malintencionado», apunta también Beridze.

Prepararse ante las amenazas

Desde las instituciones como Europol y UNICRI advierten que los ciberdelincuentes siempre han sido los primeros en adoptar la última tecnología, algo que sucede también con la IA. “Como revela este informe, ya se está utilizando para adivinar contraseñas, romper CAPTCHA y clonar voz, y hay muchas más innovaciones maliciosas en proceso”, explica Martin Roesler, jefe de investigación de amenazas prospectivas de Trend Micro, empresa lider en sistemas de ciberseguridad. En este sentido, desde las organizaciones que han participado en la elaboración de este informe, se proponen varias recomendaciones para evitar los estragos que podría ocasionar el uso de la inteligencia artificial con fines criminales. 

Por un lado, aprovechar el potencial de la IA como herramienta de lucha contra el crimen para preparar la industria y la policía de la ciberseguridad para el futuro y continuar con la investigación sobre las posibilidades de la inteligencia artificial para estimular el desarrollo de tecnología defensiva. Para conseguir esto, se deberán promover y desarrollar marcos de diseño de IA seguros y hacer campañas de comunicación par reducir la retórica políticamente cargada sobre el uso de la inteligencia artificial con fines de ciberseguridad. Finalmente, será un factor clave la cooperación entre asociaciones público-privadas y el establecimiento de grupos de expertos multidisciplinarios.

Debates éticos: la máquina contra el humano

Por otro lado, a los aspectos mencionados por el informe de la ONU y EUROPOL, habría que agregar que el uso de la IA por parte de las fuerzas y cuerpos de seguridad supone también el planteamiento de ciertos debates éticos en el uso de algoritmos y máquinas para vigilar y perseguir a seres humanos. Sobre todo, el uso de software de reconocimiento facial supone el peligro de que la tecnología pueda equivocarse o no ser neutral en el perfilamiento de las personas que reconoce. En este sentido, las decisiones que toma esta tecnología, ¿deben gozar de presunción de veracidad? Si no es así, ¿qué instrumentos habría que establecer para prevenir o controlar los posibles errores que se cometan?

Como toda tecnología, su uso debería limitarse a ser un apoyo o una herramienta para la actuación humana en la seguridad urbana, pero jamás debería ser un sustitutivo de esta. Además, se deberían establecer los términos en los que hay que situar la rendición de cuentas en intervenciones llevadas a cabo siguiendo los dictados de estos algoritmos. 

Estos y otros debates serán los que abordaremos en la segunda sesión del ciclo de encuentros virtuales sobre “Nuevas tecnologías aplicadas a la seguridad urbana”, donde además reflexionaremos sobre las potencialidades de la inteligencia artificial para la prevención y la seguridad, así como sus posibles riesgos y amenazas en manos de organizaciones y personas con fines delictivos. Se trata de una actividad gratuita, organizada por FEPSU, que se celebrará el miércoles 2 de diciembre de 2020, de 12h30 a 14h, a través de Zoom. Inscríbete en este enlace. 

Para acceder al informe completo elaborado por Europol, UNICRI y Trend Micro, puedes visitar el siguiente enlace.

Hacia una prevención inteligente

La digitalización está cada vez más presente en todos los aspectos de nuestra vida y la pandemia del coronavirus ha venido a acelerar este proceso. Esta revolución digital supone también nuevos desafíos para la seguridad urbana, lo que obliga también a cambiar y adaptar las respuestas preventivas a estos retos. Este fue el tema central de la 25ª edición del Congreso Alemán de Prevención (DPT), organizado por la ciudad de Kassel y que se realizó en línea los días 28 y 29 de septiembre. El Foro Europeo de Seguridad Urbana (Efus)y el foro alemán DEFUS participaron, como cada año, en esta conferencia, que es la más grande del mundo sobre prevención del delito. En FEPSU te compartimos algunas de las conclusiones a las que se llegaron en este encuentro. 

Nuevos desafíos, nuevas soluciones

Este año, el Congreso Alemán de Prevención se centró en el impacto de la revolución digital en la seguridad urbana y la prevención del delito. El panel inaugural invitó a los asistentes a reflexionar sobre los avances que se han dado en lo que se denomina Prevención Inteligente, que es la aplicación de estrategias digitales y nuevas tecnologías en el diseño de planes de prevención del crimen. El panel de discusión participaron Johannes Baldauf (Facebook), Markus Beckedahl (Netzpolitik, plataforma en línea para el derecho digital a la libertad), Matthias Heeder (cineasta en Rhizomfilm) y Gesa Stückmann (Jurista).

Los participantes de la mesa redonda discutieron también sobre las formas en que las tecnologías digitales presentan oportunidades, pero también riesgos de seguridad. Para responder a estos riesgos hacen falta, evidentemente, formas nuevas e “inteligentes” de iniciativas de prevención. Aún así, la comprensión de los actores que trabajan para favorecer la seguridad de las ciudades aún está evolucionando en el objetivo de llegar hacia esta una prevención inteligente. 

Vigilancia predictiva: riesgos y ventajas

Efus participó también en en seminario web centrado en la vigilancia policial predictiva y los derechos humanos, dirigido por la matemática Dra. Ingrid Bausch-Gall, de Amnistía Internacional. El debate en este evento partió de la diferenciación entre los dos tipos de modelos de vigilancia policial predictiva que existen en la actualidad. 

Un primer modelo se basa en datos geoespaciales y tiene como objetivo predecir ubicaciones probables de delitos, sobre todo robos domiciliarios. El segundo, utiliza datos vinculados a atributos personales y tiene como objetivo identificar a las personas en riesgo de ser víctimas o autores de actividades delictivas. Si bien ambos enfoques conllevan el riesgo de una estigmatización injustificada de ciertos grupos de población, este último se considera más preocupante y supone ser más precavidos con su aplicación. 

Como cualquier tecnología que se desarrolle para apoyar la toma decisiones, la vigilancia policial predictiva es tan buena como los datos de los que se alimenta durante su proceso de aprendizaje y en ningún caso debe sustituir la puesta en práctica de políticas de seguridad basadas en datos empíricos y buenas prácticas. En su webinar, la Dra. Ingrid Bausch Gall destacó que, antes de aplicarlos en un modelo de vigilancia policial, es necesario abordar una serie de preguntas sobre estos datos: ¿De dónde vienen? ¿Con qué propósito fueron recolectados? ¿A quién pertenecen? Las respuestas a estas preguntas determinarán si el modelo que se aplica favorecerá a un mejor desarrollo de la seguridad en la comunidad o si, en cambio, supondrá una estigmatización de los colectivos más desfavorecidos. 

La tecnología no sustituye los recursos humanos

Otro problema surge a partir del uso de los datos: ¿Qué hacer con la información proporcionada por el algoritmo de vigilancia predictiva? La mayoría de las veces, los cuerpos y fuerzas de seguridad envían más patrullas a los vecindarios identificados como en riesgo, basándose en análisis simplistas de los datos. Lo primero que hay que tener claro es que la tecnología no puede reemplazar a los recursos humanos y plantearse la pregunta sobre si este tipo de vigilancia policial predictiva podría tener consecuencias no deseadas en otras áreas o si estira innecesariamente los recursos de las fuerzas del orden. 

Dentro del debate que se llevó a cabo en congreso DPT, los panelistas también consideraron la cuestión de si una mayor presencia policial es una respuesta adecuada. En su forma actual, la vigilancia policial predictiva se ocupa sobre todo de la interceptación de la actividad delictiva, pero menos de la prevención social, aunque puede servir para prevenir la delincuencia a largo plazo y debería encaminarse hacia este modelo de prevención comunitaria.

En su intervención, la Dra. Ingrid Bausch Gall enumeró una serie de recomendaciones para mitigar los riesgos que la actuación policial predictiva representa para los derechos fundamentales, como el derecho a la privacidad, la protección de datos y la no discriminación. 

Con respecto al desarrollo de algoritmos policiales predictivos, para salvaguardarse de los peligros que pudiera implicar su puesta en marcha se debe garantizar la verificabilidad de estos algoritmos a través de evaluadores independientes, así como equipos de desarrollo diversos y transdisciplinarios que incluyan a miembros de la sociedad civil.

El despliegue de la tecnología, además, debe ser fácil de usar y no solo accesible a los expertos. En este sentido, los cuerpos y fuerzas de seguridad deben describir claramente los propósitos del uso de estas tecnologías y considerar los resultados desde una perspectiva crítica e imparcial.

Hacia una mejor vigilancia predictiva

Para avanzar hacia una mejor integración de las nuevas tecnologías y el uso de los datos en la prevención del crimen, desde Efus se propone explorar los beneficios y desafíos del uso de la vigilancia policial predictiva, ya que varios cuerpos y fuerzas de seguridad en Europa están trabajando o comenzando a desarrollar este tipo de modelos. 

Efus se centra en esta área de enfoque a través de proyectos como Cutting Crime Impact (CCI). Durante los últimos dos años los socios de CCI han estado examinando varios modelos de vigilancia policial predictiva actualmente en uso en Europa y elaborando guías de aplicación y uso de las diversas tecnologías disponibles para una mejor prevención del crimen y la delincuencia. 

En FEPSU estaremos abordando estos y otros temas relacionados con el uso de nuevas tecnologías aplicadas a la seguridad urbana en un ciclo de conferencias web que tendrán lugar los días miércoles 18 de noviembre y 2 de diciembre de 2020, de 12h30 a 14h. En nuestro blog también encontrarás una serie de artículos sobre cómo la tecnología está transformando el ejercicio de la policía y las maneras de trabajar en la prevención.