El Parlamento Europeo, en contra de la vigilancia policial preventiva

El Parlamento Europeo ha decidido poner freno al uso de la inteligencia artificial (IA) para la vigilancia policial predictiva. En una resolución aprobada a inicios de octubre con 377 votos a favor, 248 en contra y 62 abstenciones; los eurodiputados y eurodiputadas han llamado a prohibir las actuaciones policiales predictivas basadas en datos obtenidos a partir de tecnologías como, por ejemplo, los dispositivos de reconocimiento facial. En FEPSU hacemos un repaso de los puntos más importantes de esta resolución que cambiará la forma en que estas herramientas se utilizan por parte de las fuerzas y cuerpos de seguridad

Peligro de discriminación

Combatir la discriminación y garantizar el derecho a la privacidad. Estas han sido las principales razones por las que el Parlamento Europeo ha decidido oponerse al uso de herramientas de inteligencia artificial para actuaciones de vigilancia predictiva. Los eurodiputados y las eurodiputadas han exigido fuertes salvaguardas para aquellas ocasiones en que se utilicen herramientas de IA en la aplicación de la ley.

En la resolución, los parlamentarios han señalado el riesgo de sesgo algorítmico en las aplicaciones de IA y han enfatizado que se necesita supervisión humana y fuertes poderes legales para prevenir la discriminación por parte de estas herramientas, especialmente en su uso por parte de las fuerzas y cuerpos de seguridad o en las fronteras. “Los operadores humanos siempre deben tomar las decisiones finales y los sujetos monitoreados por sistemas impulsados ​​por inteligencia artificial deben tener acceso a la reparación”, aseguran los eurodiputados y las eurodiputadas.

Según el texto de la resolución, los sistemas de identificación basados ​​en inteligencia artificial cometen errores a la hora de identificar a grupos étnicos minoritarios, personas LGBTIQ+, ancianos y mujeres en tasas más altas, lo que es particularmente preocupante en el contexto de la aplicación de la ley y la actuación judicial. “Para garantizar que se respeten los derechos fundamentales al utilizar estas tecnologías, los algoritmos deben ser transparentes, rastreables y suficientemente documentados”, subrayan los eurodiputados y las eurodiputadas, en relación a los criterios éticos para un buen uso de la IA. Además, siempre que sea posible, las autoridades públicas deberían utilizar software de código abierto para ser más transparentes.

Prohibición del reconocimiento facial

En este sentido, para respetar la privacidad y la dignidad humana, los parlamentarios y las parlamentarias han solicitado una prohibición permanente del reconocimiento facial de personas en los espacios públicos, ya que, en su opinión, la ciudadanía solo debe ser monitoreada cuando existan sospechas de un delito. El Parlamento Europeo ha pedido, además, que se prohíba el uso de bases de datos privadas de reconocimiento facial (como el sistema Clearview AI, que ya está en uso) y la vigilancia policial predictiva basada en datos de comportamiento.

Los eurodiputados y las eurodiputadas también han abogado por prohibir los sistemas de puntuación social, que intentan calificar la confiabilidad de los ciudadanos en función de su comportamiento o personalidad. Además, los y las representantes del Parlamento Europeo han mostrado su preocupación por el uso de datos biométricos para identificar a las personas de forma remota. Por ejemplo, las puertas de control fronterizo que utilizan el reconocimiento automatizado y el proyecto iBorderCtrl (un «sistema inteligente de detección de mentiras» para la entrada de viajeros a la Unión Europea) deberían descontinuarse, según la resolución. Los parlamentarios y las parlamentarias han instado a la Comisión Europea a abrir procedimientos de infracción contra los Estados miembros si es necesario. 

“Los derechos fundamentales son incondicionales. Por primera vez en la historia, pedimos una moratoria en el despliegue de sistemas de reconocimiento facial con fines de aplicación de la ley, ya que la tecnología ha demostrado ser ineficaz y, a menudo, conduce a resultados discriminatorios. Nos oponemos claramente a la vigilancia policial predictiva basada en el uso de IA, así como a cualquier procesamiento de datos biométricos que conduzca a una vigilancia masiva. Esta es una gran victoria para todos los ciudadanos europeos”, ha manifestado el europarlamentario búlgaro, Petar Vitanov. 

Una tecnología en debate: antecedentes

En FEPSU hemos abordado en distintas ocasiones los debates que despierta el uso de la inteligencia artificial en las actuaciones policiales, especialmente aquellas dirigidas hacia la predicción de comportamientos delictivos. Una de las preguntas que ha suscitado este tema ha sido: ¿Qué tan efectiva es la vigilancia policial predictiva? La digitalización de las bases de datos ha abierto puertas para cambios en los métodos policiales para pronosticar la posibilidad de que se cometan delitos. Sin embargo, al mismo tiempo se ha cuestionado su eficacia para la prevención del delito, algo que los eurodiputados y las eurodiputadas seguramente han tenido en cuenta a la hora de emitir su dictamen. 

En este espacio habíamos advertido ya que la UE estaba buscando dar pasos firmes hacia la regulación de la inteligencia artificial en materia de seguridad, como demuestra esta resolución del Parlamento Europeo. A inicios de junio hicimos un repaso de los sistemas de inteligencia artificial que estarán prohibidos en Europa, si finalmente sale adelante la propuesta de normativa europea que busca poner fin al uso del reconocimiento facial para la vigilancia y los algoritmos que manipulen el comportamiento humano.

Sin embargo, esta propuesta de legislación elaborada por la UE ha despertado reacciones diversas entre los expertos en tecnología, seguridad y derecho, ya que, aunque es un marco normativo novedoso, sigue teniendo lagunas en su texto que invitan a pensar en los siguientes pasos que se deben tomar. En este artículo analizamos los distintos puntos de vista encontrados que ha suscitado el debate sobre la regulación de la IA. 

Para estar al tanto de las últimas novedades en lo que respecta al uso de la inteligencia artificial y otras tecnologías en materia de prevención del delito y seguridad urbana, no dudes en seguir nuestras redes sociales (Twitter y Facebook), donde encontrarás artículos, eventos y recursos diversos para mantenerte informado.

La legislación europea sobre inteligencia artificial, a debate

¿Cuáles son las luces y sombras de la nueva ley europea sobre inteligencia artificial? Esta es la pregunta a la que han intentado responder los profesores de la Universitat Oberta de Catalunya (UOC), Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación, y Sergio de Juan-Creix, profesor colaborador de Derecho del grado de Comunicación. Esta propuesta de legislación elaborada por la Unión Europea ha despertado reacciones diversas entre los expertos en tecnología, seguridad y derecho, ya que, aunque es un marco normativo novedoso, sigue teniendo lagunas en su texto que invitan a pensar en los siguientes pasos que se deben tomar. En FEPSU te compartimos algunas de las principales conclusiones a las que han llegado estos docentes de la UOC en un artículo publicado en su web

Una legislación con mucha expectativa

La propuesta de legislación de la Unión Europea sobre inteligencia artificial que salió a la luz hace unos meses era el paso necesario después de la puesta en marcha del Reglamento General de Protección de Datos (RGPD). Según el profesor de los Estudios de Informática, Multimedia y Telecomunicación de la UOC, Josep Curto, antes de esta propuesta se ha vivido en Europa un periódo de “todo vale”, en el que se han construido sistemas de IA sin tener en cuenta los límites que se deben establecer a el desarrollo de esta tecnología para garantizar su uso seguro. 

Además, como apunta el profesor colaborador de Derecho del grado de Comunicación de la UOC, Sergio de Juan-Creix, hay algunos aspectos importantes sobre la inteligencia artificial que han quedado fuera de la regulación. Por ejemplo, los neuroderechos, es decir el área relacionada con nuestra privacidad e identidad mental, es uno de los campos que ha quedado más desamparado en la nueva normativa propuesta. 

“La inteligencia artificial es la herramienta necesaria para predecir tu comportamiento y, basándose en esto, ofrecerte productos o servicios en función de cómo eres o cuál es tu estado de ánimo, anticipándote a él o moldeándolo al gusto del oferente. Esto va más allá de la privacidad o incluso de la intimidad porque para hacerlo necesitan tener cierto control predictivo sobre tu mente”, afirma De Juan-Creix, experto en derecho digital.

El abogado también destaca que esa intrusión puede traducirse en una manipulación a gran escala y puede tener un impacto directo en nuestras decisiones. Por otro lado, la propuesta de legislación europea también omite, en el ámbito técnico, las recomendaciones sobre los enfoques de preservación de la privacidad, los sistemas conocidos como privacy-preserving machine learning

El limbo de la responsabilidad civil

Para los profesores de la UOC, otro de los aspectos que podrían llegar a crear controversia si continúan sin regularse son los referidos a la responsabilidad civil, ya que no está del todo delimitado quién es el responsable en caso de que la tecnología incurra en un fallo ni cómo se puede hacer entendible esto para la población, lo cual podría tener graves consecuencias para un uso seguro de los dispositivos que utilicen IA.

Estas consideraciones requerirán un largo proceso de negociación, de implantación y, finalmente, asimilación por parte de la ciudadanía. Un proceso que, sin embargo, será clave que se lleve a cabo para garantizar que se sigan una serie de criterios éticos en el uso de estas tecnologías y para prevenir cualquier tipo de amenaza a la seguridad

Los dos expertos de la UOC recuerdan que esta propuesta todavía está en fase de aprobación y su redacción final puede variar significativamente, e incluso abordar en el futuro todos estos espacios en blanco. De hacerlo, habría otro punto revisable en su opinión, y es el de cómo las empresas articularían el cumplimiento de la normativa. “El tejido de empresas en Europa es amplio, y la forma en la que van a consumir inteligencia artificial va a ser muy diferente, por lo que va a ser muy fácil cometer errores”, señala Curto. 

Igualmente, las multas previstas podrían revisarse, ya que las indicadas en la propuesta —hasta veinte millones de euros o el 4 % de la facturación anual— son similares a las presentadas en la regulación del reglamento general. Esto, como apunta Curto, no es del todo eficaz, ya que en los últimos años muchas empresas han recibido sanciones relacionadas con la gestión y la protección de los datos de sus clientes y aun así algunas de ellas siguen realizando las mismas prácticas, ya que operan en múltiples países al mismo tiempo y buscan estrategias para saltarse el cumplimiento de la norma. 

Una posible solución a la evasión de multas por parte de las empresas podría ser, por ejemplo, realizar acciones coordinadas entre países respecto a las empresas investigadas para que las sanciones acumuladas fueran realmente eficaces. Otra opción sería elevar la cuantía de las multas.

Un debate abierto

En FEPSU ya hemos abordado en distintas ocasiones los debates que suscita el uso de la inteligencia artificial, sobre todo por parte de las administraciones públicas y en el caso específico de las fuerzas y cuerpos de seguridad. Por ejemplo, durante los encuentros virtuales “Nuevas tecnologías aplicadas a la seguridad urbana” dedicamos una sesión a reflexionar alrededor de los criterios éticos que hay que tomar en cuenta para un buen uso de la IA en materia de prevención y seguridad urbana

Además, también hemos comentado la petición que hicieron al Gobierno español un grupo de académicos, profesionales y activistas de varios ámbitos para que no se utilicen las herramientas de reconocimiento facial hasta que no exista una ley que regule este tipo de tecnologías de inteligencia artificial. Del mismo modo, también hemos explicado al detalle cuáles serán los sistemas de IA que está previsto que se prohiban en Europa, según el primer borrador de la propuesta de ley que se ha debatido en este artículo. 

En este sentido, el uso de la inteligencia artificial en materia de seguridad y prevención sigue siendo un tema a debate y seguramente seguirá invitando a la reflexión en los próximos meses cuando se apruebe la nueva normativa europea para su regulación. 

Si deseas conocer al detalle las reflexiones de los profesores y expertos de la UOC en materia de informática y derecho alrededor de la nueva normativa europea sobre inteligencia artificial, puedes leer el artículo completo publicado en la página web de la universidad.

¿Qué sistemas de inteligencia artificial estarán prohibidos en Europa?

La Unión Europea quiere dar un paso más hacia la regulación de la inteligencia artificial (IA). Como ha adelantado el blog del Departamento de Interior de la Generalitat de Catalunya, Notes de Seguretat, la UE ha propuesto una normativa sobre IA que prohibe el uso del reconocimiento facial para la vigilancia y los algoritmos que manipulen el comportamiento humano. El objetivo de esta nueva normativa es evitar el desarrollo de tecnología que pueda ser considerada de alto riesgo para la población. En FEPSU te explicamos los puntos clave de esta propuesta de legislación europea y cómo puede afectar al uso de la tecnología en materia de seguridad y prevención

Prohibiciones y limitantes

Entre los sistemas de IA que están prohibidos por esta nueva normativa europea se incluyen aquellos diseñados o utilizados para manipular el comportamiento, las opiniones o las decisiones humanas, haciendo que una persona se comporte, forme una opinión o tome una decisión en su detrimento. 

También se prohiben aquellos sistemas que se utilicen para vigilar a la población de forma indiscriminada y que se apliquen de manera generalizada, aquellos que se utilicen para puntuar socialmente a la ciudadanía y aquellos que exploten información o realicen predicciones de una persona o grupo de personas con el objetivo de orientar sus vulnerabilidades. 

Antes de la publicación oficial de esta nueva norma en materia de inteligencia artificial, ya se habían filtrado algunas propuestas que prometían reglas más duras para las tecnologías de IA de alto riesgo, entre las cuales se incluían los algoritmos utilizados por la policía

Sin embargo, los expertos dejaron claro que estas reglas eran muy vagas y contenían algunas lagunas. Por este motivo, finalmente han quedado fuera de la limitación la tecnología de inteligencia artificial utilizada por el ejército, así como los sistemas que usan las autoridades en materia de seguridad pública

Un cerco a la IA de alto riesgo

Además de estas prohibiciones, los estados miembros de la UE deberán aplicar una mayor supervisión sobre aquella inteligencia artificial que se considere de alto riesgo, entre los que se encuentran: aquellos que establezcan la prioridad en el envío de servicios de emergencia, aquellos que determinen el acceso o la asignación de personas a institutos educativos, los algoritmos de reclutamiento, los sistemas que evalúan la solvencia crediticia, aquellos que realizan evaluaciones de riesgo individuales y los de predicción del crimen

Las gobiernos y administraciones deberán nombrar órganos de evaluación para probar, certificar e inspeccionar todos aquellos sistemas de IA que por su funcionalidad y alcance puedan suponer un atentado para la libertad y los derechos de la ciudadanía. Por otro lado, cualquier empresa que desarrolle servicios de inteligencia artificial que estén prohibidos o que no proporcione la información correcta sobre estos podría recibir multas de hasta el 4% de sus ingresos globales. 

Para hacer frente a los riesgos que suponen los nuevos sistemas de IA, la UE propone que estos incluyan un botón o algún otro procedimiento que permita apagar el sistema al instante, si fuera necesario. Además, todos estos sistemas deberán tener una supervisión humana y no podrán ser completamente autónomos. 

Con esta legislación se espera que la Unión Europea pueda garantizar la seguridad de la ciudadanía, al mismo tiempo que no se impide la competencia de las empresas tecnológicas europeas con la de países como Estados Unidos y China.

Mayor transparencia y confianza

A principios de mayo, el grupo de trabajo de Efus sobre seguridad e innovación organizó una conferencia web en la que, entre otras cosas, se debatió alrededor de esta propuesta legislativa de la UE sobre el uso de la inteligencia artificial

En este encuentro, en el que participaron representantes de distintas ciudades europeas, así como académicos e investigadores, se dejó claro que este tipo de tecnologías no solo suponen riesgos para la población, sino también oportunidades en el ámbito de la seguridad urbana; por ejemplo a través de softwares que ayuden en la búsqueda de personas desaparecidas o que permitan procesar grandes cantidades de datos para agilizar las tareas administrativas diarias. 

Sin embargo, para evitar los posibles peligros que pueda ocasionar los sistemas de IA, por su falta de transparencia y de trazabilidad de los datos, hace falta tomar una serie de medidas que ayuden también a generar confianza de cara al público. 

En este sentido, por ejemplo, se expusieron los casos de Amsterdam y Helsinki, ciudades que han desarrollado instrumentos para fomentar la confianza y la transparencia, a través de los cuales se requiere que los proveedores proporcionen información sobre las suposiciones y elecciones realizadas en el desarrollo de los algoritmos, así como que describan claramente las medidas tomadas para garantizar la integridad de los conjuntos de datos. 

En estas ciudades europeas se han creado también sitios web accesibles a toda la población, que explican cómo funcionan los algoritmos, qué datos utilizan y qué planes de gestión de riesgos existen para mitigar la posible discriminación. Estos instrumentos de explicabilidad son un ejemplo de cómo comunicarse con los usuarios y ser transparentes sobre los riesgos potenciales. 

Además de estas medidas, es importante que los representantes de las ciudades y otras autoridades locales también sean incluidos en los procesos de desarrollo e innovación de nuevas herramientas de IA, compartiendo sus necesidades sobre el terreno y las mejores prácticas para fomentar el compromiso y la aceptación de la comunidad.

Si quieres conocer más acerca de la nueva normativa sobre inteligencia artificial que ha propuesto la Unión Europea, puedes visitar el blog Notes de Seguretat, del Departamento de Interior de la Generalitat de Catalunya. En cambio, si deseas conocer a fondo los debates y propuestas que se dieron en el grupo de trabajo de Efus sobre seguridad e innovación, puedes leer el resumen de la jornada en este enlace. Para estar al tanto de la actualidad sobre el uso de la tecnología en materia de seguridad urbana y prevención, no te olvides de visitar la página web de FEPSU.

A la espera de una ley sobre reconocimiento facial

Unas decenas de académicos, profesionales y activistas de varios ámbitos han pedido al Gobierno español que hasta que no exista una ley que regule las herramientas de reconocimiento facial, no sean utilizadas en el Estado español. La petición llega en un momento en el que ya se está utilizando este tipo de técnicas, tanto en espacios públicos como en entornos privados. En el blog Notes de seguretat de la Generalitat de Catalunya han explicado los argumentos de esta solicitud que pide frenar el uso de la tecnología de reconocimiento facial en España hasta que no exista una regulación específica. En FEPSU te compartimos los puntos clave de esta petición.

Una normativa con garantías

Los firmantes de la petición solicitan una moratoria en el uso y comercialización de sistemas de reconocimiento y análisis facial por parte de empresas públicas y privadas y que las instituciones legislativas europeas debatan qué herramientas y de qué manera, en qué condiciones, con qué garantías y con qué objetivos se tiene que permitir, si cabe, el uso de estos sistemas.

Para los demandantes es preciso que el Gobierno se plantee regular esta tecnología antes de que siga expandiéndose y se convierta en un elemento utilizado y extendido. Es decir, si el reconocimiento facial no se adapta a una ley concreta que asegure el respeto a los derechos de los ciudadanos, temen que sea la ley la que deba adaptarse a las prácticas ya existentes.

Los firmantes se refieren al hecho de que esta tecnología supone una intromisión en la esfera privada de la vida de las personas sin su consentimiento explícito y pone en entredicho cuestiones fundamentales de justicia social, dignidad humana, equidad, igualdad en el trato e inclusión.

Evitar los estereotipos

El uso de programas de análisis facial puede derivar en problemas en el ámbito de los derechos civiles. En concreto, explican que asimilar una persona a un colectivo basándose en sus rasgos o datos biométricos es altamente problemático ya que se perpetúa el estereotipo, en cualquier ámbito. Por ejemplo, que esta persona pueda ser peligrosa o morosa porque otras semejantes a ella lo son es una premisa injusta.

Existen evidencias suficientes que indican que asociar posturas, gestos, rasgos faciales, colores de piel, peinados o prendas a posibles comportamientos problemáticos, capacidades intelectuales o económicas puede resultar en clasificaciones racistas, clasistas o sexistas.

El reconocimiento facial, además, ha comportado en varias ocasiones falsos positivos y falsos negativos, porque depende en gran medida de cómo se entrene la inteligencia artificial y con qué tipo de imágenes. Si se educa con muchas fotografías de hombres blancos o con condiciones de luz específicas, por mencionar dos ejemplos, el análisis facial tenderá a ser menos preciso para las personas negras o con condiciones lumínicas distintas.

Así pues, existe una variada gama de razones –tanto técnicas como éticas– que justifican la creación de una comisión para investigar la necesidad de una moratoria, que se considera imprescindible y urgente. Para concluir, se sugiere que esta comisión sea independiente y esté compuesta por científicos, juristas, expertos en ética e inteligencia artificial y miembros de la sociedad civil, especialmente de aquellos colectivos que pueden verse afectados por estos sistemas.

Si quieres conocer más información sobre la petición de estos expertos y activistas, puedes visitar el blog Notes de seguretat de la Generalitat de Catalunya. Para saber más sobre este y otros temas relacionados con la seguridad urbana y la prevención, no dudes en pasarte por la página web de FEPSU.

Inteligencia artificial: un arma de doble filo

La inteligencia artificial (IA) puede ser una herramienta muy útil para la seguridad urbana. Esta tecnología se utiliza para usos que van desde el software de lectura de matrículas de vehículos, hasta el reconocimiento facial y otras aplicaciones relacionadas con la vigilancia policial predictiva. Pero esta herramienta también está siendo cada vez más utilizada por ciberdelincuentes, quienes se aprovechan de su uso para encontrar nuevas formas de amenazar y atacar la seguridad de los sistemas informáticos de la ciudadanía y de las instituciones. Así lo establece un informe recientemente publicado por la ONU y la Europol, del que te compartimos en FEPSU algunas de sus principales conclusiones. 

Potenciar el uso positivo de la IA

El pasado 19 de noviembre se publicó un documento elaborado conjuntamente por Europol, el Instituto Interregional de Investigación sobre Justicia y Crimen (UNICRI) de las Naciones Unidas y Trend Micro que analiza los usos delictivos actuales y previstos de la IA. Este informe proporciona información sobre ataques existentes y potenciales que aprovechan la inteligencia artificial y recomendaciones para las administraciones, fuerzas y cuerpos de seguridad, legisladores y otras instituciones sobre cómo mitigar estos riesgos.

“La IA promete al mundo una mayor eficiencia, automatización y autonomía. En un momento en el que el público está cada vez más preocupado por el posible uso indebido de la IA, tenemos que ser transparentes sobre las amenazas, pero también analizar los beneficios potenciales de la tecnología de IA», asegura Edvardas Šileris, director del Centro Europeo de Ciberdelincuencia de Europol. “Este informe nos ayudará no solo a anticipar posibles usos maliciosos y abusos de la IA, sino también a prevenir y mitigar esas amenazas de manera proactiva. Así es como podemos desbloquear el potencial que tiene la IA y beneficiarnos del uso positivo de los sistemas de IA», agrega Šileris. 

La IA como objetivo y como medio

El informe concluye que los ciberdelincuentes aprovecharán la IA como vector de ataque y como superficie de ataque, es decir como medio y como objetivo para conseguir sus fines criminales. Las falsificaciones profundas (deep fake) son actualmente el uso más conocido de la IA como vector de ataque. Sin embargo, el informe advierte que se necesitará nueva tecnología de detección en el futuro para mitigar el riesgo de campañas de desinformación y extorsión, así como las amenazas que apuntan a conjuntos de datos de IA.

En este sentido, personas con el objetivo de realizar un crimen podrían utilizar esta tecnología para desarrollar convincentes ataques de ingeniería social a gran escala o malware de raspado de documentos, para hacer que los ataques sean más eficientes. Por otro lado, la IA podría respaldar la evasión de reconocimiento de imágenes y biometría de voz; los ataques de ransomware, mediante la evasión y la focalización inteligente; o la contaminación de datos, mediante la identificación de puntos ciegos en las reglas de detección. Además, el informe también advierte que se están desarrollando sistemas de IA para mejorar la efectividad del malware y para interrumpir los sistemas de reconocimiento facial y anti-malware.

“A medida que las aplicaciones de inteligencia artificial comienzan a tener un gran impacto en el mundo real, se hace evidente que esta será una tecnología fundamental para nuestro futuro”, afirma Irakli Beridze, director del Centro de Inteligencia Artificial y Robótica de UNICRI. “Sin embargo, así como los beneficios para la sociedad de la IA son muy reales, también lo es la amenaza del uso malintencionado», apunta también Beridze.

Prepararse ante las amenazas

Desde las instituciones como Europol y UNICRI advierten que los ciberdelincuentes siempre han sido los primeros en adoptar la última tecnología, algo que sucede también con la IA. “Como revela este informe, ya se está utilizando para adivinar contraseñas, romper CAPTCHA y clonar voz, y hay muchas más innovaciones maliciosas en proceso”, explica Martin Roesler, jefe de investigación de amenazas prospectivas de Trend Micro, empresa lider en sistemas de ciberseguridad. En este sentido, desde las organizaciones que han participado en la elaboración de este informe, se proponen varias recomendaciones para evitar los estragos que podría ocasionar el uso de la inteligencia artificial con fines criminales. 

Por un lado, aprovechar el potencial de la IA como herramienta de lucha contra el crimen para preparar la industria y la policía de la ciberseguridad para el futuro y continuar con la investigación sobre las posibilidades de la inteligencia artificial para estimular el desarrollo de tecnología defensiva. Para conseguir esto, se deberán promover y desarrollar marcos de diseño de IA seguros y hacer campañas de comunicación par reducir la retórica políticamente cargada sobre el uso de la inteligencia artificial con fines de ciberseguridad. Finalmente, será un factor clave la cooperación entre asociaciones público-privadas y el establecimiento de grupos de expertos multidisciplinarios.

Debates éticos: la máquina contra el humano

Por otro lado, a los aspectos mencionados por el informe de la ONU y EUROPOL, habría que agregar que el uso de la IA por parte de las fuerzas y cuerpos de seguridad supone también el planteamiento de ciertos debates éticos en el uso de algoritmos y máquinas para vigilar y perseguir a seres humanos. Sobre todo, el uso de software de reconocimiento facial supone el peligro de que la tecnología pueda equivocarse o no ser neutral en el perfilamiento de las personas que reconoce. En este sentido, las decisiones que toma esta tecnología, ¿deben gozar de presunción de veracidad? Si no es así, ¿qué instrumentos habría que establecer para prevenir o controlar los posibles errores que se cometan?

Como toda tecnología, su uso debería limitarse a ser un apoyo o una herramienta para la actuación humana en la seguridad urbana, pero jamás debería ser un sustitutivo de esta. Además, se deberían establecer los términos en los que hay que situar la rendición de cuentas en intervenciones llevadas a cabo siguiendo los dictados de estos algoritmos. 

Estos y otros debates serán los que abordaremos en la segunda sesión del ciclo de encuentros virtuales sobre “Nuevas tecnologías aplicadas a la seguridad urbana”, donde además reflexionaremos sobre las potencialidades de la inteligencia artificial para la prevención y la seguridad, así como sus posibles riesgos y amenazas en manos de organizaciones y personas con fines delictivos. Se trata de una actividad gratuita, organizada por FEPSU, que se celebrará el miércoles 2 de diciembre de 2020, de 12h30 a 14h, a través de Zoom. Inscríbete en este enlace

Para acceder al informe completo elaborado por Europol, UNICRI y Trend Micro, puedes visitar el siguiente enlace.