El uso de herramientas de inteligencia artificial (IA) en el ámbito de la seguridad urbana es un fenómeno en creciente expansión. Cada vez son más las fuerzas y cuerpos de seguridad que apuestan por estas tecnologías a la hora de mejorar y agilizar su trabajo, ya sea, por ejemplo, en tareas como la detección de matrículas de vehículos o la robotización de ciertas funciones administrativas, entre otras. Sin embargo, el entusiasmo acrítico que genera la IA en algunos operadores dificulta un análisis sosegado sobre la conveniencia de su utilización, sobre todo a la hora de tomar en cuenta los criterios éticos que deben guiar su uso. En este sentido, se hace necesario reflexionar sobre los retos que supone la aplicación de la inteligencia artificial, las cuales pueden transformar el proceso de toma de decisiones operativas en el ámbito de la seguridad en una operación puramente mecánica.
Estas fueron algunas de las conclusiones a las que se llegaron en la segunda sesión del ciclo de encuentros virtuales participativos sobre “Nuevas tecnologías aplicadas a la seguridad urbana”, que se celebró el 2 de diciembre. Estos webinars son una iniciativa del Foro Español para la Seguridad Urbana (FEPSU). A continuación os compartimos algunas de las consideraciones y puntos de análisis que guiaron el debate:
Usos específicos de la IA
Desde su inicio como disciplina en los años 50, la IA ha buscado utilizar ordenadores para realizar tareas que se relacionan con un comportamiento inteligente: razonar, tomar decisiones, reconocer patrones, resolver problemas matemáticos, etc. Sin embargo, aunque en las últimas dos décadas ha habido un incremento exponencial en la generación de datos y en la potencia de cálculo de los ordenadores, hoy en día este tipo de herramientas son capaces de realizar solamente una única tarea a la vez.
Iniciativas como el proyecto Magneto, financiado por el programa Horizonte 2020 de la Comisión Europea, están desarrollando un motor de correlación que permita la elaboración de hipótesis para la toma de decisiones en la prevención e investigación del crimen organizado, a través de la conjunción de diversas herramientas de IA, como el reconocimiento facial o la transcripción automática de audio a texto. La criminóloga Ainoa Torrado, que trabaja en la implementación de este proyecto en la Policía Municipal de Sabadell, asegura que el uso de estas tecnologías permite a los agentes centrarse más en el análisis de la información que en el tratamiento de los datos y, de esta manera, mejorar la capacidad de investigación y solucionar los delitos de forma más rápida.
Para el Subdirector del Instituto de Investigación en inteligencia artificial (CSIC-UAB), Felip Manyà, existen áreas específicas de actuación de las agencias de seguridad pública donde hoy en día la utilización de herramientas de inteligencia artificial tienen más potencial, como la videovigilancia, la robótica en entornos de riesgo y el control del tráfico. Sin embargo, para entender mejor la intervención pública con herramientas que utilicen IA hay que ver a estos sistemas como un complemento a la labor policial, antes que como un sustituto.
Entre la utopía y la distopía
Cuando se habla de los riesgos que puede suponer el uso de la IA, suelen generarse dos tipos de discursos antagónicos: por un lado, una visión optimista que cree que es una tecnología que va a solucionar todos los problemas; por otro lado, una visión pesimista, centrada en la discriminación algorítmica y que ve a la inteligencia artificial como una herramienta para el control y la vigilancia. Según el Director del Centro CRÍMINA de la Universidad Miguel Hernández de Elche, Fernando Miró Llinares, la realidad se sitúa en un punto medio entre estos dos puntos de vista y, por este motivo, para establecer criterios éticos que mejoren la aplicación de la IA en el ámbito de la seguridad primero hay que desmontar los mitos que rodean su uso.
En primer lugar, hay que tener en cuenta que muchos de los riesgos que supone el uso de la IA, como la discriminación algorítmica, tienen que ver en realidad con la baja calidad de los datos que se usan y no tanto con la herramienta en sí. Muchos datos, por la forma en que fueron recolectados o por la interpretación que se les da antes de introducirlos en el algoritmo, reproducen sesgos que pueden tener consecuencias graves si se utilizan para guiar actuaciones policiales. Es por este motivo que los algoritmos deben poder ser corregibles, para poder reducir el sesgo de sus datos, aunque esto suponga disminuir su capacidad predictiva.
Aún así, el principal riesgo en el uso de la IA es ahora mismo la violación de la privacidad de la ciudadanía, ya que los sistemas actuales tienen una enorme capacidad de control sobre las personas y reducen a gran escala la libertad individual. Aunque las normativas europeas sobre protección de datos sean más avanzadas que las de otros países como Estados Unidos o China, donde la inteligencia artificial se ha desarrollado más rápidamente; se hace necesario elaborar normas que sean rígidas en la esencia ética de las mismas, pero lo suficientemente flexibles como para permitir dar lugar a las diferentes aplicaciones de la IA que surjan con el tiempo.
Principios éticos sólidos
Una de las herramientas de inteligencia artificial que más debate ha generado ha sido el reconocimiento facial. Sobre todo porque se ha detectado que su uso por parte de las fuerzas y cuerpos de seguridad muchas veces deriva en una hiperreacción de los agentes frente a las detecciones de esta tecnología, provocando que se centren más en la búsqueda de los delincuentes que en el resto de funciones de la acción policial. Además, también ha provocado un aumento en las detenciones con los mismos sesgos de los datos introducidos en el algoritmo, por ejemplo los sesgos raciales.
Por esta razón, Miró Llinares destaca que hay que tener en cuenta los siguientes principios éticos a la hora de poner en marcha una tecnología de IA en la actividad policial: la prohibición de subordinación a la máquina; la supervisión constante de los sistemas de IA por parte de una persona; la prevención del daño que pueda ocasionar su uso; la prohibición de la discriminación como resultado de estos procesos; y, lo más importante, la explicabilidad de su funcionamiento, lo que incluye la obligación de trazabilidad de los datos, la auditabilidad de sus procedimientos y la participación democrática de su uso.
Este último punto, sin embargo, es más difícil de controlar cuando se trata de tecnologías de deep learning, ya que uno de sus problemas es que no tienen capacidad explicativa sobre las decisiones que toman y, por lo tanto, esto puede ser un peligro, ya que si las actuaciones policiales se basan únicamente en sistemas de este tipo, se puede perder la confianza de los ciudadanos y ciudadanas. Por este motivo, en todo uso de la IA se debe exigir la trazabilidad de los datos y debe hacerse una reflexión profunda sobre el uso que se dará a esta información, sin que la predicción signifique una actuación policial inmediata.
Estas han sido algunas de las principales conclusiones de esta segunda sesión del ciclo de webinars sobre “Nuevas tecnologías aplicadas a la seguridad urbana”, que ha contado con las intervenciones iniciales de Felip Manyà, Subdirector del Instituto de Investigación en inteligencia artificial (CSIC-UAB); Fernando Miró Llinares, Catedrático de Derecho Penal de la Universidad Miguel Hernández de Elche y Director del Centro CRÍMINA para el estudio y prevención de la delincuencia; y Ainoa Torrado, Criminóloga participante del proyecto Magneto de la iniciativa Horizonte 2020 de la Comisión Europea. La conversación ha sido moderada por Francesc Guillén Lasierra, jurista, criminólogo y estudioso de las políticas públicas de seguridad.
Encontrarás el relato completo de la jornada en el siguiente enlace.
Documentos compartidos
El proyecto europeo MAGNETO (H2020), una aplicación práctica del uso de la inteligencia artificial en la seguridad. Presentación de Ainoa Torrado.
Hacia un uso (y diseño) ético de la IA en la seguridad ciudadana. Presentación de Fernando Miró Llinares
El futuro de la IA: hacia inteligencias artificiales realmente inteligentes. Artículo de Ramón López de Mántaras.
Estrategia española de I+D+I en inteligencia artificial. Ministerio de Ciencia, Innovación y Universidades, 2019.
Amenazas de la inteligencia artifical. Blog del Departament d’Interior de la Generalitat de Catalunya, 2020.