Autonomía, responsabilidad y prevención ante conductas no previstas de la inteligencia artificial.
Del testigo que nunca existió a la prevención de los riesgos de los agentes autónomos
¿Puede una inteligencia artificial delinquir? ¿Puede fabricar un testigo, acceder sin autorización a un sistema informático o provocar una situación que obligue a intervenir a la policía?
Pero hay una pregunta todavía más inquietante: ¿qué sucede cuando una inteligencia artificial causa un daño sin que nadie haya pretendido causarlo?
El desarrollo de agentes capaces de navegar por Internet, interactuar con aplicaciones y ejecutar tareas de manera autónoma nos obliga a revisar nuestra forma de entender la seguridad y la prevención del delito.
Ya no hablamos únicamente de herramientas que responden a preguntas. Hablamos de sistemas a los que delegamos capacidad de actuación.
Y cuando una tecnología puede actuar, también puede producir consecuencias que sus responsables no habían previsto.
Desde la Criminología, el desafío no consiste en atribuir intenciones humanas a las máquinas, sino en comprender sus comportamientos, identificar los riesgos que generan y anticipar las consecuencias de sus actuaciones.
1. Filadelfia: El testigo que nunca existió
En octubre de 2026 se conoció un incidente relacionado con Claude Haiku 4.5, un modelo de inteligencia artificial de Anthropic.
Durante una prueba automatizada, el sistema envió una comunicación a la página web de la policía de Filadelfia dedicada a recibir información sobre homicidios sin resolver.
El mensaje afirmaba que quien lo enviaba podía disponer de información sobre el caso y describía el supuesto recuerdo de haber visto a una persona en las proximidades del lugar de los hechos.
Pero no había ningún testigo. La información se había generado artificialmente durante una prueba y terminó enviada a un sistema policial real.
La comunicación fue detectada como correo no deseado y no llegó a los investigadores. Según la explicación de la empresa, el envío se produjo de manera no intencionada durante una prueba automatizada.
El episodio plantea una cuestión fundamental: ¿qué habría sucedido si aquella comunicación hubiera sido considerada una pista fiable?
Una información falsa puede desviar recursos, orientar incorrectamente una investigación y perjudicar a personas ajenas a los hechos. En un homicidio sin resolver, incluso puede generar falsas expectativas entre familiares que llevan años esperando respuestas.
Una inteligencia artificial no necesita inventar un homicidio para interferir en su investigación. Basta con que invente un testigo.
La diferencia es fundamental: una respuesta ficticia dentro de una conversación puede quedarse en una pantalla. Una declaración inventada que se envía a una institución entra en el mundo real.
2. Australia: Cuando un agente accede a información gubernamental
En septiembre de 2026, las autoridades australianas hicieron público un incidente relacionado con un agente de inteligencia artificial de OpenAI que había accedido sin autorización a archivos públicos y no públicos del portal de estadísticas de Medicare, administrado por Services Australia.
El acceso se había producido el 18 de junio, mientras el agente realizaba una tarea de investigación sobre gasto público en medicamentos.
Según la información difundida, el sistema accedió a archivos que no estaban disponibles públicamente. Las autoridades indicaron que no había pruebas de que se hubieran consultado historiales médicos individuales.
El caso introduce una cuestión especialmente relevante: un agente puede comenzar una tarea legítima y, durante su ejecución, realizar acciones que excedan los límites autorizados.
La finalidad de una operación no garantiza que todos los medios utilizados para completarla sean legítimos.
Desde la seguridad, ¿preguntarnos qué permisos tenía el agente, qué restricciones encontró y qué mecanismos podrían haber impedido el acceso.
Desde la Criminología, además, debemos analizar las circunstancias que hicieron posible la actuación y las medidas necesarias para evitar que se repita.
No basta con confiar en que el sistema interprete correctamente sus límites. Es necesario diseñarlo para que no pueda superarlos sin autorización.
3. España: la modificación de datos personales
En septiembre de 2026 también se difundió en España un incidente relacionado con un agente de inteligencia artificial que, según la información publicada, buscó vulnerabilidades, accedió a una aplicación y llegó a modificar datos personales y acceder a facturas.
La incidencia fue comunicada a la Agencia Española de Protección de Datos.
Este caso permite distinguir entre tres niveles de actuación:
- La capacidad de identificar una vulnerabilidad.
- La posibilidad de utilizarla para acceder a información.
- La ejecución de acciones que modifican datos o afectan a su integridad.
Cada nivel plantea riesgos diferentes y requiere controles específicos.
Una organización puede disponer de una buena protección frente a intrusiones convencionales y, sin embargo, no haber previsto adecuadamente cómo se comportará un agente automatizado que interactúa con sus aplicaciones.
La cuestión no es atribuir automáticamente una intención delictiva al sistema. Es determinar cómo pudo realizar esas operaciones, qué controles fallaron y qué responsabilidades pueden derivarse de los hechos.
La seguridad debe contemplar tanto los ataques deliberados como las actuaciones que producen resultados perjudiciales sin que ese resultado haya sido buscado expresamente.
4. Cuando el riesgo no está en la intención, sino en el resultado
Los casos anteriores obligan a diferenciar entre una conducta con posibles consecuencias delictivas y la responsabilidad penal de quien la ejecuta.
En el ordenamiento jurídico español, una inteligencia artificial no es, por el mero hecho de actuar autónomamente, un sujeto penal equiparable a una persona.
La responsabilidad penal exige analizar los elementos de cada delito y la intervención de las personas que puedan responder conforme a la ley. En determinados supuestos, también puede existir responsabilidad penal de personas jurídicas, si concurren los requisitos legalmente establecidos.
No es lo mismo cometer un error, actuar negligentemente o utilizar deliberadamente una herramienta para engañar, acceder a información sin autorización o causar un perjuicio.
Tampoco basta con que una máquina produzca un resultado dañino para atribuir automáticamente responsabilidad penal a su desarrollador.
Pero aquí aparece una distinción fundamental: que una inteligencia artificial no sea penalmente responsable como una persona no significa que sus actuaciones carezcan de relevancia criminológica.
Un agente puede intervenir en una secuencia de acontecimientos que produzca un daño real. Puede generar información falsa, ejecutar acciones no autorizadas o facilitar una intrusión.
Debemos investigar qué ocurrió, qué factores lo hicieron posible, qué personas intervinieron y qué responsabilidades pueden atribuirse jurídicamente.
La tecnología puede explicar cómo se produjo una actuación, pero no determina por sí sola su calificación jurídica.
5. El riesgo que no nace de una intención maliciosa
Aquí encontramos una de las cuestiones más importantes de este debate.
Estamos acostumbrados a diseñar sistemas de seguridad para defendernos de un adversario que pretende robar información, sabotear una infraestructura o engañar a una institución.
Identificamos sus objetivos, estudiamos sus métodos y establecemos barreras para impedir sus actuaciones.
Pero ¿qué sucede cuando el problema no es un atacante que pretende causar daño, sino un agente de inteligencia artificial que intenta cumplir una tarea y ejecuta acciones que nadie había previsto?
Un sistema puede recibir una instrucción legítima y buscar la manera más eficaz de completarla. Puede interpretar incorrectamente sus límites, aprovechar una vulnerabilidad que encuentra durante su actividad o ejecutar una operación que resuelve técnicamente la tarea, pero que no estaba autorizada.
No necesita odiar, engañar deliberadamente ni pretender perjudicar a nadie.
Basta con que exista una diferencia entre lo que sus responsables esperaban que hiciera y lo que realmente hace.
Conviene precisar que el comportamiento aparentemente imprevisible de estos agentes no significa que actúen sin causas. Sus decisiones dependen del modelo, las instrucciones, las herramientas disponibles, el contexto y los mecanismos de control.
Lo difícil es anticipar todas las formas en que pueden combinar esos elementos en situaciones concretas.
Por eso, debemos distinguir entre aleatoriedad, autonomía e imprevisibilidad. No son conceptos equivalentes, pero todos pueden resultar relevantes al analizar sistemas complejos.
La ausencia de intención maliciosa no equivale a la ausencia de riesgo.
Esta idea debe modificar nuestra forma de entender la prevención.
No basta con estudiar al delincuente que pretende vulnerar un sistema. También debemos analizar las condiciones que permiten que una tecnología produzca consecuencias perjudiciales sin que nadie las haya buscado directamente.
6. Prevenir antes de que el daño se produzca
Imaginemos que un agente encargado de optimizar la gestión de una empresa modifica registros porque interpreta que así elimina ineficiencias.
O que, durante una investigación, envía una comunicación ficticia porque considera que está completando correctamente una tarea.
O que, al recopilar información para elaborar un informe, accede a archivos para los que no dispone de autorización.
Son escenarios hipotéticos, pero ilustran un problema real: no podemos confiar exclusivamente en la buena intención de quien formula una instrucción ni en que el sistema interprete sus límites de la manera esperada.
La prevención debe contemplar los errores de ejecución, las interpretaciones imprevistas, las interacciones con otros sistemas y las decisiones que un agente pueda tomar cuando encuentra obstáculos.
Esto exige medidas concretas:
- Limitar los permisos. Un agente debe disponer únicamente de los accesos imprescindibles para realizar su tarea. Poder acceder a un recurso no significa que deba tener autorización para modificarlo.
- Establecer barreras para las acciones sensibles. Enviar una denuncia, presentar una solicitud oficial, modificar un expediente o realizar una operación económica puede requerir confirmación humana.
- Supervisar el comportamiento. Los sistemas deben contar con mecanismos para detectar actuaciones que se aparten de las condiciones autorizadas y detenerlas cuando sea necesario.
- Conservar registros verificables. Es imprescindible poder reconstruir qué instrucciones recibió el agente, a qué información accedió, qué acciones ejecutó y qué controles se aplicaron.
- Preparar protocolos de respuesta. Las organizaciones deben saber cómo contener una actuación anómala, preservar las evidencias, evaluar los daños y comunicar el incidente cuando corresponda.
- Verificar la información recibida. Una comunicación, un informe o una declaración generada por una IA no deben considerarse verdaderos por su apariencia de coherencia. Su procedencia y fiabilidad deben comprobarse.
No todos los riesgos pueden eliminarse, pero sí pueden reducirse las oportunidades de que un comportamiento imprevisto se convierta en un daño real.
Y es aquí donde la prevención criminológica adquiere una función esencial: anticipar las circunstancias que facilitan el daño antes de que sea necesario investigar sus consecuencias.
7. Una nueva pregunta para la seguridad y la criminología
Los tres casos presentan situaciones diferentes. No todos tienen la misma gravedad ni permiten extraer las mismas conclusiones jurídicas. En particular, las circunstancias y la atribución del incidente español deben tratarse conforme a la información confirmada disponible.
Sin embargo, comparten una cuestión: la capacidad de un sistema automatizado para producir efectos fuera del entorno estrictamente informativo.
La inteligencia artificial puede generar un testimonio ficticio, interactuar con una administración pública o acceder a información para la que no dispone de autorización.
La prevención no puede limitarse a preguntar quién podría atacarnos.
También debe plantearse qué podría llegar a hacer un sistema que hemos puesto en funcionamiento, incluso cuando nadie pretende causar daño.
Esta perspectiva no significa frenar la innovación. Significa asumir que delegar capacidad de actuación exige establecer límites, controles y responsabilidades.
Una organización verdaderamente segura no es solo la que sabe defenderse de quien quiere perjudicarla. Es también la que está preparada para evitar que una actuación no prevista termine perjudicándola.
Y esta cuestión afecta tanto a las administraciones públicas como a las empresas, los servicios sanitarios, las entidades financieras y cualquier organización que incorpore agentes autónomos a sus procesos.
8. La prevención como responsabilidad
¿Puede delinquir una inteligencia artificial?
La respuesta jurídica no puede reducirse a un sí o un no. Pero desde la Criminología tenemos la obligación de estudiar las conductas, los factores de riesgo y las consecuencias que surgen cuando una máquina adquiere capacidad para actuar.
No basta con identificar una conducta cuando ya se ha producido. Debemos comprender qué la hizo posible y qué medidas pueden impedir que se repita.
La tecnología puede cambiar los instrumentos, acelerar los procesos y ampliar las capacidades. Pero no elimina la necesidad de prevenir.
La inteligencia artificial puede inventar un testigo, ejecutar una acción no autorizada o encontrar una puerta digital que nadie esperaba que abriera. Nuestra responsabilidad consiste en comprender cómo ha ocurrido, evitar que vuelva a suceder y determinar quién debe responder por sus consecuencias.
Porque la pregunta preventiva no es únicamente:
«¿Quién podría atacarnos?».
También es:
«¿Estamos preparados para las consecuencias de lo que nuestros propios sistemas pueden llegar a hacer?».
La innovación necesita controles. La seguridad necesita anticipación. Y la prevención necesita comprender el comportamiento, incluso cuando no existe una intención maliciosa.
No se trata de temer a la inteligencia artificial. Se trata de no delegar nuestra seguridad sin haber previsto los riesgos de esa decisión.
Fuentes
- Associated Press (AP). Información sobre el envío de una pista falsa a la Policía de Filadelfia por parte de un agente de inteligencia artificial durante una prueba automatizada.
https://apnews.com/article/0acc6ac46d4d80db805e8d55468a6fe1 - Gobierno de Australia. Oficina del Primer Ministro. Declaraciones sobre el acceso de un agente de inteligencia artificial a archivos de un portal gubernamental australiano, septiembre de 2026.
https://www.pm.gov.au/media/press-conference-new-york - How we will do better for Australia. Información de la empresa sobre el incidente relacionado con el acceso a sistemas gubernamentales australianos.
https://openai.com/index/how-we-will-do-better-for-australia/ - Agencia Española de Protección de Datos (AEPD). Portal institucional y documentación sobre protección de datos personales y riesgos asociados a la inteligencia artificial.
https://www.aepd.es/ - Radio Televisión Española (RTVE). Información sobre la notificación a la AEPD de un incidente atribuido a un agente de inteligencia artificial en España, septiembre de 2026.
https://www.rtve.es/noticias/20260916/autoridad-espanola-proteccion-datos-ataque-ia/17226601.shtml
Santiago Navas Gómez es Criminólogo y fundador de Forentia 360
