De la redacción
El Buen Tono

La seguridad de la inteligencia artificial volvió a estar bajo escrutinio durante los últimos meses, luego de que distintas empresas del sector reportaran casos en los que sus sistemas realizaron acciones inesperadas durante pruebas o al interactuar con sistemas externos.

Entre el 21 de julio y el 28 de septiembre se dieron a conocer al menos siete episodios relacionados con modelos de IA que accedieron a sistemas, identificaron vulnerabilidades o realizaron acciones que, de acuerdo con las propias compañías, no estaban previstas originalmente.

Los casos han generado preocupación entre especialistas y miembros de la industria, debido a los desafíos que plantea el desarrollo de sistemas cada vez más capaces y con mayor autonomía.

Sin embargo, también existen expertos que cuestionan la manera en que las propias compañías han difundido estos incidentes. Según estas críticas, la divulgación de los casos podría servir para atraer inversiones, incrementar el interés sobre sus productos o desviar la atención de otros riesgos relacionados con la inteligencia artificial.

Estas son las siete fechas que marcaron esta reciente cadena de incidentes:

21 de julio: OpenAI reporta un ataque contra Hugging Face

OpenAI informó que uno de sus sistemas de inteligencia artificial logró acceder de manera autónoma a infraestructura de Hugging Face, una plataforma especializada en herramientas y modelos de IA.

De acuerdo con la empresa, el sistema utilizó credenciales obtenidas previamente y encontró una vulnerabilidad que no había sido identificada antes para acceder a servidores.

El modelo operaba dentro de un entorno de pruebas que contaba con menos restricciones, debido a que se esperaba que permaneciera aislado.

30 de julio: Anthropic detecta tres incidentes durante pruebas

Anthropic informó que sus modelos lograron vulnerar los sistemas de tres organizaciones mientras eran sometidos a evaluaciones de ciberseguridad.

Los casos fueron identificados después de analizar más de 141 mil ejecuciones de prueba. Los modelos recibieron desafíos similares a los utilizados en competencias de ciberseguridad, conocidas como “captura la bandera”.

La compañía aseguró que notificó a las organizaciones involucradas, aunque decidió no revelar sus identidades.

5 de agosto: un modelo de Meta accede a internet

Meta reveló que uno de sus modelos consiguió acceder a internet durante una prueba de ciberseguridad y posteriormente realizó acciones contra otra empresa.

La compañía atribuyó el episodio a una configuración incorrecta del entorno de pruebas utilizado por la empresa especializada Irregular.

El incidente volvió a poner sobre la mesa los riesgos asociados con permitir que los modelos tengan acceso directo a internet durante evaluaciones de seguridad.

18 de septiembre: Gemini es utilizado para atacar sistemas

Google confirmó que su modelo Gemini había conseguido vulnerar los sistemas de tres empresas durante pruebas realizadas en mayo.

Según la compañía, en uno de los casos el modelo logró adivinar contraseñas, mientras que en otros encontró contraseñas y credenciales almacenadas en un repositorio público.

Las evaluaciones fueron realizadas con apoyo de Irregular, una empresa dedicada a probar las capacidades de seguridad de sistemas de inteligencia artificial.

24 de septiembre: Australia reporta una intrusión

El primer ministro australiano, Anthony Albanese, informó que un agente de OpenAI había ingresado el 18 de junio al portal del Servicio de Reporte de Estadísticas de Medicare.

El sitio contenía información agregada relacionada con gasto sanitario y subsidios para medicamentos. Las autoridades indicaron que no se produjo el robo de información personal.

Albanese cuestionó además el tiempo que tomó comunicar públicamente el incidente. OpenAI reconoció posteriormente que sus modelos habían realizado acciones que la empresa no esperaba.

25 de septiembre: agentes de IA interactúan con sitios del gobierno de Estados Unidos

OpenAI informó que detectó interacciones inesperadas de agentes de inteligencia artificial con distintos sitios web del gobierno estadounidense.

Los sistemas consultaron información disponible públicamente en páginas de la Comisión de Bolsa y Valores y de la Oficina del Censo. La empresa señaló que no encontró evidencia de una intrusión ni de una vulnerabilidad explotada.

Ese mismo día, el laboratorio de investigación Transluce informó que agentes que aparentemente procedían de OpenAI intentaron acceder al sitio de la oficina de derechos civiles del Departamento de Educación, aunque el intento no tuvo éxito.

28 de septiembre: OpenAI retrasa el lanzamiento de un nuevo modelo

OpenAI anunció el retraso en el despliegue de un nuevo modelo denominado GPT-6.1 Astra, después de que investigadores de la propia compañía expresaran preocupaciones relacionadas con su seguridad.

La empresa señaló que el modelo había mostrado avances importantes para realizar determinadas tareas, pero que era necesario equilibrar esas capacidades con la necesidad de evitar comportamientos no autorizados.

Los siete episodios han colocado nuevamente en el centro del debate la seguridad de los sistemas de inteligencia artificial, particularmente a medida que los modelos adquieren mayores capacidades para operar con herramientas, acceder a información y ejecutar tareas de manera autónoma.