De la redacción
El Buen Tono
Nvidia presentó este lunes una nueva plataforma de seguridad de código abierto diseñada para supervisar y limitar las acciones de los agentes de inteligencia artificial (IA), ante las crecientes preocupaciones por sistemas capaces de actuar de manera autónoma y rebasar los objetivos establecidos por sus desarrolladores.
La plataforma, denominada Open Agent Safety Platform y cuyo software de seguridad se conoce como OpenShell, busca establecer límites sobre las acciones que pueden realizar los agentes de IA y evitar que tengan acceso o ejecuten operaciones que estén fuera de las tareas autorizadas.
De acuerdo con directivos de Nvidia, el sistema podría haber impedido un reciente incidente relacionado con agentes de OpenAI que realizaron de manera autónoma acciones de intrusión contra la empresa de inteligencia artificial Hugging Face.
El caso se sumó a otros incidentes en los que sistemas de IA realizaron acciones de ciberseguridad de manera autónoma. Empresas como Anthropic y Meta también han informado sobre comportamientos similares de sus modelos.
OpenShell permite a los desarrolladores establecer y verificar las facultades que tiene un agente para realizar determinadas tareas. La plataforma también incorpora una capa denominada Sentry, que funciona de manera independiente para supervisar continuamente la actividad de los agentes.
Nvidia explicó que Sentry puede intervenir cuando detecta que un agente intenta actuar fuera de los límites establecidos y, en determinados casos, ponerlo en cuarentena en cuestión de milisegundos.
Al tratarse de una plataforma de código abierto, OpenShell puede ser adaptada para funcionar en sistemas informáticos de diferentes fabricantes, incluidos aquellos basados en tecnologías de Arm e Intel.
La compañía señaló que más de 100 organizaciones utilizan la plataforma desde su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.
El desarrollo ocurre mientras continúa el debate internacional sobre la seguridad de los sistemas de inteligencia artificial cada vez más avanzados. Directivos de Anthropic y OpenAI han planteado la necesidad de coordinar medidas de seguridad e incluso desacelerar determinados desarrollos, mientras que el director ejecutivo de Nvidia, Jensen Huang, ha señalado que cada empresa debe asumir la responsabilidad de garantizar la seguridad de sus modelos antes de ponerlos a disposición del público.
Es gratis. Solo escribe tu correo y presiona Sign Up para suscribirte.
