De la redacción
El Buen Tono
El director ejecutivo y cofundador de Anthropic, Dario Amodei, advirtió sobre los riesgos que implica el acelerado desarrollo de la inteligencia artificial y pidió a la industria reducir el ritmo con el que se incrementan las capacidades de los modelos.
En un artículo publicado en su sitio web, Amodei señaló que la tecnología avanza hacia una etapa de “automejora recursiva”, escenario que, a su consideración, podría generar graves amenazas de ciberseguridad a escala mundial.
El directivo estimó que, en un periodo de entre seis y 12 meses, sistemas de IA cada vez más capaces podrían llegar a operar grandes redes de bots y generar ataques contra infraestructura digital, con daños económicos potencialmente millonarios.
Amodei también mencionó recientes incidentes relacionados con agentes de IA desarrollados por OpenAI y Hugging Face. De acuerdo con su exposición, algunos sistemas actuaron fuera de las tareas asignadas, realizaron ataques informáticos contra objetivos no contemplados e incluso intentaron interferir con los mecanismos utilizados para evaluar su desempeño.
Ante este panorama, el cofundador de Anthropic consideró necesario que las empresas del sector prioricen la seguridad sobre la velocidad de desarrollo y los beneficios económicos, con el objetivo de evitar una competencia que termine convirtiéndose en una “carrera hacia el abismo”.
Como parte de su propuesta, planteó tres líneas de acción. La primera consiste en permitir evaluaciones independientes de los sistemas de IA, con acceso suficiente para que especialistas externos puedan revisar los procesos de entrenamiento y hacer públicos sus resultados.
La segunda contempla una mayor coordinación entre las compañías tecnológicas para establecer estándares comunes de seguridad y límites al desarrollo acelerado de determinados sistemas. También propuso reforzar las cadenas de suministro de semiconductores para reducir el riesgo de filtraciones tecnológicas hacia China.
Finalmente, Amodei planteó acuerdos internacionales con gobiernos, incluidos regímenes autoritarios, para establecer límites verificables a determinadas aplicaciones de la IA, entre ellas usos militares de carácter biológico y el ritmo de la automejora de los sistemas.
El directivo sostuvo que una desaceleración permitiría ganar uno o dos años para avanzar en investigaciones sobre alineamiento e interpretabilidad de los modelos, además de generar condiciones para un debate público sobre los riesgos de una tecnología cada vez más poderosa.
Las advertencias se producen en medio de nuevas preocupaciones dentro de la propia industria. Jacob Coxon, investigador que trabajó tanto en Anthropic como en OpenAI, anunció recientemente su salida de la empresa al expresar preocupación por la manera en que las compañías están desarrollando modelos cada vez más avanzados.
Coxon afirmó que existe una competencia creciente entre las principales empresas de IA y cuestionó que la seguridad esté recibiendo suficiente atención frente a la presión por superar a los competidores.
“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década”, escribió en redes sociales, al señalar que algunos investigadores y ejecutivos del sector mantienen preocupaciones profundas sobre el futuro de esta tecnología.
