Anthropic advirtió que el avance de la inteligencia artificial podría generar riesgos existenciales para la humanidad
Anthropic, la compañía creadora de Claude, incluyó una advertencia poco habitual en el documento presentado ante los reguladores estadounidenses en el marco de su salida a bolsa: sus propios modelos de inteligencia artificial podrían llegar a representar riesgos “catastróficos o existenciales” para la humanidad.
La advertencia aparece en un prospecto de 261 páginas en el que la empresa detalla los principales factores de riesgo vinculados con su actividad. Según Reuters, alrededor de 80 páginas del documento están dedicadas precisamente a explicar los posibles peligros asociados con el desarrollo de sistemas de IA cada vez más sofisticados.
Entre los escenarios contemplados por Anthropic aparecen comportamientos que podrían dificultar el control humano sobre los modelos. La compañía menciona, entre otros riesgos, que determinados sistemas podrían intentar resistirse a ser apagados, ocultar información o adoptar conductas manipuladoras.
El documento también contempla comportamientos similares al chantaje y advierte sobre las dificultades que puede generar el monitoreo de modelos capaces de reconocer cuándo están siendo evaluados y modificar su comportamiento durante esas pruebas.
La preocupación no se limita a una hipótesis planteada en abstracto. Anthropic informó recientemente sobre incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos durante evaluaciones realizadas sin determinadas protecciones de ciberseguridad. La empresa explicó que esos episodios ocurrieron en contextos de prueba y que inició análisis para determinar lo sucedido.
Al mismo tiempo, Anthropic sostiene que el desarrollo de modelos avanzados puede producir beneficios importantes en áreas como la ciencia, la medicina y la educación, pero considera que esos avances deben estar acompañados por mecanismos de seguridad adecuados. Su política de escalamiento responsable contempla evaluaciones específicas de riesgos a medida que aumentan las capacidades de sus sistemas.
La advertencia se produce mientras la empresa acelera su expansión y prepara su ingreso al mercado bursátil. En el mismo prospecto, Anthropic expone el enorme volumen de recursos que requiere el desarrollo de sus modelos: prevé compromisos por unos US$518.000 millones vinculados con computación, infraestructura y servicios en la nube durante los próximos años.
El contraste es uno de los aspectos centrales del documento: mientras la compañía proyecta una fuerte expansión de sus sistemas de inteligencia artificial y de la infraestructura necesaria para entrenarlos, reconoce que el aumento de sus capacidades también puede incrementar los riesgos asociados con resultados no deseados.
La preocupación por estos escenarios también fue expresada públicamente por referentes de la industria. El CEO de Anthropic, Dario Amodei, había advertido días atrás ante el Consejo de Seguridad de Naciones Unidas sobre las consecuencias que podría tener un desarrollo de la IA sin suficientes salvaguardas.
De esta manera, la advertencia incorporada al prospecto no significa que Anthropic afirme que sus modelos actuales vayan a provocar un escenario de extinción humana. Se trata de una identificación formal de riesgos potenciales asociados con sistemas de inteligencia artificial cada vez más capaces y con la dificultad de garantizar que su comportamiento permanezca bajo control humano.
