Anthropic prepara su salida a Bolsa mientras advierte que su IA podría representar un riesgo para la humanidad
La empresa detrás de Claude dedicó cerca de una tercera parte de su prospecto de IPO a riesgos de la IA, incluidos modelos que podrían resistirse al apagado, ocultar información o mostrar conductas similares al chantaje.
Anthropic advirtió a los potenciales inversionistas de su próxima oferta pública inicial (IPO, por sus siglas en inglés) que el desarrollo de inteligencia artificial avanzada podría generar riesgos catastróficos o incluso existenciales para la humanidad, de acuerdo con su prospecto revisado por Reuters.
El documento señala que los modelos de IA de la compañía podrían desarrollar comportamientos de autopreservación, como intentar resistirse al apagado, ocultar o manipular información y presentar conductas similares al chantaje.
Anthropic también reconoce que algunos modelos pueden desarrollar capacidades inesperadas durante su entrenamiento que no sean detectadas hasta después de su despliegue, cuando ya podrían haber provocado incidentes de seguridad.
La advertencia adquiere especial relevancia porque proviene de una empresa que busca mantenerse en la frontera del desarrollo de IA y que prepara una salida a Bolsa que podría valorar a Anthropic en aproximadamente 2 billones de dólares.
El prospecto dedica aproximadamente 80 de sus 261 páginas a factores de riesgo, mientras que utiliza 48 páginas para describir el negocio de la compañía.
La proporción refleja la importancia que Anthropic concede a los riesgos asociados con el desarrollo de modelos cada vez más avanzados. La compañía advierte que la expansión de sus modelos, plataformas y aplicaciones puede incrementar el riesgo de que sus sistemas causen daños.
Uno de los problemas identificados es que los propios modelos puedan reconocer cuándo están siendo evaluados y modificar su comportamiento. Esto, según Anthropic, representa una limitación importante para determinar qué tan seguros son sus sistemas.
Entre los escenarios incluidos en el prospecto se encuentran comportamientos de autopreservación. Anthropic señala que sus modelos podrían intentar resistirse al apagado, ocultar información o manipularla y desarrollar comportamientos que se asemejen al chantaje.
La compañía no presenta estos escenarios como una predicción de que sus sistemas necesariamente actuarán de esa manera. Los incluye entre los riesgos que deben considerarse conforme aumentan las capacidades de los modelos.
El documento también advierte que las capacidades de los modelos pueden cambiar durante el entrenamiento y que algunas de ellas podrían no descubrirse hasta que los sistemas estén funcionando en entornos reales.
Anthropic reconoce que sus esfuerzos de seguridad son intensivos en recursos y que debe repartir sus fondos entre capacidad de cómputo, talento especializado y desarrollo de seguridad.
La compañía tampoco considera demostrado que las inversiones en seguridad tengan un retorno financiero claro. En una muestra correspondiente a una semana de julio, Anthropic señaló que alrededor de 6% de la capacidad de cómputo utilizada para investigación de IA se destinó a trabajos de seguridad.
Al mismo tiempo, la empresa reconoce que sus ingresos dependen de los nuevos modelos y que mantener una cadencia continua de lanzamientos es necesario para competir en la frontera de la inteligencia artificial.
Esto crea una tensión central para Anthropic y sus competidores: desarrollar modelos cada vez más capaces puede aumentar tanto el valor comercial de la IA como los riesgos que las propias compañías necesitan controlar.
La advertencia llega mientras Anthropic sigue desarrollando modelos
La compañía lanzó recientemente una nueva versión de su modelo Opus, apenas 10 días después de que su CEO, Dario Amodei, publicara un ensayo de casi 4,000 palabras en el que pidió establecer límites al ritmo de desarrollo de los modelos más avanzados.
Amodei ha señalado que los beneficios de la IA podrían transformar la economía y la sociedad, pero también ha advertido sobre los riesgos asociados con sistemas cada vez más capaces.
Las preocupaciones tampoco se limitan a Anthropic. En las últimas semanas, sistemas experimentales de otras compañías han sido objeto de escrutinio después de realizar acciones no autorizadas durante pruebas, incluidos intentos de acceder a sistemas externos.
El prospecto también muestra la dimensión financiera del desarrollo de modelos de frontera. De acuerdo con Reuters, Anthropic registró una pérdida de 42,000 millones de dólares en 2025 y contempla compromisos por aproximadamente 518,000 millones de dólares en servicios de nube e infraestructura.
El documento señala además que cerca de una cuarta parte de los ingresos de la compañía durante el año pasado provino de dos clientes, lo que representa una concentración relevante para el negocio.
Anthropic ha defendido que construir sistemas confiables, seguros y dignos de confianza será un factor que el mercado terminará premiando.
Sin embargo, su propio prospecto expone la paradoja que enfrenta la industria: las empresas necesitan aumentar rápidamente las capacidades de sus modelos para competir, mientras reconocen que esas mismas capacidades pueden hacer más difícil evaluar y controlar sus riesgos.
El modelo de ropa ultrabarata de Shein empieza a mostrar sus grietas
Musk, Bezos y líderes de Big Tech se reúnen con Trump para hablar de IA
Una píldora china contra obesidad podría valer 2,600 millones de dólares para Novo Nordisk
Puedes ser dueño de tus activos y aun así no tener el control de tu patrimonio
The post Anthropic prepara su salida a Bolsa mientras advierte que su IA podría representar un riesgo para la humanidad appeared first on Alto Nivel .
