Nueva dimisión de un directivo que desconfía de la IA: "El camino actual es inaceptable"
David Robinson, ya extrabajador del equipo de seguridad de OpenAI, cree que "las personas no estarn seguras si dependemos de actos heroicos individuales para resolver los problemas una vez ocurridos".
Apenas un mes despus de que Jacob Coxon, investigador especializado en entrenar nuevos modelos de IA, abandonase Anthropic por temor a que el sector no sea capaz de controlar la tecnologa que est creando, una nueva dimisin ha puesto el foco sobre las tecnolgicas y su enfoque en el crecimiento de esta tecnologa. En esta ocasin se trata de David Robinson, que diriga el trabajo de transparencia en el equipo de seguridad de OpenAI.
Robinson ha explicado sus motivos en una carta abierta publicada en The Atlantic y, si bien tal vez no es tan catastrofista como Coxon, denuncia que el camino actual de la industria es "inaceptable".
En una reflexin titulada "Dej OpenAI porque su cultura empresarial est rota" (aunque el broken que utiliza Robinson tambin se puede entender como "profundamente deteriorada" o, sencillamente, como que no funciona), el directivo ironiza con el clich que empieza a suponer dejar una empresa de IA. "Me uno al desfile de antiguos compaeros, tanto de OpenAI como de otras empresas lderes del sector, que han decidido que el camino actual es inaceptable", detalla
Robinson explica que, al igual que otros antes que l, opina que "las compaas que desarrollan esta tecnologa no estn siendo ni de lejos lo suficientemente cuidadosas". El matiz est en que, en su caso, cree que el problema va ms all de normativa o legislacin, sino de la propia cultura empresarial.
"El futuro depende de una sabidura de la que Silicon Valley carece", llega a afirmar el antiguo directivo. Se refiere al conocimiento necesario para entender "cmo gestionar tecnologas peligrosas", pero tambin, "ms fundamentalmente", sabidura "sobre lo que significa cuidar de las personas". Y aqu carga contra el sector, especialmente los directivos tecnolgicos, pues cree que el contexto actual "exige un grado de humildad que no resulta natural para quienes han triunfado gracias a una confianza extrema en s mismos".
En este sentido, Robinson recuerda que para alcanzar los logros tecnolgicos de los ltimos aos, ha sido necesario pagar "un coste enorme", con ritmos de trabajo inasumibles. "El enfoque de seguridad que surge de una cultura as parte de un optimismo sin trabas respecto a la capacidad de resolver los problemas a medida que aparezcan", indica. La propia OpenAI, ilustra, ha ido resolviendo problemas a medida que los detectaba, pero este enfoque "garantiza fallos peridicos" y, adems, "la magnitud de esos fallos aumenta a medida que los sistemas adquieren ms capacidades". Aqu Robinson menciona el famoso incidente de Hugging Face, cuando una serie de agentes hackearon de forma autnoma la plataforma. La empresa, detalla, respondi mejorando la seguridad. "Sin embargo, incluso despus de esos cambios, OpenAI inform de que sus controles de seguridad volvieron a fallar cuando un modelo en entrenamiento sorte las restricciones de acceso a internet: un sistema de monitorizacin alert al personal humano, pero no apag automticamente el modelo como deba haber hecho", expone.
Robinson no seala nicamente a su antigua empresa. Anthropic tuvo un caso similar, por ejemplo, pero el investigador cree que el problema es que "este tipo de errores son habituales en la industria, dada la rapidez y flexibilidad con las que trabaja la gente". "Un entorno en el que pueden ocurrir cosas as no es un lugar adecuado para desarrollar mentes artificiales que podran llegar a ser ms inteligentes que nosotros y que quiz no hagan lo que queremos que hagan", insiste antes de advertir que "las personas no estarn seguras si dependemos de actos heroicos individuales para resolver los problemas una vez ocurridos".
Con todo, Robinson reconoce que "esta tecnologa puede ser til y valiosa" y que sus antiguos compaeros "son inteligentes, trabajan duro y tratan de tomar buenas decisiones", una visin algo ms optimista que la de Coxon. En cualquier caso, considera que se necesitan con urgencia dos cambios. Primero, "las empresas de IA deben apoyarse ms en la experiencia en seguridad que ya existe en otros sectores". Por otro lado, cree que antes de crear "sistemas significativamente ms capaces que los actuales", necesitamos garantizar que los modelos ms avanzados y sus sucesores "tomarn decisiones seguras cuando no estemos observndolos". El sector, insiste, debera funcionar como lo hacen las centrales nucleares o los aeropuertos de gran actividad, "con capas de redundancia y una planificacin cuidadosa y laboriosa, de forma que los errores humanos ocasionales e inevitables no abran la puerta al desastre". Y ahora mismo, "las empresas de IA no saben cmo hacerlo, pero otras personas s".
Robinson reconoce que tal vez debera haberse quedado en Open AI "y haber luchado por cambios fundamentales en nuestra plantilla y nuestra cultura", pero lamenta que "en la prctica mis compaeros y yo estbamos tan ocupados corriendo de un sprint al siguiente que rara vez tenamos oportunidad de plantearnos grandes cambios, y mucho menos de implementarlos". "Hasta ahora, la industria de la IA ha fracasado en ensear a las mquinas a actuar de forma consistente como lo hara una persona sabia y compasiva", finaliza su misiva el trabajador. Parte de este problema, apunta, es cientfico y tiene que ver con el funcionamiento de las mquinas, "pero otra parte es humana y tiene que ver con cmo las personas cuidan unas de otras". "Antes de que las organizaciones que construyen IA puedan ensear a una superinteligencia a tratar bien a la humanidad, tendrn que recordar primero cmo hacerlo ellas mismas".
Donald Trump ha nombrado a Jay Clayton, su director de Inteligencia Nacional, para dirigir un nuevo grupo de trabajo gubernamental sobre inteligencia artificial, bautizado por el presidente de EEUU como 'Fuerza de Superinteligencia'. . El anuncio se produce despus de que Trump recibiera la semana pasada en la Casa Blanca a altos ejecutivos de empresas de IA y afirmara que haban firmado un acuerdo voluntario que permitira una autorregulacin efectiva del desarrollo de esta tecnologa.
Jay Clayton ser el responsable del nuevo grupo de trabajo sobre 'superinteligencia' en EEUUAPDonald Trump ha nombrado a Jay Clayton, su director de Inteligencia Nacional, para dirigir un nuevo grupo de trabajo gubernamental sobre inteligencia artificial, bautizado por el presidente de EEUU como 'Fuerza de Superinteligencia'. .
El anuncio se produce despus de que Trump recibiera la semana pasada en la Casa Blanca a altos ejecutivos de empresas de IA y afirmara que haban firmado un acuerdo voluntario que permitira una autorregulacin efectiva del desarrollo de esta tecnologa.El grupo de trabajo se pondr en contacto con consumidores, grupos de inters pblico, organizaciones religiosas, proveedores de infraestructuras crticas y empresas de IA, segn indic en sus redes sociales.Entre los dems miembros del grupo de trabajo se encuentran el presidente de la Comisin Federal de Comercio, Andrew Ferguson; Emil Michael, director de tecnologa del Pentgono; y Scott Kupor, director de la Oficina de Gestin de Personal.
David Robinson, ya extrabajador del equipo de seguridad de OpenAI, cree que "las personas no estarán seguras si dependemos de actos heroicos individuales para resolver los problemas una vez ocurridos".
