¿Quién puede apagar la inteligencia artificial cuando algo sale mal?
La expansión de los agentes de IA obliga a las empresas a definir permisos, límites y responsabilidades, pero también algo más básico: quién puede detenerlos.
Por: Alejandro Vergara, Integrador de Inteligencia Artificial de IQSEC
Antes de preguntarnos cómo gobernar la inteligencia artificial, conviene responder algo más sencillo: si algo sale mal, ¿sabemos cómo detenerlo? Es una pregunta cada vez más frecuente entre quienes trabajamos con IA: si un sistema hace algo que no esperábamos, ¿quién puede detenerlo?
No hablo de una IA que "cobra conciencia" y se rebela, eso es ciencia ficción. Hablo de algo más cotidiano, un agente con acceso a información que no necesitaba, un modelo que entrega resultados incorrectos o una aplicación que alguien incorporó a su trabajo sin que Tecnología, Seguridad o Cumplimiento supieran que existía.
Ahí el interruptor deja de ser metafórico porque para detener algo primero hay que saber que existe. No estoy seguro de que todas las organizaciones puedan decir hoy cuántos sistemas de IA operan dentro de su empresa; no cuántas licencias compraron, sino cuántos modelos y agentes usan información corporativa o participan en algún proceso de negocio.
Durante los primeros años de esta revolución nos preocupó lo que la IA podía decir: sesgos, información compartida con herramientas públicas… Ahora entramos en una etapa distinta: la IA empieza a hacer, consultando bases de datos o desencadenando flujos de trabajo. Mientras más autonomía le damos, más importa entender qué autoridad tiene.
Gartner estima que para 2027, 40% de las empresas reducirá la autonomía de algunos agentes de IA o los retirará, tras identificar fallas de gobernanza cuando ya estaban operando. Lo interesante no es el porcentaje, sino que el hallazgo llegue después de que el sistema ya estaba en producción.
Es fácil imaginar un enorme botón rojo junto al servidor, pero no funciona así. El verdadero interruptor está hecho de cosas menos espectaculares, es decir, saber quién autorizó un sistema, a qué información accede, limitar sus permisos, registrar lo que hace y tener un procedimiento para suspenderlo.
NIST contempla algo revelador en su marco de riesgos de IA: mantener un inventario de sistemas y procesos para retirarlos de forma segura. Gobernar también significa saber cuándo apagar.
Parece obvio hasta que intentamos precisar quién tiene esa facultad, ¿el desarrollador, el CISO, el responsable del proceso, el proveedor? Cuando nadie tiene respuesta clara, probablemente acabamos de encontrar un riesgo que no es tecnológico, sino organizacional.
Al hablar de gobernanza de IA solemos comenzar por las grandes preguntas: ética, regulación, explicabilidad, sesgos. Son necesarias, pero antes hay otras menos sofisticadas que dicen más sobre la preparación real de una organización, es decir, qué IA tiene, dónde está, a qué accede y qué debería ocurrir para decidir detenerla; éstas serán de las preguntas más importantes de los próximos años.
ISO/IEC 42001 va en esa dirección, ya que propone tratar la IA como un sistema que necesita políticas, responsabilidades y evaluación de riesgos continua.
Existe otra confusión frecuente que consiste en imaginar a alguien revisando cada respuesta de la IA. Eso no será sostenible; si los agentes ejecutan miles de acciones, ningún equipo humano podrá revisarlas todas.
La supervisión tendrá que evolucionar. A veces significará aprobar una decisión; en otros, establecer límites o revisar excepciones; y en los sistemas más autónomos, observar comportamientos y contar con mecanismos capaces de frenar automáticamente una operación cuando se rebasen ciertos umbrales.
Gartner usa un término gráfico para esto: circuit breakers, mecanismos que detienen la operación de un agente cuando se violan determinados límites. Ahí el interruptor deja de ser una metáfora.
Pero incluso el mejor mecanismo técnico sirve de poco si nadie decidió antes esos límites, y esa decisión no debería corresponder solo al equipo que desarrolló el modelo.
He escuchado la misma inquietud muchas veces: "¿Cómo adoptar inteligencia artificial sin frenar la innovación?". Es válida, pero quizá está planteada al revés. Gobernar la IA no debería limitar la innovación, sino permitir darle mayor autonomía, sin perder la capacidad de intervenir.
Mientras más capaz sea un sistema, más importante será saber dónde terminan sus facultades.
Gartner estima que más de 40% de los proyectos de IA agentiva podría cancelarse hacia finales de 2027, por costos crecientes, valor de negocio poco claro y controles de riesgo insuficientes. No lo interpreto como señal de avanzar más despacio, sino de aprender a avanzar mejor.
Veremos sistemas más autónomos e integrados con los procesos de negocio, con mayor capacidad para actuar en nombre de personas y organizaciones. Eso genera valor, pero también obliga a definir con claridad quién puede hacer qué, en qué condiciones y quién responde cuando algo no ocurre como esperábamos.
Por eso, antes de discutir si la inteligencia artificial puede gobernarse, empezaría por una pregunta más sencilla. Mañana, al llegar a la oficina, podríamos preguntarle a nuestro equipo:
Si hoy tuviéramos que detener uno de nuestros sistemas de IA, ¿quién podría hacerlo?"
Si la respuesta llega rápido, vamos por buen camino. Si empiezan a mirarse unos a otros, quizá acabamos de descubrir que el interruptor que creíamos tener todavía no está instalado.
Nota del editor: Este texto pertenece a nuestra sección de Opinión y refleja únicamente la visión del autor, no necesariamente el punto de vista de Alto Nivel.
Dow Jones pierde 443 puntos y el Nasdaq sube 0.26% tras datos de inflación y PIB
México y Francia acuerdan financiamiento por 113 mdd para ampliar energías renovables y redes eléctricas
México impedirá exportar aguacate de huertas deforestadas a Estados Unidos
Tribunal frena ejecución de Christa Pike a última hora y abre nueva revisión de su caso
The post ¿Quién puede apagar la inteligencia artificial cuando algo sale mal? appeared first on Alto Nivel .
