Nadella pide controles externos y un freno de emergencia para los agentes de IA

Satya Nadella planteó que las empresas deben tratar a los modelos avanzados de IA como posibles riesgos internos cuando les dan acceso a datos sensibles o les permiten ejecutar tareas críticas. En un ensayo publicado el 10 de octubre, el CEO de Microsoft sostiene que confiar en las garantías del proveedor no reemplaza la responsabilidad de la organización que despliega el sistema.

Su propuesta es separar el modelo de los controles que determinan qué información puede consultar y qué acciones puede realizar. Esos controles deben funcionar fuera del propio modelo. Nadella también pide registros comprensibles de las acciones, límites que se puedan probar y la capacidad de que una persona autorizada pause o detenga una tarea en curso: un «freno de emergencia».

La distinción importa porque un agente puede equivocarse o ser manipulado sin que exista una intención maliciosa. Si tiene permisos amplios sobre correo, repositorios o sistemas de negocio, un error puede tener consecuencias que no se corrigen ajustando una instrucción. Nadella propone aplicar prácticas conocidas de seguridad interna, como identificar al actor, limitar sus privilegios, registrar su actividad y contener su alcance.

Para tu empresa, esto no anuncia una nueva función de Copilot ni un cambio de licencia. Es un criterio de arquitectura para revisar proyectos con agentes: define qué permisos necesita cada tarea, quién aprueba las acciones sensibles, dónde queda la evidencia y cómo se interrumpe la ejecución. Si esas respuestas dependen únicamente de que el modelo se comporte como esperas, el control todavía es insuficiente.