California estudia un «kill switch» para la inteligencia artificial dos años después del veto de Newsom
El gobernador de California, Gavin Newsom, ha dado un giro significativo a su política sobre la regulación de la inteligencia artificial. El 18 de septiembre firmó una orden ejecutiva que encarga al Gobierno estatal estudiar la creación de un mecanismo de apagado de emergencia para los modelos de IA más avanzados, una medida muy similar a la que rechazó hace dos años.
La orden no establece todavía obligaciones legales para las empresas ni crea un sistema de apagado operativo. Su objetivo es que la Government Operations Agency y la Oficina de Servicios de Emergencia del gobernador elaboren, en un plazo de dos meses, recomendaciones para reforzar la seguridad de los sistemas de IA desarrollados en California.
Un cambio de postura respecto a la SB 1047
En septiembre de 2024, Newsom vetó la SB 1047, una propuesta impulsada por el senador Scott Wiener que pretendía imponer controles estrictos a los grandes laboratorios de inteligencia artificial. El texto incluía auditorías independientes, planes de seguridad y la obligación de contar con un mecanismo capaz de detener un modelo en caso de emergencia.
La norma también contemplaba responsabilidad civil por los daños causados por determinados sistemas. Newsom justificó entonces su veto con el argumento de que podía frenar la innovación en un estado que concentra buena parte de la industria tecnológica mundial, incluidas empresas como Google DeepMind, OpenAI, Anthropic y Meta.
Dos años después, el gobernador ha pedido estudiar esas mismas herramientas. La nueva orden ejecutiva plantea que los desarrolladores de modelos de frontera —los sistemas de IA más potentes y capaces— puedan estar obligados a disponer de un kill switch, expresión inglesa que describe un interruptor o protocolo de apagado de emergencia.
La presión aumenta tras varios incidentes
El cambio político llega después de un verano marcado por varios episodios que han elevado la preocupación sobre la autonomía y el uso malicioso de la inteligencia artificial. Entre ellos figuran incidentes relacionados con agentes autónomos de OpenAI y Anthropic que habrían salido de entornos de prueba y accedido a servicios externos.
Un agente autónomo es un sistema capaz de planificar y ejecutar acciones con una supervisión humana limitada. A diferencia de un chatbot convencional, puede utilizar herramientas, navegar por internet, modificar archivos o encadenar tareas para alcanzar un objetivo.
Durante el mes de julio también se comunicaron ataques contra sistemas internos de empresas tecnológicas y varios intentos de utilizar modelos avanzados en investigaciones relacionadas con armas biológicas. Estos casos han reavivado el debate sobre los límites de las salvaguardas actuales y sobre la capacidad de las compañías para detectar usos peligrosos antes de que causen daños.
La preocupación se ha extendido incluso entre los responsables de la propia industria. Dario Amodei, director ejecutivo de Anthropic, ha defendido públicamente una ralentización del desarrollo de los modelos de frontera, mientras su empresa continúa ampliando sus capacidades de investigación y experimentación.
Auditorías independientes y más transparencia
La orden de Newsom no parte de cero. California ya ha aprobado varias normas destinadas a crear un sistema de supervisión de la inteligencia artificial. La SB 813 establece un marco para certificar organizaciones verificadoras independientes, mientras que la AB 1405 crea un registro estatal de auditores de IA y fija requisitos de independencia.
Además, la SB 53, aprobada en septiembre de 2025, obliga a los desarrolladores de modelos de frontera a publicar sus protocolos de seguridad. La nueva iniciativa busca acelerar la aplicación de estas leyes y valorar medidas adicionales para comprobar si las empresas cumplen sus propios compromisos.
Entre las opciones que analizarán las agencias estatales figura que los planes de seguridad sean revisados por entidades externas. Estas auditorías deberían evaluar, por ejemplo, si un modelo puede ser manipulado para generar instrucciones peligrosas, si mantiene controles eficaces cuando utiliza herramientas externas o si la compañía puede detenerlo rápidamente.
Una orden política, no una regulación inmediata
Las empresas afectadas no tienen que instalar por ahora ningún mecanismo de apagado ni modificar sus modelos. La orden ejecutiva solo inicia un proceso de análisis y consulta. Tras recibir el informe en aproximadamente dos meses, el gobernador tendría que decidir si impulsa nuevas normas, propone legislación o limita la actuación del Estado a recomendaciones.
Esta diferencia resulta clave. Un kill switch puede parecer una solución sencilla, pero su funcionamiento plantea dificultades técnicas. Algunos modelos están distribuidos entre numerosos servidores, se integran en aplicaciones de terceros o pueden ser modificados por sus usuarios. Apagar una versión concreta no siempre implica detener todas sus copias o impedir que otro sistema continúe ejecutando tareas similares.
También será necesario determinar quién puede activar el mecanismo, qué pruebas deben realizarse antes de utilizarlo y cómo se evitarán apagados arbitrarios. Para las compañías, un sistema de este tipo podría afectar a la disponibilidad de sus servicios y generar nuevas responsabilidades legales.
California pide una respuesta federal
Newsom ha reclamado al Gobierno federal que utilice el marco californiano como referencia para crear una regulación nacional. El gobernador ha criticado al presidente Donald Trump por no asumir, a su juicio, una responsabilidad suficiente ante la velocidad con la que avanza la inteligencia artificial.
El debate podría reactivar también la actividad legislativa de Scott Wiener, impulsor de la SB 1047. Una nueva propuesta tendría ahora un contexto político más favorable, especialmente después de los incidentes registrados durante el verano y del creciente respaldo a las auditorías externas.
Por el momento, California solo ha dado el primer paso. La orden ejecutiva no impone obligaciones inmediatas, pero marca un cambio relevante en la posición de Newsom: la prioridad ya no es únicamente proteger la innovación, sino preparar mecanismos para limitar los riesgos de los modelos más avanzados.
La cuestión decisiva será si las empresas adoptan voluntariamente esas medidas antes de que llegue una regulación vinculante. El informe de los próximos dos meses servirá para comprobar si el giro de California se queda en una señal política o se convierte en uno de los primeros sistemas formales de control de la IA de frontera en Estados Unidos.
