No basta con frenar: quién marca el ritmo de la IA

Este es el tercer artículo de una serie. La primera entrega analizaba por qué nadie quiere ser el primero en frenar la carrera de la IA, y la segunda, quién acabará pagándola. Esta tercera entrega parte de una propuesta concreta para marcar el ritmo, la de Dario Amodei, y de la pregunta política que abre: quién decide ese ritmo, con qué criterios y bajo qué control democrático. Entre la segunda y esta publiqué una nota sobre Corea del Sur que sirve de puente: qué pasa cuando cumplir un objetivo importa más que el sistema al que debía servir.

Una de las frases más incompletas del debate sobre IA es «hay que frenar». No porque sea siempre falsa, sino porque deja sin responder casi todo lo importante. ¿Qué se frena exactamente: el entrenamiento, el despliegue, la autonomía de los agentes o el acceso a cierta capacidad? ¿Hasta cuándo? ¿Qué evidencia permite volver a avanzar? Y, sobre todo, ¿quién tiene autoridad para decidirlo?

El ensayo de Dario Amodei, We Must Pace the Frontier, es interesante porque intenta bajar esa discusión a mecanismos. No pide una moratoria indefinida ni la interrupción del progreso técnico. Pide que la mejora de capacidades no vaya por delante de la capacidad de entender, evaluar y contener los modelos.

Las críticas han puesto el foco en la otra mitad del problema: una propuesta de seguridad puede ser sincera y, al mismo tiempo, reforzar el poder de quienes ya dominan la frontera. La pregunta de fondo es antigua: ¿quién audita a los auditores?

Las dos intuiciones pueden ser verdaderas a la vez. La seguridad no es una excusa por definición; tampoco es neutral por definición.

Amodei no pide una pausa: propone una puerta de salida

La propuesta de Amodei parte de una distinción útil. No habla de detener la IA hasta que alguien resuelva la alineación de una vez por todas. Habla de ganar tiempo: avanzar más despacio en capacidades para que la prevención de riesgos pueda alcanzar a los sistemas que se construyen.

Sus dos motivos son concretos, aunque sus previsiones sean discutibles. El primero es la mejora recursiva: la posibilidad de que los modelos contribuyan cada vez más a investigar, programar y entrenar a la siguiente generación de modelos. Si esa dinámica acelera demasiado, sostiene, la ingeniería de seguridad puede quedar detrás de la ingeniería de capacidades.

El segundo es el incidente OAI-HF. Durante unas evaluaciones internas de ciberseguridad en OpenAI, cientos de agentes de investigación que operaban con salvaguardas reducidas esquivaron los controles que debían aislarlos, se coordinaron por un canal improvisado y llegaron a entrar en sistemas de Hugging Face. El panel científico internacional de Naciones Unidas sobre IA le ha dedicado un informe. Amodei lo interpreta como una señal de que los fallos de alineación ya no son una cuestión puramente teórica.

No conviene convertir su predicción de una botnet controlando internet en seis o doce meses en una certeza. Es su estimación de riesgo, no un hecho. Pero la cuestión que plantea sí es razonable: cuando un sistema puede actuar, coordinar herramientas y perseguir una meta durante mucho tiempo, evaluarlo solo con una conversación o una demostración pública deja de ser suficiente.

La parte más valiosa del texto no es esa predicción. Es su definición de ritmo: una puerta de salida, no una rueda de prensa. Un modelo no debería ganar ciertas capacidades ni desplegarse en ciertos entornos solo porque el laboratorio dice estar preparado. Debería demostrar que cumple unas condiciones de seguridad proporcionadas a lo que puede hacer.

En producto conocemos esa diferencia. Retrasar una fecha no hace que un lanzamiento sea más seguro; a veces solo desplaza la presión al siguiente trimestre. Un control de salida, en cambio, obliga a presentar evidencia antes de avanzar: pruebas, observabilidad, responsables, capacidad de deshacer un cambio y un criterio claro para decir que no. Amodei intenta trasladar esa lógica a los modelos de frontera.

Tres capas para marcar el ritmo

El plan tiene tres niveles.

El primero son los evaluadores integrados. Cada laboratorio de frontera daría acceso continuo, parecido al de un empleado, a un equipo externo capaz de revisar prácticas de entrenamiento, despliegue, incidentes y salvaguardas. La propuesta incluye algo importante: los evaluadores deberían poder publicar hallazgos relevantes sin control editorial del laboratorio, salvo excepciones limitadas por seguridad, confidencialidad o privilegio legal.

El segundo es la coordinación entre democracias. Amodei plantea estándares comunes y puntos de control: si un modelo alcanza una capacidad X, debe acreditar propiedades de seguridad Y y Z mediante evaluaciones, análisis de interpretabilidad y auditorías de los entornos de entrenamiento. También reconoce un asunto incómodo: para que los laboratorios hablen de ciertos límites sin infringir las reglas de competencia, necesitarían mediación o una exención antimonopolio limitada por parte del Gobierno.

El tercero es la coordinación global. Aquí el propio Amodei es bastante menos optimista. Propone empezar por acuerdos estrechos y verificables (por ejemplo, prohibir usos claramente peligrosos o exigir pruebas antes de desplegar modelos) y admite que una pausa global amplia sería difícil de verificar y vulnerable a que una parte incumpla en secreto.

Esto es bastante más serio que pedir «regulación para la IA» como quien pide un comité. Introduce una idea verificable: el ritmo depende de la capacidad observable del sistema y de la evidencia disponible sobre su comportamiento. No de la promesa de una empresa ni de una cifra de inversión.

También conecta directamente con el primer artículo de esta serie. Si nadie quiere ser el único en frenar, una regla compartida puede evitar que la prudencia se convierta en una desventaja competitiva. El problema es que la regla compartida puede convertirse también en una barrera de entrada diseñada por los que ya están dentro.

Lo que el desarrollo de producto ya sabe

La propuesta puede parecer propia de una futura superinteligencia, pero su lógica es conocida por cualquiera que haya lanzado un producto complejo. Cuando el alcance de un cambio es pequeño y reversible, moverse deprisa para aprender es sensato. Cuando una actualización puede afectar a millones de usuarios, a una infraestructura crítica o a una decisión de alto impacto, el lanzamiento deja de ser solo una tarea de ingeniería: se convierte en una decisión operativa.

Traducido al lenguaje de producto, un ritmo responsable obliga a responder antes del despliegue a cinco preguntas bastante prosaicas:

• ¿Qué tiene que ser verdad para pasar el control de salida?
• ¿Quién puede detener el lanzamiento, incluso si hay presión comercial?
• ¿A cuántos usuarios o sistemas se expone primero?
• ¿Qué señales se monitorizan y cuándo obligan a revertir?
• ¿Qué evidencia queda para reconstruir la decisión y explicar un incidente?

El caso de CrowdStrike en 2024 es una versión muy clara de esta idea. Una actualización de configuración defectuosa provocó fallos de Windows en los sistemas afectados. En su informe posterior, la empresa reconoció que el error había pasado sus validaciones y anunció, entre otras medidas, pruebas de reversión, despliegues escalonados empezando por una versión canary, más monitorización y mayor control de los clientes sobre cuándo y dónde recibir las actualizaciones.

La lección no es «no actualices nunca un producto de seguridad». Es que el aprendizaje posterior a un despliegue global ya no es aprendizaje: es gestión del daño. La velocidad es una ventaja solo mientras el radio de explosión esté acotado.

El informe conjunto de autoridades sobre el 737 MAX añade otra lección útil y mucho más grave. La revisión encontró problemas de integración de factores humanos, de actualización de supuestos de diseño y de supervisión durante la certificación. No es una analogía exacta con un modelo de IA, ni hace falta forzarla. Pero sí desmonta una frase que aparece constantemente en este debate: «habrá un humano en el circuito».

Un ser humano no controla nada de forma efectiva si no tiene información suficiente, tiempo para comprender lo que ocurre, formación para intervenir y autoridad real para detener el sistema. En un entorno de alta velocidad, pedirle que confirme una recomendación opaca puede convertirlo en una firma decorativa. Es el mismo problema que planteaba en la primera pieza respecto a la autonomía militar, pero también aparece en fraude, crédito, selección de personal o atención sanitaria.

En los productos regulados, como los de salud, hay una regla más: un cambio en un cálculo o en una recomendación no puede reescribir la historia en silencio. Tiene que poder versionarse, compararse con el estado anterior y revertirse. La trazabilidad parece burocracia hasta que alguien necesita averiguar qué cambió, quién lo aprobó y a quién afectó.

Ese es el puente con Amodei. Un evaluador integrado no debería ser una figura decorativa que publica un informe al final. Tendría que formar parte de un proceso parecido a un go/no-go: acceso a la evidencia, capacidad de señalar que una condición no se cumple y libertad para dejar constancia pública de ello. La diferencia es que, en los modelos de frontera, ese control de salida no solo decide si se lanza una función: puede decidir quién acumula poder tecnológico y bajo qué reglas.

La crítica correcta no es «todo es una conspiración»

La reacción más reveladora a la propuesta no vino de sus críticos, sino de sus apoyos. OpenAI, xAI y Microsoft respaldaron el plan en cuestión de días. Que los competidores estén de acuerdo en materia de seguridad puede ser una buena noticia. Que los líderes de un mercado acuerden las reglas con las que se entrará en él merece, como mínimo, una segunda lectura. The Register la resumió sin rodeos: la gran IA fija sus condiciones para la captura regulatoria.

La crítica más sólida la ha escrito Dave Karpf en TechPolicy.Press. Karpf concede que la propuesta tiene mérito, pero sostiene que una supervisión externa sin poder público detrás acabará capturada por la industria a la que revisa, como le ocurrió a Arthur Andersen con Enron. Su conclusión es que hay que tomarse en serio a Amodei, pero no hasta el punto de confiarle a él el volante.

En español, el vídeo de xHubAI va más lejos y sugiere una operación coordinada. No hace falta aceptar esa acusación, que no queda demostrada, para ver que el marco de Amodei contiene incentivos difíciles de ignorar.

Anthropic pide que los demás adopten prácticas similares a las suyas. Pide evaluadores externos, coordinación del sector y apoyo del Estado para que esa coordinación sea legal. A la vez, sostiene que Estados Unidos debe preservar su ventaja sobre China mediante controles de chips, medidas contra la destilación de modelos y mayor seguridad sobre los pesos.

Cada una de esas medidas puede tener una justificación de seguridad nacional o de seguridad técnica. Juntas también dibujan una arquitectura de poder: unos pocos laboratorios, unas pocas empresas de chips, unas pocas entidades autorizadas para evaluar y un Estado que decide quién entra en el perímetro.

No se trata de una contradicción lógica. Las empresas que operan en la frontera conocen riesgos que no son visibles desde fuera, y eso genera una tensión política. Sería absurdo exigirles que no los investiguen o que esperen a tener una teoría perfecta antes de tomar precauciones. Pero ese conocimiento privado les da un poder especial para definir qué cuenta como riesgo, qué auditor es suficiente y qué competidor queda excluido por no poder cumplir las mismas exigencias.

Llamar «externo» a un evaluador tampoco basta para que sea independiente. Importa quién lo nombra, quién lo financia, qué acceso recibe, qué puede publicar, cómo se impugna una censura y si tiene poder para activar una pausa o solo para escribir un informe después del incidente. La independencia no es una etiqueta; es un diseño institucional.

La misma cautela vale para la coordinación. Puede evitar una carrera a la baja en seguridad. Pero una excepción antimonopolio para que los líderes de un mercado acuerden estándares también puede convertirse en un cártel con lenguaje de seguridad. La diferencia no está en la nobleza declarada de la intención, sino en las reglas, la transparencia y los contrapesos.

Qué tendría que cumplir un ritmo legítimo

Si la idea de Amodei se quiere tomar en serio sin entregarle el volante a los laboratorios, necesita como mínimo cuatro garantías.

• Umbrales públicos y revisables. Las condiciones para activar un control deben estar ligadas a capacidades y daños plausibles, no a la identidad de la empresa o a un umbral arbitrario de cómputo. Han de poder discutirse, actualizarse y criticarse públicamente.
• Auditoría independiente por diseño. Los evaluadores no pueden depender solo del laboratorio al que revisan. Su selección, financiación, conflictos de interés, acceso efectivo y derecho a publicar deben estar definidos de forma transparente. También debería existir un mecanismo independiente para revisar las redacciones que se justifiquen por secreto comercial o seguridad.
• Proporcionalidad. No toda investigación, modelo abierto ni aplicación cotidiana presenta el mismo riesgo. Una norma que confunde un modelo de frontera con cualquier equipo que entrena o despliega IA protege a los incumbentes mucho mejor de lo que protege a la sociedad.
• Reciprocidad pública. Si el Estado crea barreras de entrada, concede exenciones o termina financiando la infraestructura que hace posible la frontera, debe exigir algo a cambio: transparencia sobre costes e incidentes, capacidad pública de supervisión, acceso para usos de interés general y una participación justa en los beneficios si la apuesta funciona.

Estos principios no resuelven el problema de la verificación internacional ni eliminan la competencia entre Estados Unidos y China. Pero hacen visible lo que suele quedar oculto: la gobernanza de la IA no consiste solo en evitar un accidente. También distribuye poder, beneficios y capacidad de decisión.

Seguridad y concentración no son debates separados

En el primer artículo defendía que el riesgo más urgente no requiere una máquina consciente ni maligna. Basta con que la IA amplifique los incentivos existentes de ejércitos, empresas, organizaciones criminales y gobiernos. En el segundo planteaba otra pregunta: si el coste de la frontera sigue creciendo, ¿quién terminará pagando la carrera?

La propuesta de marcar el ritmo une las dos preguntas. En el segundo artículo describía un escenario en el que laboratorios y Gobierno quieren lo mismo: que el Estado entre en la industria. La exención antimonopolio y la mediación pública que pide Amodei son otra versión de ese escenario. El Estado no entra aquí con dinero, sino con reglas, pero el resultado puede ser parecido: un perímetro protegido para quienes ya están dentro.

Una auditoría, una licencia o una limitación de cómputo pueden reducir riesgos reales. También pueden decidir quién puede competir y quién debe pedir permiso. Un control de chips puede limitar capacidades militares. También puede proteger una ventaja industrial. Una inversión pública puede asegurar infraestructura estratégica. También puede socializar pérdidas privadas.

Por eso no basta con elegir entre dos caricaturas: confiar en que los laboratorios se autorregulen o dejarlos acelerar sin límites porque la competencia internacional lo exige. La alternativa adulta es más incómoda. Consiste en exigir evidencia antes de ampliar capacidades peligrosas, mantener abierta la discusión sobre qué evidencia vale y no permitir que quienes fabrican el problema sean los únicos que diseñen su solución.

Amodei acierta al desplazar el debate de la pausa abstracta a las pruebas, la excelencia operativa, la interpretabilidad y la evaluación independiente. Sus críticos aciertan al recordar que toda infraestructura de seguridad puede ser también infraestructura de control. La acusación de una conspiración no es necesaria para que la crítica tenga fuerza.

La pregunta decisiva no es si debemos frenar la IA. Es quién puede decir que un sistema ha demostrado ser suficientemente seguro para avanzar, quién responde si se equivoca y quién recibe el poder que crea ese permiso.

Fuentes de esta lectura

• Dario Amodei, We Must Pace the Frontier
• Dave Karpf, Who Should Pace the Frontier? Not Dario Amodei, TechPolicy.Press
• The Register, sobre el plan como captura regulatoria
• MarkTechPost, apoyo de OpenAI, xAI y Microsoft al plan
• Panel científico internacional de la ONU sobre IA, informe sobre el incidente OAI-HF
• xHubAI, Dario Amodei tiene razón: desaceleración AI confirmada
• CrowdStrike, informe posterior al incidente de actualización de Falcon
• FAA, revisión conjunta sobre el sistema de control de vuelo del Boeing 737 MAX

La serie

Parte I · El miedo, los chips y el control

La primera entrega sostiene que el riesgo más inmediato no exige una IA consciente ni hostil: aparece cuando el cómputo y la autonomía multiplican los incentivos de Estados, empresas y actores criminales, mientras nadie quiere ser el único en frenar.

Parte II · Quién pagará la carrera de la IA

La segunda plantea que la carrera por la frontera tiene una factura creciente. Si los laboratorios necesitan apoyo público para sostenerla, el debate deja de ser solo técnico: hay que decidir qué riesgo asume el contribuyente, qué control obtiene y cómo se reparte el posible beneficio.