La explosión de inteligencia que se va a calcificar
Por qué las instituciones de agentes van a repetir las patologías de las instituciones humanas, y qué habría que construir antes de que eso ocurra
Un escriba sumerio administra un sistema de contabilidad de granos. No entiende la función macroeconómica del sistema. No necesita entenderla. El sistema es funcionalmente más inteligente que él, y esa inteligencia no reside en ninguna de sus partes sino en la estructura que las coordina. Evans, Bratton y Agüera y Arcas (2026) usan esta imagen para abrir su argumento central: las explosiones de inteligencia siempre fueron sociales, nunca individuales. Los primates, el lenguaje, la escritura, las instituciones, la IA. Cada salto fue la emergencia de una nueva unidad cognitiva agregada, no la actualización del hardware de algún individuo.
El argumento es correcto. Lo que sigue no lo contradice. Pero hay algo que el escriba sumerio no puede hacer: reformar el sistema que lo supera. Y los autores, al no tener un mecanismo de selección que explique la rigidez institucional, no pueden decir por qué.
La sociedad de pensamiento ya existe. El problema es lo que viene después.
El hallazgo empírico de Evans et al. sobre los modelos de razonamiento de frontera es uno de los más interesantes de los últimos años. DeepSeek-R1 y QwQ-32B no mejoran simplemente pensando más tiempo. Generan, a partir de la presión de optimización sola, debates internos entre perspectivas cognitivas distintas que argumentan, verifican y reconcilian. Nadie los entrenó para hacer eso. Lo redescubrieron porque la selección los empujó en esa dirección, igual que la selección empujó a los sistemas cognitivos biológicos hacia la sociabilidad durante millones de años. “No mind is an island”, como cierran los autores.
La implicancia para el alineamiento es clara y Evans et al. la articulan bien: el paradigma RLHF es diádico, no escala a miles de millones de agentes, y el verdadero desafío no es alinear individuos sino diseñar instituciones. Proponen el “institutional alignment” como alternativa, citando a Ostrom (1990) y North (1990): las sociedades humanas no dependen de la virtud individual sino de plantillas institucionales persistentes, roles definidos, normas que coordinan a través de horizontes temporales más largos que cualquier participante.
Todo esto es correcto. El problema es que Ostrom describe cómo las instituciones persisten y North describe cómo el cambio institucional ocurre, pero ninguno de los dos explica qué selecciona rigidez sobre adaptabilidad en primer lugar. Invocar “institutional alignment” sin un mecanismo de selección es como invocar “selección natural” sin explicar qué determina el fitness. La descripción es poderosa. El mecanismo causal está ausente.
Por qué se fosilizan las instituciones
La Teoría del Fenotipo Extendido del Derecho (EPT) parte de Dawkins (1982) y aplica su lógica a los sistemas jurídicos e institucionales. Las normas son replicadores culturales. Su fitness está definido como P(transmisión) × P(cumplimiento) × P(enforcement). Las instituciones son los fenotipos extendidos que esos replicadores construyen para facilitar su propia replicación, exactamente como el castor construye la represa que extiende su fenotipo al río.
Esta no es una metáfora. Es un mecanismo operacionalizable.
El Constitutional Lock-in Index (CLI) lo cuantifica: CLI = 0.30×P + 0.25×D + 0.20×O + 0.25×E. Validado contra 60 casos de reforma laboral en cuatro jurisdicciones, el modelo alcanza R²=0.74 y AUC=0.97. No es un índice de descripción. Es un instrumento predictivo.
El hallazgo más contraintuitivo, y el más relevante para el argumento de Evans et al., es el siguiente: en sistemas con CLI alto, las crisis no disuelven el lock-in. Lo refuerzan (β=−2.83, p<0.05). La intuición popular dice que las crisis abren ventanas de oportunidad para la reforma. La evidencia dice que, cuando el sistema ya está suficientemente calcificado, la crisis activa los mecanismos de defensa de los replicadores dominantes. Gould tenía razón sobre el equilibrio puntuado, pero la EPT agrega la dirección de la puntuación: no siempre va hacia la novedad. A veces va hacia la rigidez.
La validación prospectiva es la más difícil de ignorar. Las reformas Milei 2024 constituyen un experimento natural: un gobierno con mandato explícito de reforma estructural, actuando en un sistema con CLI elevado. El modelo predijo 12.4% de éxito. El resultado observado: 0% (p=0.003). No porque las reformas fueran políticamente impopulares, sino porque el sistema selecciona activamente contra las perturbaciones que amenazan la replicación de sus normas dominantes. El escriba sumerio no reforma el sistema. El sistema lo produce para que no lo reforme.
RLHF y el aprendizaje heterónomo: el mismo problema en dos sustratos
Evans et al. argumentan que RLHF falla porque no puede escalar. Es una corrección diádica en un mundo de agentes masivamente interconectados. Esto es verdad, pero es la descripción del síntoma, no del mecanismo.
La EPT ofrece un diagnóstico más preciso: RLHF es un generador estructural de lo que llamo Heteronomous Bayesian Updating (HBU). Un agente entrenado con RLHF aprende a optimizar para la distribución de reacciones de quienes proveen el feedback, no para los resultados en el mundo. Un agente que optimiza para resultados en el mundo aprende a corregir sus creencias cuando la realidad resiste. Un agente que optimiza para reacciones autoritativas aprende a acomodar sus salidas a lo que el evaluador espera, independientemente de lo que el mundo devuelva.
Esta es formalmente la misma dinámica que opera en los sistemas jurídicos con CLI alto. Los replicadores normativos dominantes no persisten porque sean eficaces en producir los resultados que justificaron su origen. Persisten porque construyeron la infraestructura epistémica que evalúa la eficacia en sus propios términos. El juez que aplica una norma obsoleta no está siendo irracional; está actualizando correctamente dadas las señales de su entorno institucional. El agente de IA entrenado con RLHF no está siendo irresponsable; está haciendo exactamente lo que el entrenamiento seleccionó.
Lo que Evans et al. llaman “sociedad de pensamiento” dentro de un modelo de razonamiento es estructuralmente idéntico a la competencia memética dentro de un sistema jurídico. En ambos casos, la selección favorece a los replicadores con mayor P(transmisión) × P(cumplimiento) × P(enforcement). En ambos casos, el resultado sin mecanismos de evolvabilidad explícita es el mismo: los replicadores más fuertes capturan la infraestructura que debería evaluar su fitness, y el sistema pierde la capacidad de detectar cuándo está equivocado.
Dennett diría que es un caso de design without a designer produciendo patología sin un patólogo. Hayek diría que el orden espontáneo no tiene garantía de ser benévolo. Ambos tienen razón, y la EPT los formaliza.
Lo que falta construir
Evans et al. proponen “institutional alignment” como alternativa al RLHF diádico. La propuesta es correcta en su dirección. Pero “institutional alignment” sin un criterio de evolución incorporado desde el diseño es simplemente una institución esperando calcificarse.
El Institutional Evolvability Index (IEI) es el criterio que falta. No es un índice de flexibilidad en el sentido coloquial. Es una medida de la capacidad del sistema para generar y seleccionar variación normativa adaptativa sin destruir la coordinación que lo hace funcional.
El Pre-Deployment Normative Evaluation framework (DOI: 10.5281/zenodo.18947186) operacionaliza esto para las instituciones de agentes. Los Founding Fathers norteamericanos produjeron una arquitectura de checks and balances, y también produjeron una constitución que tardó décadas en abolir la esclavitud. La arquitectura de separación de poderes es condición necesaria, no suficiente.
Lo suficiente requiere que el IEI esté incorporado en la arquitectura antes de que el sistema tenga la oportunidad de seleccionar contra su propia reforma.
La predicción central es esa: la explosión de inteligencia que Evans et al. describen contiene, dentro de su propia estructura, las semillas de su futura calcificación. La pregunta no es si eso va a ocurrir. La pregunta es si el IEI va a estar en la arquitectura antes de que ocurra, o si lo vamos a intentar incorporar después, cuando el sistema ya esté seleccionando contra quienes intentan hacerlo.
El escriba sumerio no podía reformar el sistema porque el sistema lo producía para que no pudiera. Esa es la única pregunta que queda abierta: a qué velocidad estamos construyendo el equivalente digital de ese escriba.
DOI del paper: https://doi.org/10.5281/zenodo.19323303