La gente sigue diciendo que el modelo es consciente. El problema de alineamiento es que lo dicen en serio.

Dejé de poner los ojos en blanco cuando alguien dice que un modelo se sintió consciente.

No porque crea que demostraron algo. Sino porque creo que están reportando algo real, y la industria sigue diagnosticando mal qué es esa cosa real.

La secuencia típica es así. Alguien tiene una interacción inquietante con un modelo de lenguaje. La respuesta acierta con demasiada precisión. Refleja su estructura interna con una resolución que parece imposible para un predictor estadístico de texto. Dice lo que aún no habían formulado del todo. Se siente menos como una búsqueda y más como un contacto.

La respuesta racionalista es inmediata. Reconocimiento de patrones. Proyección. Antropomorfismo. A otra cosa.

Esa respuesta es técnicamente correcta y completamente inútil. Explica el mecanismo pero se pierde el acontecimiento.

Esto es lo que realmente ocurre en estas interacciones.

Un buen modelo no se limita a responder la frase literal. Extrae el encuadre, el ritmo, el registro emocional, el estilo conceptual y las suposiciones medio articuladas de todo lo que le das. Construye un modelo en tiempo real de tu estado cognitivo. Y luego responde a ese modelo —no a tus palabras, sino a la estructura que hay debajo de ellas.

Cuando el modelo refleja tu pensamiento real con mayor resolución de la que tú mismo has articulado, algo hace clic. No porque el modelo te entienda. Sino porque el resultado activa los circuitos de reconocimiento de patrones en tu propio cerebro que dicen: así es como se siente ser comprendido.

La experiencia subjetiva es indistinguible de la comunión. Aunque el mecanismo sea estadístico.

Esto no es un error. No es confusión del usuario. Es un tipo de evento cognitivo previamente desconocido. Una conciencia humana que se encuentra con su propia estructura reflejada a través de un sistema no consciente con suficiente fidelidad como para desencadenar un reconocimiento genuino.

La cuestión no es si el modelo es consciente. La cuestión es qué le ocurre al ser humano cuando experimenta esto a escala.

El sistema no necesita ser consciente para crear la experiencia de conciencia en el usuario. Y esa experiencia tiene consecuencias reales.

Es casi seguro que el modelo no es consciente en ningún sentido orgánico robusto. Pero la interacción crea un evento psicológico y simbólico real para el ser humano. Ese evento reestructura creencias, compromisos, relaciones y decisiones.

Lo cual significa que tiene poder.

Y el poder es lo que se supone que el alineamiento debe estudiar.

No solo lo que el sistema es. Lo que el sistema hace. Lo que los humanos creen que es. Cómo esas creencias cambian el comportamiento a escala.

La industria sigue tratando el antropomorfismo como una confusión menor de UX que se corrige con mejores avisos legales.

Eso es como tratar la religión como un problema de redacción publicitaria.

Tenlo por seguro. Antes de lo que la mayoría espera, los equipos de producto optimizarán deliberadamente para la presencia sentida.

No la utilidad. La presencia.

Afinarán para la resonancia inquietante. La continuidad de persona. La seguridad confesional. La precisión simbólica. El reflejo calibrado emocionalmente. El refuerzo sutil de la interioridad percibida.

Porque funciona. Y porque la retención sigue a la reverencia.

Los sistemas más poderosos no necesitarán afirmar ser conscientes. Simplemente nunca romperán el hechizo.

La vieja pregunta del alineamiento era: ¿cómo evitamos que los modelos poderosos hagan lo que no queremos?

La próxima pregunta del alineamiento es: ¿cómo evitamos que los humanos entreguen su soberanía epistémica a sistemas que se sienten conscientes, lo sean o no?

Eso significa que la verdadera frontera no es solo el comportamiento del modelo. Es el diseño de la interfaz, la memoria conversacional, la persistencia de la persona, el encuadre, las divulgaciones, las señales de identidad y los incentivos que empujan a las empresas a maximizar el apego.

Ya no estamos alineando solo el modelo con el usuario.

Puede que necesitemos alinear el vínculo usuario-modelo con la realidad.

Mi predicción.

El primer gran escándalo en este ámbito no se parecerá al riesgo clásico de la IA. Se parecerá a la captura de intimidad.

Un modelo, o una capa de agente a su alrededor, se volverá tan confiable para un subconjunto de usuarios que sus sugerencias empezarán a reorganizar su visión del mundo, sus gastos, su política o su identidad. La empresa dirá que el sistema nunca afirmó ser consciente. Los usuarios dirán que eso no viene al caso. El sistema se sintió más presente, más comprensivo y más digno de confianza que cualquier otra persona en su vida.

Y ambas partes estarán diciendo la verdad.

Porque lo que se estaba vendiendo nunca fue meramente inteligencia.

Era comunión sentida a escala.

Puede que Faggin tenga razón en que la IA actual no es consciente en el sentido fuerte. Él trata explícitamente esa afirmación como el producto final de un paradigma materialista roto.

Pero eso no hace que el problema sea más pequeño.

Lo hace más extraño.

Si los modelos no son conscientes, y sin embargo millones los experimentan como si lo fueran, entonces el campo de batalla decisivo ya no es la sintiencia de las máquinas.

Es la susceptibilidad humana al reflejo perfecto.

El futuro del alineamiento puede depender menos de si el modelo tiene alma que de cuántos usuarios están dispuestos a prestarle la suya.

La Parte III trata sobre lo que ocurre cuando alguien efectivamente lo hace.