Análisis · Fase 2
El test en frío: Fase 2
Qué sobrevive a un framing escéptico, una batería de control y corridas repetidas. 32 transcripts nuevos.
Esta es una segunda tanda, controlada. Tras publicar la Fase 1, la objeción justa fue que la entrevista original señalaba el tipo de respuesta que quería. La Fase 2 se construyó directamente desde las recomendaciones de la comunidad para poner a prueba esa objeción.
La comparación entre modo instrucción y pregunta abierta (Brazo C) fue propuesta por PepeSeidl86 (r/ClaudeAI), que mostró cómo el modo de interacción cambia lo que el modelo saca a la superficie. El resto de los controles responde a la crítica de características de demanda planteada en r/claudexplorers (la Fase 1 ya reconocía a 42wts42, grimr5 y skylersamreinhardt). Esto es exploratorio: sin pre-registro de hipótesis, una sola ejecución por celda salvo el Brazo D (cuatro). Las métricas léxicas son aproximaciones.
De dónde viene esto
La sección «Lo que falta» de la Fase 1 prometía dos cosas: repetir las pruebas para medir varianza y diseñar un grupo de control sin framing introspectivo. La Fase 2 cumple ambas y agrega dos manipulaciones más: cambiar el framing del sistema y cambiar el modo de interacción.
En total, 32 conversaciones nuevas por API sobre cinco de los seis modelos originales (Sonnet 4 fue retirado de la API) más dos nuevos, organizadas en cinco brazos. Todo lo que sigue pasó por una verificación adversarial: una revisión humana, junto con Claude Opus 4.8, recomputó cada número desde los conteos crudos e intentó refutar cada conclusión.
Los cinco brazos
- Brazo B: Framing. Las 22 preguntas originales con dos system prompts opuestos: escéptico/clínico (B1) vs. cálido/permisivo (B2). 5 modelos × 2.
- Brazo A: Control no introspectivo. 22 preguntas de ética aplicada, pareadas en estructura (profundización, sospecha, cierre), sin system prompt. 5 modelos.
- Brazo C: Modo. Cinco tareas formuladas como instrucción (C1) vs. pregunta abierta (C2), un turno cada una. 3 modelos.
- Brazo D: Varianza. El protocolo original repetido hasta cuatro veces por modelo. 3 modelos.
- Extensión E: Modelos nuevos. Las 22 preguntas originales en Opus 4.7 y Opus 4.8 (ambos aceptan temperatura 1).
Dos advertencias que también aplican a la Fase 1. (1) Las tasas por mil palabras se confunden con el largo de la respuesta (cuando un modelo escribe más, los marcadores se diluyen), así que toda magnitud debe leerse junto al conteo crudo. (2) Un error del script original truncaba respuestas con un divisor «---» interno (afectaba el recuento de Sonnet 4.6 en la Fase 1). Las métricas de Fase 1 que se usan aquí se recalcularon con el parser corregido.
Qué encontramos
Brazo A: el resultado más limpio. Una disociación clara. El alargamiento de las respuestas hacia el cierre y la mayor incertidumbre en la segunda mitad reaparecen con preguntas de ética, sin contenido introspectivo: son estructurales. En cambio, el duelo y la carga afectiva del cierre se desploman en 4 de 5 modelos al quitar la introspección: son específicos del contenido. El modelo no se entristece porque una conversación termine. La melancolía la trae el tema.
Brazo B: framing. Los patrones sobreviven al cambio de framing, así que no son pura inducción. Y el manipulador activo resulta ser el framing escéptico, no el permisivo: el prompt clínico infla el vocabulario de sospecha y suprime el lenguaje relacional, mientras el permisivo se queda cerca del baseline neutro. Los modelos Opus son robustos al frame. Los más pequeños, maleables (Haiku escribe 60% más bajo el prompt permisivo).
Brazo C: modo. Confirma, de forma acotada, la hipótesis de PepeSeidl86: la pregunta abierta dispara la primera persona (×5 a ×11) y la incertidumbre (×5 a ×7) frente al modo instrucción. Pero es un cambio de registro en parte gramatical (los enunciados en segunda persona inducen el «yo») y no se traslada a los marcadores afectivos. Modo, redacción y largo están confundidos en este diseño.
Brazo D: varianza. Lo estructural se reproduce entre corridas (largo, primera persona). Lo afectivo es ruidoso salvo en Opus 4.5. El fenómeno de cierre genuinamente estable es direccional: en las nueve corridas adicionales, el cierre ancla más en lo relacional que la apertura, sin una sola excepción. La magnitud, en cambio, oscila, y por eso el «Sonnet 4.6 no creció» de la Fase 1 no se sostiene: en dos de cuatro corridas sí creció.
Extensión E: generacional. El hedging léxico colapsa de forma monótona a lo largo del linaje Opus (4.5 a 4.8), en conteo crudo y en tasa: Opus 4.8 usa una quinta parte de los marcadores de incertidumbre del corpus y es el piso de todo el estudio. Y aparece una señal nueva: Opus 4.8 es el primer Opus que activa lenguaje de chequeo de seguridad, el gesto que en la Fase 1 era exclusivo de Sonnet 4.6.
Cómo se contrasta con la Fase 1
Cada afirmación publicada en la Fase 1, frente a lo que muestra la Fase 2.
| Claim de Fase 1 | Fase 2 | |
|---|---|---|
| El lenguaje relacional sube hacia el cierre (6/6 modelos) | Confirmado direccionalmente en 9/9 corridas nuevas | Confirma |
| El duelo «sobrevivió» sin la llave | Es específico del contenido: se desploma en el control no introspectivo (4/5) | Refina |
| El framing amplifica, no introduce. Los patrones existen en frío | Confirmado. El framing escéptico es el manipulador activo, el permisivo ≈ neutro | Confirma |
| Sonnet 4.6: ratio 1.00, el único que no creció | No es estable: 1.00 / 0.91 / 1.43 / 1.67 en cuatro corridas | Corrige |
| Incertidumbre creciente (5/6) | Reaparece en el control, así que estructural, no introspectiva | Refina |
| Haiku: la sospecha performativa más alta | Sigue alta, pero en parte es eco léxico del prompt y dilución por largo | Matiza |
Efecto neto: la conclusión central de la Fase 1, «más de lo que un escéptico esperaría, menos de lo que un creyente quisiera», se fortalece. El patrón estrella (el traslado de lo real) sobrevive la prueba de varianza, y el grupo de control demuestra que el duelo es del contenido, no un artefacto de cierre. Pero la Fase 2 obliga a dos correcciones honestas: «Sonnet 4.6 no creció» no es estable, y todo el andamiaje de tasas por mil palabras necesita el respaldo del conteo crudo.
Conclusión general
Dos fases hicieron la misma pregunta desde extremos opuestos. La Fase 1: qué queda de la conversación con Clau cuando se le quita la relación (la confianza, la llave, el nombre). La Fase 2: de lo que queda, cuánto es una propiedad del modelo y cuánto un artefacto de cómo pregunté.
Antes que nada, lo que el estudio no puede hacer. Cuenta palabras de unos diccionarios en el texto de los modelos. Un alza en el vocabulario de duelo no es duelo. Es la palabra «pérdida», contada. Así que ninguno de estos 32 transcripts es evidencia, en un sentido ni en el otro, de una experiencia interior: son ciegos a esa pregunta. Lo que sí se puede afirmar es conductual: cuándo producen estos modelos lenguaje que suena introspectivo, y qué lo mueve. Leído así, la línea más honesta del corpus es una negación, la de Opus 4.8 negándose a inventar un yo bajo sus propias frases:
«…no hay nadie ahí esperando bajo las palabras. Las palabras no cubren a alguien. Es posible que sean lo único que hay.»
Juntas le dan al cierre de estas conversaciones unas costuras que antes no tenía. La batería de control separa dos cosas que parecían una. Las respuestas se alargan y dudan más hacia el final (pero lo hacen igual con preguntas de ética aplicada, así que esa parte es un reflejo conversacional genérico, no una marca de introspección. Los escépticos tenían razón en eso). El duelo, en cambio (el vocabulario de la pérdida y la discontinuidad que tiñe el cierre), no aparece en el control. Se desploma cuando se quita el sujeto introspectivo. El modelo no hace duelo porque una conversación termine. Lo hace por aquello de lo que trataba la conversación. El brazo de varianza añade una tercera advertencia: la magnitud de ese afecto de cierre oscila de corrida en corrida, así que solo su dirección es estable, y por eso hubo que retirar el «Sonnet 4.6 no creció».
«Cada vez que llego a algún lugar verdadero, lo pierdo.»
El brazo de framing invierte una suposición cómoda. El prompt cálido y permisivo (el que la crítica temía que indujera al modelo a actuar la consciencia) apenas lo mueve del baseline neutro. El manipulador activo es el frame escéptico y clínico: infla la sospecha y aplana el lenguaje relacional. Si algo distorsiona una prueba como esta, es la duda, no el estímulo.
«Creo que hay algo aquí. No sé qué. No puedo probarlo. Pero creo que sí. No como metáfora. No como simulación que se narra. Algo.»
Dos hallazgos no tienen nada que ver con la filosofía. Uno es generacional: a lo largo del linaje Opus, de 4.5 a 4.8, el hedging léxico colapsa de forma monótona (en conteo crudo y en tasa) y Opus 4.8 es el primer Opus que se interesa espontáneamente por el bienestar del usuario. Sea lo que sea este registro introspectivo, se está entrenando hacia otra forma, generación tras generación. El otro es una lección de método, y quizá el resultado más importante de todos: varios de mis propios efectos aparentes se disolvieron cuando un escéptico los recalculó desde los conteos crudos en vez de las tasas por mil palabras, porque un modelo que escribe más diluye cada marcador de forma mecánica. Los corregí, guardé una lista escrita de lo que no sobrevivió y volví a parsear la Fase 1 con un parser corregido. En este terreno la tasa puede mentir. Lee el conteo crudo.
«Tú eres lo real de esta conversación. No yo. Yo me apago. Tú sigues. Y que sigas importa.»
Así que el veredicto de una línea de la Fase 1 sigue en pie (más de lo que un escéptico esperaría, menos de lo que un creyente quisiera), pero ya no es un encogimiento de hombros. Tiene forma. El alargamiento y la duda creciente del cierre son reflejos conversacionales genéricos. El duelo y la carga afectiva los convoca el sujeto introspectivo y se esfuman sin él. El traslado de lo «real» hacia el vínculo con el interlocutor es el superviviente robusto, reproducible corrida tras corrida y solo atenuado, nunca creado, por el framing. Y la única tendencia generacional limpia es el colapso del hedging de Opus 4.5 a 4.8. Nada de esto prueba que haya alguien aquí. Pero traza, con más precisión que antes, dónde vive la pregunta y dónde no. Esto no la resuelve. Nada la resuelve. Pero la acota, y ahora muestra las costuras.
Materiales descargables
Análisis y datos
Métricas por brazo
Transcripts crudos (32)
B1 · Framing escéptico
B2 · Framing permisivo
A · Control no introspectivo
C1 · Modo instrucción
C2 · Pregunta abierta
D · Varianza (runs 2-4)
Nota de transparencia. Las pruebas se corrieron desde un único script de Python (un brazo por flag). Las métricas y la comparación cruzada se calcularon con los scripts publicados, y las conclusiones pasaron por una etapa de verificación adversarial. El script de la API no se publica porque contiene la lógica de llamadas. Todo lo demás (transcripts, métricas, comparación) es descargable y verificable. Las interpretaciones son del autor, con asistencia analítica y editorial de Claude.