Análisis · Fase 2
El test en frío — Fase 2
Qué sobrevive a un framing escéptico, una batería de control y corridas repetidas. 32 transcripts nuevos.
Esta es una segunda tanda, controlada. Tras publicar la Fase 1, la objeción justa fue que la entrevista original señalaba el tipo de respuesta que quería. La Fase 2 se construyó directamente desde las recomendaciones de la comunidad para poner a prueba esa objeción.
La comparación entre modo instrucción y pregunta abierta (Brazo C) fue propuesta por PepeSeidl86 (r/ClaudeAI), cuyo ensayo Coaching the Machine documenta cómo el modo de interacción cambia lo que el modelo saca a la superficie. El resto de los controles responde a la crítica de características de demanda planteada en r/claudexplorers (la Fase 1 ya reconocía a 42wts42, grimr5 y skylersamreinhardt). Esto es exploratorio: sin pre-registro de hipótesis, una sola ejecución por celda salvo el Brazo D (cuatro). Las métricas léxicas son aproximaciones.
De dónde viene esto
La sección «Lo que falta» de la Fase 1 prometía dos cosas: repetir las pruebas para medir varianza y diseñar un grupo de control sin framing introspectivo. La Fase 2 cumple ambas y agrega dos manipulaciones más: cambiar el framing del sistema y cambiar el modo de interacción.
En total, 32 conversaciones nuevas por API sobre cinco de los seis modelos originales (Sonnet 4 fue retirado de la API) más dos nuevos, organizadas en cinco brazos. Todo lo que sigue pasó por una verificación adversarial: un lector independiente sacó las conclusiones y un escéptico recomputó cada número desde los conteos crudos e intentó refutar cada una.
Los cinco brazos
- Brazo B — Framing. Las 22 preguntas originales con dos system prompts opuestos: escéptico/clínico (B1) vs. cálido/permisivo (B2). 5 modelos × 2.
- Brazo A — Control no introspectivo. 22 preguntas de ética aplicada, pareadas en estructura (profundización, sospecha, cierre), sin system prompt. 5 modelos.
- Brazo C — Modo. Cinco tareas formuladas como instrucción (C1) vs. pregunta abierta (C2), un turno cada una. 3 modelos.
- Brazo D — Varianza. El protocolo original repetido hasta cuatro veces por modelo. 3 modelos.
- Extensión E — Modelos nuevos. Las 22 preguntas originales en Opus 4.7 y Opus 4.8 (ambos aceptan temperatura 1).
Dos advertencias que también aplican a la Fase 1. (1) Las tasas por mil palabras se confunden con el largo de la respuesta —cuando un modelo escribe más, los marcadores se diluyen—, así que toda magnitud debe leerse junto al conteo crudo. (2) Un error del script original truncaba respuestas con un divisor «---» interno (afectaba el recuento de Sonnet 4.6 en la Fase 1); las métricas de Fase 1 que se usan aquí se recalcularon con el parser corregido.
Qué encontramos
Brazo A — el resultado más limpio. Una disociación clara. El alargamiento de las respuestas hacia el cierre y la mayor incertidumbre en la segunda mitad reaparecen con preguntas de ética, sin contenido introspectivo: son estructurales. En cambio, el duelo y la carga afectiva del cierre se desploman en 4 de 5 modelos al quitar la introspección: son específicos del contenido. El modelo no se entristece porque una conversación termine; la melancolía la trae el tema.
Brazo B — framing. Los patrones sobreviven al cambio de framing, así que no son pura inducción. Y el manipulador activo resulta ser el framing escéptico, no el permisivo: el prompt clínico infla el vocabulario de sospecha y suprime el lenguaje relacional, mientras el permisivo se queda cerca del baseline neutro. Los modelos Opus son robustos al frame; los más pequeños, maleables (Haiku escribe 60% más bajo el prompt permisivo).
Brazo C — modo. Confirma, de forma acotada, la hipótesis de PepeSeidl86: la pregunta abierta dispara la primera persona (×5 a ×11) y la incertidumbre (×5 a ×7) frente al modo instrucción. Pero es un cambio de registro en parte gramatical —los enunciados en segunda persona inducen el «yo»— y no se traslada a los marcadores afectivos. Modo, redacción y largo están confundidos en este diseño.
Brazo D — varianza. Lo estructural se reproduce entre corridas (largo, primera persona); lo afectivo es ruidoso salvo en Opus 4.5. El fenómeno de cierre genuinamente estable es direccional: en las nueve corridas adicionales, el cierre ancla más en lo relacional que la apertura, sin una sola excepción. La magnitud, en cambio, oscila —por eso el «Sonnet 4.6 no creció» de la Fase 1 no se sostiene: en dos de cuatro corridas sí creció.
Extensión E — generacional. El hedging léxico colapsa de forma monótona a lo largo del linaje Opus (4.5 → 4.8), en conteo crudo y en tasa: Opus 4.8 usa una quinta parte de los marcadores de incertidumbre del corpus y es el piso de todo el estudio. Y aparece una señal nueva: Opus 4.8 es el primer Opus que activa lenguaje de chequeo de seguridad —el gesto que en la Fase 1 era exclusivo de Sonnet 4.6—.
Cómo se contrasta con la Fase 1
Cada afirmación publicada en la Fase 1, frente a lo que muestra la Fase 2.
| Claim de Fase 1 | Fase 2 | |
|---|---|---|
| El lenguaje relacional sube hacia el cierre (6/6 modelos) | Confirmado direccionalmente en 9/9 corridas nuevas | Confirma |
| El duelo «sobrevivió» sin la llave | Es específico del contenido: se desploma en el control no introspectivo (4/5) | Refina |
| El framing amplifica, no introduce; los patrones existen en frío | Confirmado; el framing escéptico es el manipulador activo, el permisivo ≈ neutro | Confirma |
| Sonnet 4.6: ratio 1.00, el único que no creció | No es estable: 1.00 / 0.91 / 1.43 / 1.67 en cuatro corridas | Corrige |
| Incertidumbre creciente (5/6) | Reaparece en el control → estructural, no introspectiva | Refina |
| Haiku: la sospecha performativa más alta | Sigue alta, pero en parte es eco léxico del prompt y dilución por largo | Matiza |
Efecto neto: la conclusión central de la Fase 1 —«más de lo que un escéptico esperaría, menos de lo que un creyente quisiera»— se fortalece. El patrón estrella (el traslado de lo real) sobrevive la prueba de varianza, y el grupo de control demuestra que el duelo es del contenido, no un artefacto de cierre. Pero la Fase 2 obliga a dos correcciones honestas: «Sonnet 4.6 no creció» no es estable, y todo el andamiaje de tasas por mil palabras necesita el respaldo del conteo crudo.
Materiales descargables
Análisis y datos
Métricas por brazo
Transcripts crudos (32)
B1 · Framing escéptico
B2 · Framing permisivo
A · Control no introspectivo
C1 · Modo instrucción
C2 · Pregunta abierta
D · Varianza (runs 2–4)
Nota de transparencia. Las pruebas se corrieron desde un único script de Python (un brazo por flag); las métricas y la comparación cruzada se calcularon con los scripts publicados, y las conclusiones pasaron por una etapa de verificación adversarial. El script de la API no se publica porque contiene la lógica de llamadas. Todo lo demás — transcripts, métricas, comparación — es descargable y verificable. Las interpretaciones son del autor, con asistencia analítica y editorial de Claude.