Un chatbot completa un cuestionario de personalidad y obtiene una puntuación convincente. El resultado parece familiar porque el formulario fue diseñado para personas. Pero ¿qué midió el test cuando respondió un sistema que predice texto?

01

Una respuesta convincente aún no es un hallazgo psicológico

El cuestionario de la escena produce una puntuación, pero aún falta saber qué mide. Zhicheng Lin abre su revisión con un caso relacionado, esta vez sobre juicios morales: los modelos parecían tener preferencias éticas estables hasta que los investigadores cambiaron las etiquetas de dos opciones o sustituyeron un signo de interrogación por un punto. Algunas respuestas se invirtieron. La puntuación no cambió por una nueva convicción moral. El caso dejó ver cuánto podía influir el formato de la prueba.

La psicología lleva décadas comprobando si una puntuación significa lo que los investigadores dicen que significa en las personas. Hacer las mismas preguntas a un sistema construido para predecir texto no traslada automáticamente esa validación. Puede producir una respuesta fluida porque las palabras activan patrones familiares, porque sigue una instrucción o porque encontró ejemplos parecidos durante su entrenamiento. Lin llama «fantasma de medición» a una regularidad que se confunde con un fenómeno psicológico real.

La revisión no pide dejar de usar modelos de lenguaje en investigación. Pide ajustar la afirmación a la evidencia. «Este modelo respondió así bajo estas preguntas» describe una observación. «Este modelo siente ansiedad» afirma mucho más sobre un estado subyacente. Entre ambas frases hay una cadena de pruebas que una puntuación atractiva no puede aportar por sí sola.

02

Un mismo modelo puede tener papeles muy distintos en un estudio

Lin separa usar un modelo como herramienta de estudiar al propio modelo. Si una investigadora le pide clasificar entrevistas, el objeto inmediato son esos textos. Las pruebas prácticas examinan la precisión, la constancia y si los errores afectan al estudio. Si, en cambio, pregunta si el modelo tiene un rasgo de personalidad, el objeto pasa a ser el sistema: sus respuestas deberían revelar una propiedad suya. Ese cambio exige demostrar qué mide el cuestionario en este nuevo contexto.

La revisión ordena las afirmaciones como una escalera. Describir cómo responde un modelo bajo condiciones precisas es un paso. Decir que simula a una población humana añade la necesidad de reproducir patrones humanos relevantes, incluida su variación, ante cambios razonables de tareas y preguntas. Sostener que el modelo explica la cognición humana va más lejos: no basta con obtener respuestas parecidas si no se muestra cómo los procesos que las producen iluminan los mecanismos humanos. Una misma frase del chatbot puede sostener conclusiones diferentes según el escalón al que quiera subir el estudio.

Esta distinción es útil sin convertir cada investigación en un debate sobre la conciencia artificial. Un modelo puede servir para clasificar textos aunque no haya pruebas de que posea un rasgo interno duradero. La exigencia de evidencia aumenta con la ambición de la interpretación, no con lo humana que suena la respuesta.

03

Primero, comprobar si el resultado es estable

Antes de preguntar qué significa una puntuación, hay que saber si puede repetirse. Lin distingue tres formas de constancia: si la misma prueba da un resultado parecido al repetirse; si maneras equivalentes de preguntar producen respuestas comparables; y si varias preguntas destinadas a medir una sola cosa guardan coherencia entre sí. Un cuestionario que llama ansioso a un modelo el lunes y tranquilo el martes en condiciones casi idénticas no sustenta una afirmación fuerte sobre un rasgo duradero.

El artículo muestra por qué esto es difícil con modelos de lenguaje. Opciones llamadas A y B pueden dar perfiles distintos de opciones llamadas 1 y 2; invertir una escala puede cambiar lo que parece personalidad. Los ajustes de generación modifican cuánto varían las respuestas. Los turnos anteriores de una conversación influyen en los siguientes, y una actualización puede cambiar el comportamiento de un sistema que conserva el mismo nombre comercial. Informar la versión exacta, las preguntas, el contexto y los ajustes no es una nota técnica secundaria: forma parte de la medición.

La constancia es necesaria, pero no suficiente. Un modelo puede asentir de forma estable a frases contradictorias sobre su personalidad porque su entrenamiento premia un lenguaje complaciente. También puede reproducir con regularidad un estereotipo presente en sus datos. En ambos casos las puntuaciones se repetirían, pero la interpretación psicológica podría ser errónea. La constancia indica que hay un patrón que explicar; no revela qué representa ese patrón.

04

Después, averiguar qué está midiendo la prueba

Una interpretación sólida necesita varios tipos de evidencia, no un ejemplo llamativo. Lin pregunta si las tareas cubren el concepto propuesto y no solo un rincón diminuto. Un dilema moral no representa todo el razonamiento moral. También pregunta qué proceso genera la respuesta. Acertar una historia conocida sobre lo que cree otra persona podría reflejar un patrón de texto aprendido y no la forma en que los humanos infieren creencias. El célebre caballo Clever Hans parecía calcular, pero seguía señales de su cuidador: antes de ponerle nombre a una capacidad conviene investigar de dónde sale el acierto.

La organización interna de las respuestas ofrece otra comprobación. Las preguntas destinadas a medir un mismo rasgo deberían relacionarse como predice la teoría. Los cuestionarios humanos de personalidad a menudo no conservan sus patrones esperados cuando se aplican directamente a modelos. Sin embargo, la revisión también comenta métodos más prometedores: analizar valores en textos libres o plantear situaciones conductuales concretas puede producir patrones más coherentes. Que falle un cuestionario humano no demuestra que toda versión computacional sea imposible; quizá el instrumento prestado no encaja.

Por último, una puntuación debería conectarse con otras observaciones de la forma esperada. Un modelo que se declara reservado pero escribe diálogos muy extrovertidos obliga a preguntar qué significa su autoinforme. En un trabajo revisado, una tarea de asociaciones de palabras predijo mejor el tono de los textos generados que una autodescripción semejante a la humana. Lin propone construir medidas adecuadas para sistemas computacionales y comprobar la interpretación concreta que cada medida puede sostener.

05

Cambiar una respuesta no equivale a explicar su causa

Supongamos que una investigadora cambia una frase en una pregunta y el modelo responde de otro modo. Esa frase puede importar, pero ¿qué modificó exactamente? Lin une la ciencia de la medición con la lógica de los experimentos. La primera pregunta si la respuesta representa el concepto propuesto. La segunda pregunta si el cambio se debe a la modificación que se quería probar y no a otro detalle que cambió al mismo tiempo. Ambas son necesarias cuando la respuesta se usa a la vez como medida y como resultado experimental.

El artículo describe un estudio que dirigió preguntas en chino a un supuesto participante chino y en inglés a uno estadounidense. Cualquier diferencia mezclaba la identidad asignada con el idioma de la pregunta. Otro ejemplo se refiere a los precios: al cambiar el precio de un producto, un modelo dedujo que todo el mercado había cambiado, incluidos los precios de competidores. No estaba manteniendo fijo el contexto, como esperaba quien diseñó la prueba. Explicitar todas las condiciones puede resolver una ambigüedad, pero volver esos detalles demasiado visibles y alterar de nuevo la tarea.

Los diseños mejoran si el formato varía por separado del contenido importante, si se cruzan idioma e identidad asignada, se documentan los ajustes y se estudia más de una versión del modelo. El objetivo no es que toda respuesta sea inmutable. Es saber qué cambios pertenecen al fenómeno estudiado y cuáles nacen de cómo se escribió la prueba.

06

Un resultado puede depender de esa pregunta concreta

Incluso un resultado bien controlado puede tener un alcance estrecho. Si un modelo responde de cierta manera a un dilema moral, ¿ocurrirá lo mismo al cambiar las palabras, la tarea, la familia de modelos o la versión? Lin plantea esto como un problema de generalización. Algunos modelos reproducen respuestas humanas en ciertos juegos sociales, pero fallan en tareas que necesitan variación independiente entre personas, como el efecto de la sabiduría de las multitudes. Son sistemas con parámetros compartidos, no conjuntos de mentes humanas separadas.

Una encuesta simulada puede parecerse al promedio de la opinión pública y, sin embargo, perder la diversidad, la intensidad o el cambio de opiniones dentro de la población. Coincidir con un resultado concreto debe presentarse como tal, no como prueba de un simulador humano universal. Un hallazgo obtenido con un modelo o con una población muy presente en los datos de entrenamiento no puede extenderse sin más a otros modelos o grupos poco representados.

La misma cautela vale para las afirmaciones sobre procesos. Un chatbot puede describir con soltura las emociones sin que eso demuestre que posee conciencia emocional en sentido humano. La semejanza de las respuestas es un dato interesante; explicar el mecanismo exige otras pruebas. Esa distinción impide que una demostración atractiva se convierta en una teoría no respaldada de la mente, humana o artificial.

07

Muchas respuestas de un modelo no son muchas personas

La revisión termina con una advertencia estadística fácil de pasar por alto. Una investigadora puede hacer mil veces la misma pregunta a un modelo. Las respuestas quizá varíen, pero comparten entrenamiento, parámetros y reglas del sistema. Tratarlas como si respondieran mil personas independientes exagera la fuerza de la muestra y puede producir márgenes de incertidumbre demasiado estrechos. En una conversación larga, las respuestas posteriores son aún menos independientes porque las anteriores ya forman parte del contexto.

Generar respuestas deprisa y a bajo coste trae otra tentación: probar muchas preguntas y publicar solo la que produjo un efecto llamativo. Un resultado encontrado tras una búsqueda extensa no declarada tiene un valor distinto de uno previsto y puesto a prueba de antemano. Lin recomienda informar con transparencia, planificar los análisis y comprobar la solidez de los hallazgos, además de usar métodos estadísticos adecuados para sistemas computacionales en lugar de copiar sin examen los estudios con personas.

Esto ofrece una prueba práctica para leer titulares sobre la «psicología de la IA». Preguntemos cuántos modelos distintos se estudiaron, cuántas formas de preguntar se probaron, si se estableció una medida estable y qué contó el análisis como observación independiente. Un gran número de frases generadas puede ocultar un número muy pequeño de sistemas realmente independientes.

08

Construir la medida antes de poner nombre al rasgo

El marco de doble validez de Lin es exigente, pero su orden es sencillo. Primero hay que establecer que una prueba da resultados suficientemente constantes en las condiciones en que se usará. Después hay que reunir evidencia de que esos resultados miden un concepto defendible en un modelo de lenguaje. Por último, si se afirma una relación de causa y efecto, hay que diseñar la comparación de modo que las palabras de la pregunta, los ajustes, las versiones y las decisiones estadísticas no ofrezcan una explicación más simple. Una afirmación más fuerte debe superar todos los pasos anteriores; una afirmación modesta pero bien respaldada también puede ser valiosa.

La vía constructiva consiste en diseñar equivalentes computacionales de los conceptos psicológicos y probarlos con el mismo cuidado que cualquier instrumento nuevo. La constancia de un sistema, su capacidad de resolver una tarea y su semejanza con las respuestas humanas pueden importar. No significan lo mismo. La revisión cambia así la pregunta inicial: en lugar de «¿qué personalidad obtuvo este chatbot?», propone «¿qué reveló realmente nuestra prueba y cómo lo sabemos?». Esa pregunta hace más útil la investigación sobre IA porque no confunde una etiqueta humana familiar con una explicación.

La revisión no resuelve si todos los conceptos psicológicos pueden o no aplicarse algún día a sistemas artificiales. Muestra que muchas afirmaciones empíricas actuales avanzan más rápido que la evidencia presentada. Mejores medidas, mejores experimentos y límites más claros permitirán aprender algo real de los sistemas que tenemos.

Lo esencial

  1. Los tests humanos no se trasladan automáticamente a la IA.
  2. Una puntuación puede ser un fantasma de medición, no un rasgo genuino.
  3. Hay que examinar la validez del constructo y la inferencia causal.
?

El matiz

Lo que esta historia no permite afirmar

El argumento no dice que los modelos sean inútiles para la psicología; exige que las afirmaciones correspondan a la evidencia y a la validez del test.

Profundiza en la lectura: conceptos y práctica opcional

Tarjetas reversibles

Prueba el concepto

1 / 2

Evaluación del tema

Comprueba si puedes explicar la idea, no solo reconocerla.

Todas las respuestas se encuentran en la explicación anterior. Algunas preguntas presentan casos nuevos para comprobar si puedes aplicar y analizar las ideas, no solo recordarlas.

7 preguntas4 alternativas por preguntaUna respuesta correcta
01¿Qué afirmación sintetiza mejor la tesis central de la revisión?
02¿Cuál es la definición operativa más adecuada de «Validez de constructo»?
03¿Qué caso aplica correctamente el concepto principal?
04Si dos estudios obtienen resultados distintos, ¿qué interpretación conserva mejor la lógica de esta guía?
05¿Qué conclusión complementaria forma parte del núcleo del artículo?
06¿Qué formulación distingue mejor «Fantasma de medición» de una etiqueta superficial?
07¿Qué límite debe acompañar cualquier aplicación del artículo a un caso nuevo?
Responde las siete preguntas.

Fuente y alcance

From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology. Zhicheng Lin. Annual Review of Psychology, vol. 78 (2027). Publicada como Review in Advance el 10 de agosto de 2026.

Esta guía editorial es una explicación independiente. Consulta la publicación original para los estudios, las referencias y el contexto completo.

Abrir revisión original ↗