Dos tercios de (100) estudios en psicología no son confiables.

La habilidad de replicar un estudio y obtener los mismos resultados que el original es parte esencial de la ciencia. En esta línea, la semana anterior se publicó el Proyecto de Reproducibilidad, que unió a 270 investigadores en psicología:

Equipos de investigación de todo el mundo realizaron la réplica de [estudios publicados] en [una de] tres revistas psicológicas relevantes: “Psychological Science”,  “Journal of Personality and Social Psychology”, y “Journal of Experimental Psychology: Learning, Memory, and Cognition”. Para asegurarse de que la réplica era tan exacta como fuese posible, los equipos de investigación obtuvieron los materiales de estudio de los autores originales, y trabajaron de cerca con ellos siempre que pudieron.

 

Encontramos que sólo un tercio de los estudios publicados en psicología son confiables. ¿Ahora qué?

Se encontró que sólo el 36% de los estudios replicados arrojaron resultados estadísticamente significativos (este el indicador de que los resultados se deben a la intervención misma y no a otros factores). Bajo esta óptica, tal y como se ha reportado, es posible afirmar que sólo un tercio de los estudios replicados arrojaron el mismo resultados que la primera vez.

Este proyecto es un trabajo sumamente valioso en meta-ciencia. Entre los estudios cuyos hallazgos no lograron replicarse estaban las investigaciones sobre que la soledad aumenta las creencias supernaturales, que la fluidez conceptual incrementaba la preferencia por descripciones concretas, y la vinculación entre prejuicios raciales y tiempo de respuesta ante imágenes de personas de distintos grupos étnicos juntos a armas. También es destacable que, al ver las réplicas por área, los estudios de psicología cognitiva tenían mayores probabilidades de replicarse que los estudios de psicología social.

brain-tape-measure

Ahora, las notas sobre estos hallazgos, incluyendo el citado arriba (escrito por dos autoras del proyecto) reportan que “un tercio de los estudios en psicología son confiables”. Una noticia aprovecha para mencionar que “muchos autores usan datos falsos para hacer más llamativos sus resultados”, donde muchos, según la evidencia presentada en el texto, significa uno. En otro lugar, posiblemente basándose en un 47% relativo al tamaño del efecto (otro indicador, actualmente con más peso que la diferencia estadísticamente significativa) en las réplicas, reporta que “la mitad de la psicología no es ciencia”. Esto no puede afirmarse.

Pero antes: ¿Sería malo que “la mitad de la psicología” no fuera ciencia? No. Por un lado, problemas para replicar y predecir se encuentran en otras ciencias, como la física, la meteorología y la sismología.  Al respecto, recomendamos la presentación, preparada por una mitad del Equipo Psicoloquio, que explica Por qué y para qué investigar en psicología:

“La psicología […] no es una ciencia, es un área temática. Y puede estudiarse científicamente o no científicamente […] porque el objeto de estudio puede ser objetivamente observado y puede describir su propia experiencia subjetiva” (Bell, 2013).

Por otro lado, relativo al sujeto de estudio de la psicología: tal sujeto es demasiado escurridizo y propenso a ser influido por literal y absolutamente todo, incluso por sí mismo. Ningún sujeto es igual al siguiente y sin embargo todos son similares en una u otra cosa. Ni hablar de la influencia de las sociedades y culturas a las que pertenece y a las que no pertenece. La búsqueda de una única “naturaleza humana” (tema que trataremos en próximos posts) hace creer a muchos que la falta de replicabilidad encontrada por este proyecto implica un fallo en la psicología como un todo.

¿Por qué, entonces, es un error lo que se ha reportado, incluso por autores participantes en el proyecto? Por la misma razón que tenemos una sección entera dedicada a noticias engañosas. Porque a la hora de reportar hallazgos en psicología, debemos cuidarnos de las declaraciones grandiosas y de las generalizaciones:

Algunas agencias de noticias han reportado erróneamente que este estudio demuestra que “alrededor de dos tercios de estudios en psicología no son confiables”, pero el Proyecto de Reproducibilidad no realizó un muestreo lo suficientemente amplio a través de publicaciones para poder sostener esto.

 

No lo llame un golpe bajo.

Leyó el título de este post, de modo que ya sabe cuántos estudios fueron replicados para llegar a esta conclusión que, según se reporta, abarca a toda la psicología.

Cien estudios. Todos publicados en el 2008. En tres revistas estadounidenses.

El directorio de Revistas de Acceso Abierto lista 206 revistas de psicología publicadas en 10 países. La Social Psychology Network tiene un buscador que incorpora al menos 500 revistas. La compañía de publicaciones académicas Elsevier tiene otro tanto. Sin contar otras miles que están registradas en otros sitios, de diversos países y lenguas. Sin contar que publicaciones en psicología existen desde el siglo pasado, e incluso un poco antes. Sin contar estudios que no son de naturaleza correlacional-experimental, que son éstos los que alzan el perfil científico de la disciplina y que fueron considerados en el proyecto de reproducibilidad. Esos son muchísimos estudios publicados hasta la fecha.

En otras palabras, los estudios seleccionados no son representativos de la literatura en psicología en general. Difícilmente cualquier selección de estudios lo sería. Los resultados de un estudio pueden ser muy coherentes con la muestra de participantes que trabaja (validez interna) pero esa coherencia puede no traducirse a otras muestras (validez externa), sin que ello necesariamente comprometa su confiabilidad. Algo similar ocurre, justamente, con nuestro sujeto de estudio (las negritas son nuestras).

El hecho de que usted no logre replicar los resultados de un experimento no significa necesariamente que el original reportado sea un falso positivo. Puede significar que el efecto es sensible a un contexto particular que aun no tenemos claro. Resolver esto es básicamente el trabajo de hormiga de la ciencia.

No lo llame un golpe bajo.

Este proyecto es la psicología en su mejor faceta científica: pone a prueba afirmaciones que se han dado por ciertas, por el hecho de haber sido divulgadas. Aunque no podemos caracterizar a la psicología como un todo con sólo 100 estudios, sí podemos hablar de la amplia tendencia (no sólo dentro de la disciplina, sino también de los medios de comunicación y el público en general) a considerar hallazgos novedosos como verdad, sin que se ofrezcan incentivos para ponerlos a prueba a través de la réplica.

De modo similar, [este proyecto] sólo tomó en cuenta hallazgos inicialmente positivos. Usted fácilmente podría imaginarse el “Proyecto de Reproducibilidad Inversa”, en el que muchos estudios originales en los que no se encontró efecto son replicados para ver cuáles sí terminan mostrando efecto.

 

Sabemos que por el sesgo de los estudios se tiende a favorecer los resultados positivos, pero eso tampoco significa que los resultados negativos deban ser automáticamente aceptados como la respuesta final.

 

Las lecciones principales que nos llevamos a casa son que los hallazgos publicados en revistas destacadas no son una buena guía sobre aspectos invariables de la naturaleza humana […] y que la ciencia es difícil.

 

No lo llame un golpe bajo

Hay algunos aspectos que dejamos de lado para no alargar más este post. Recomendamos revisar los enlaces (y sus enlaces) para una discusión más profunda de este tema. Además, el proyecto, con las réplicas de los 100 estudios, está disponible aquí.

Escribe tu comentario