Reseña de “A Scientific Inquiry Into the Validity of Astrology”
Por Kenneth McRitchie
ISAR International Astrologer, vol. 43, n° 1, abril 2014-31.
Este artículo ha sido revisado por pares.
Palabras clave: astrología, sesgo, paradoja del cumpleaños, cognición, pseudociencia, pseudoescepticismo, investigación, ciencia, arbitrariedad.
El experimento doble ciego "A Scientific Inquiry Into the Validity of Astrology" por los profesores de psicología John N. McGrew y Richard M. McFall (1990) -denominados en adelante como M&M- ha permanecido durante mucho tiempo como una de las "constataciones definitivas" contra la astrología, y asimismo el investigador holandés Rob Nanninga (1996) dio al ensayo un peso adicional con su exitosa réplica. El estadístico australiano Geoffrey Dean y el psicólogo canadiense Ivan Kelly describieron la prueba y su repetición en el influyente estudio "Is Astrology Relevant to Consciousness and Psi?" (2003). Para ellos, el análisis de M&M fue un ensayo convincente que utilizaron con objeto de respaldar sus argumentos en contra de la astrología.
La ocasión de 1990 pretendía cubrir lo que sus autores consideraban una “insuficiencia metodológica” en la famosa prueba doble ciego por Shawn Carlson (1985), publicada en Nature. Carlson quiso saber si astrólogos de renombre (N= 29) eran capaces de identificar con precisión determinados perfiles del Inventario Californiano de Psicología (CPI) para sujetos de prueba (N= 100+, en su mayoría estudiantes en Berkley). Para la carta natal de cada uno, los astrólogos recibieron el perfil CPI real y otros dos elegidos al azar de otras personas. Se solicitó a los expertos que calificasen las secciones individuales de los tres CPI en comparación con la carta natal, y luego clasificaran su primera, segunda y tercera opción. Al usar el mismo procedimiento para ambas fases, Shawn evaluó si cada sujeto podía distinguir su propio perfil de carta natal, escrito por los astrólogos, que debían escoger entre otros dos. A través de la misma técnica, Carlson pidió a los voluntarios que identificaran sus perfiles CPI respecto a otros dos (1).
En su estudio, el autor descubrió que los astrólogos no realizaban sus tareas mejor que la expectativa del azar. Para las tareas de los sujetos, sospechó de la fase de calificación y desestimó los datos. Los astrólogos nunca supieron qué tan bien se desempeñaron en las secciones individuales de sus perfiles escritos, y aunque los resultados de la labor clasificatoria (primera, segunda y tercera elección) fueron inusuales, Carlson sí aceptó esa información. Esta tarea incluía un grupo de control cuyos miembros no recibieron sus perfiles astrológicos reales, pero eligió con éxito los perfiles preseleccionados con una probabilidad significativamente baja contra el azar (p< 0,01, donde la significancia es p< 0,05), mientras que los sujetos de prueba reales escogieron sus reseñas fortuitamente. Carlson atribuyó el llamativo resultado para el grupo de control a una "fluctuación estadística", determinando asimismo que las personas testeadas no pudieron distinguir sus perfiles CPI mejor de lo que se esperaría por casualidad.
A pesar de estos resultados negativos -tanto para astrólogos como sujetos de prueba-, los datos excluidos y la anomalía estadística, Shawn concluyó: "Ahora estamos en posición de argumentar un caso sorprendentemente sólido contra la astrología natal, según es practicada por individuos de renombre" (Carlson, 425).
El experimento Carlson ha sido controversial, y sus fortalezas y debilidades han sido discutidas en varios artículos (Currey, 2011; McRitchie, 2011; Ertel, 2009; Vidmar, 2008; McGrew & McFall, 1990). Por su parte, M&M argumentaron que como los sujetos de prueba no distinguieron sus reseñas CPI, los especialistas pudieron equivocarse en hacer coincidir cartas natales con aquéllas para el mismo problema no-astrológico. Tanto ellos como los sujetos habrían experimentado dificultades para comprender la terminología y las escalas gráficas que utilizaba el CPI, con tal de describir personalidades y rasgos; por ende y según los autores, la evidencia requerida para validar el experimento de Carlson no fue concluyente (M&M, 76).
En 2009 el psicólogo alemán Suitbert Ertel publicó una revisión crítica del experimento de Carlson, donde planteó el grave contratiempo de que en realidad no probó su teoría, sino calculó incorrectamente el análisis. Examinó la hipótesis establecida usando los datos de Carlson, y en un cambio notable, la evidencia señalaba que los astrólogos habían emparejado con éxito los perfiles CPI con cartas natales en sus dos tareas con una probabilidad estadísticamente significativa (p= 0,054 marginal y p= 0,037). Hasta la fecha, la reevaluación de Ertel y los hechos expuestos no han sido cuestionados, y como ejemplo intrigante de inversión científica, el test de Carlson se convirtió desde entonces en uno de los principales estudios científicos en apoyo de la astrología.
Evitando algunos sesgos, pero no otros
Las vicisitudes del experimento por Carlson ocurrieron años después que M&M llevaran a cabo su versión y los autores no podían anticipar las consecuencias. Estaban intranquilos por una debilidad particular en aquel ensayo, y concibieron una investigación presentada como "independiente" sobre si la astrología es válida en términos científicos. El vuelco en la evidencia hallada por Carlson no afectó directamente la pesquisa de M&M, y es por eso que su probación merece un estudio crítico.
Para analizar el defecto encontrado, M&M, al igual que Carlson, reclutaron astrólogos (N= 6) y sujetos de prueba (N= 23), pero a diferencia de aquél sólo tantearon las habilidades de identificación de los primeros, y pudiendo hacerlo, no evaluaron si los individuos eran capaces de distinguir sus perfiles de cartas natales confeccionadas por dichos especialistas. Carlson entendió que tal prueba estaría cerca de lo que los astrólogos realmente hacen en la práctica y ello aseguraría la validez de su experimento; por ello, es decepcionante que M&M no replicaran esta sección del mismo, y en especial porque Carlson había rechazado ese cúmulo de datos, excepto porque contuvo un gran error: el experimento de los autores no probó una técnica que se aproximara a la labor astrológica real y no intentaron resolver el problema -lo cual representó un sesgo contra la disciplina-, y no dieron razones para que los sujetos de prueba quedaran sin ser ponderados.
El dúo realizó su protocolo experimental con la participación y aprobación de los seis profesionales, todos miembros de la Federación de Astrólogos de Indiana. Se pidió a cada uno que hiciera coincidir cartas natales de los 23 sujetos con 23 paquetes de información que incluían fotografías de rostros. Para eliminar las pistas de edad, estas personas tenían de 30 a 31 años, y ese rango significaba que había cierta similitud en sus horóscopos, lo que haría ardua su diferenciación. El bloque de datos para cada tema era amplio, incluidas las respuestas a 61 preguntas personales y abiertas, cuya creación M&M solicitaron a los astrólogos. Además de las fotografías y el cuestionario, dicho lote incluía episodios de vida importantes y resultados de dos pruebas psicológicas estandarizadas. Los autores llamaron al conjunto de información final como Resumen de Características Personales e Historia de Vida (PCLHS).
Las 61 preguntas en el PCLHS inquirían sobre características personales del estilo de vida que pueden interesar a los astrólogos, que incluyen "pasatiempos, intereses, creencias religiosas, rasgos físicos, talentos y logros personales, antecedentes familiares, fechas de muerte de padres o hermanos, fechas de mudanzas a través del país, problemas de salud, actitudes hacia la autoridad, sexo y compromiso, manías, colores favoritos, puntualidad, confiabilidad y variaciones en el ciclo de energía personal” (M&M, 77).
En la experiencia realizada por los autores o cualquier prueba doble ciego sobre astrología, hay que tener cuidado de asegurar que las ideas preconcebidas con respecto a esta disciplina no condicionen los resultados, una precaución válida tanto para experimentadores como sujetos de prueba. Sin embargo y a diferencia de Carlson -quien aisló su propia influencia y eligió cuidadosamente a personas con opiniones firmes sobre astrología-, M&M no siguieron un protocolo similar y tampoco evitaron su sesgo de muestreo cuando seleccionaron individuos a partir de candidatos que respondieron a su anuncio en periódicos.
En vez de probar a los elegidos para detectar inclinaciones especiales, M&M se basaron en una "historia de tapadera", pero ese método fue inconsistente y proporcionó pistas llamativas. Los autores explicaron a sus sujetos que la investigación trataba sobre los posibles efectos de niveles hormonales asociados con el ciclo diurno durante el nacimiento y desarrollo posterior en niños (M&M, 79), por cuanto cada individuo de prueba tenía que suministrar documentación certificada de fecha, hora y lugar precisos de nacimiento. Las 61 interrogantes pedían que detallaran información muy personal y eventos de vida del tipo que les hubiera resultado familiar en columnas de astrología popular. Refiriéndose a estas preguntas, los autores sostienen que “ni el CPI ni ningún otro instrumento psicológico estándar contiene esa clase de información” (M&M, 77). Cuando se consultó a las 23 personas luego de finalizar el test, dos de ellas adivinaron que el experimento era sobre astrología (M&M, 79), y a todas luces la "portada" no representó un "biombo" fiable para posibles sesgos.
Una quimera estadística
Aparte de los defectos mencionados, un problema más grave fue que el diseño del experimento incluía una peculiaridad estadística que puede sesgarlo, ya sea que el contenido trate de astrología u otro tema. En el trabajo de Carlson y sus antecesores, los participantes intentaron equiparar cada horóscopo con un conjunto de sólo dos o tres descripciones de personalidad (Clark, 1961; Marbell, 1981; Carlson, 1985). La expectativa probabilística para cada elección fue siempre la misma y no disminuyó, mientras que el protocolo de emparejamiento por M&M ocupó una ilusión matemática como sesgo cognitivo.
Al seleccionar específicamente 23 sujetos, los autores parecieron estar conscientes de un efecto contrario a la intuición llamado "problema/paradoja del cumpleaños" (Ma, 2010). Debido a un sesgo cognitivo, no esperamos que de los 365 días anuales haya al menos un 50 % de posibilidades de encontrar cumpleaños coincidentes en cualquier grupo de sólo 23 personas. Sin embargo, si adoptamos el enfoque opuesto, parece intuitivamente fácil unir con confianza al menos el 50% de un grupo de 23 a otro con igual número, donde sabemos que todos los integrantes de ambos presentan coincidencias. La probabilidad real de establecer la mitad de ellas no es de 50%, sino casi cero; de este modo, M&M alentaron dicho exceso de confianza ilusoria al decidir que sólo había “23 posibilidades” en su experimento (M&M, 82).
La razón de este equívoco es que los problemas de concordancia -donde cada intento elimina un miembro de cada grupo- caen en una distribución de Poisson. En un modo diferente a la intuición, la chance de encontrar similitudes converge rápidamente en probabilidades muy reducidas y análogas, independiente del número de pares que se corresponderán, ya sea 10, 23 ó 200. La probabilidad de hallar 1 coincidencia es aproximadamente 0,37; para 2 es 0,18; 0,06 de 3; 0,015 de 4 y 0,0000001 en el caso de 10 (Ma, 2010). Existe una gran sensibilidad al error que aumenta con rapidez a cada empeño, y así las ocasiones de hacer concurrir los 23 pares son extremadamente nimias. Para que los resultados alcanzaran el nivel de significación estadística, suponiendo que la significancia era de p< 0,05, los astrólogos necesitaban emparejar un promedio de poco más de tres cartas natales. Aún sabiéndolo, M&M no sugirieron que su método creaba exceso de confianza, no advirtieron a los especialistas y tampoco se dieron razones para cambiar el diseño utilizado por Carlson y otros, donde esta ilusión no era posible.
Estrategias idiosincrásicas
Todos los astrólogos trabajaron sólo para unir cada uno de los 23 horóscopos con sus 23 PCLHS correspondientes. Los autores no publicaron tablas ni gráficos sobre los datos de sus pruebas y no es posible analizar los valores medios de coincidencias correctas. En cambio, informaron que éstas últimas oscilaron entre cero y tres, con valor medio de una coincidencia, y ninguno de los profesionales se desempeñó mejor que el azar (M&M, 80), aún cuando ellos determinaron su confianza en el promedio del 73,5%, lo que implicaba efectuar al menos seis concordancias exitosas. La compatibilidad entre sus aciertos y nivel de convencimiento no se mostró relevante (r= 0,03), y según el análisis, los resultados entre expertos fueron inconsistentes en emparejamientos precisos e incorrectos, con un valor medio de sólo 1,4 acuerdos para los 23 casos, lo que no era significativo (M&M, 81). Como señalan los autores, es importante destacar que los astrólogos emplearon recursos idiosincrásicos, lo que se demuestra por la mezcolanza de preguntas que proporcionaron al PCLHS y su falta de acuerdo para establecer coincidencias (M&M, 81).
Esta observación es crucial para comprender los resultados. Uno debe preguntarse por qué los astrólogos se apartaron tan poco de su práctica habitual. Los textos de astrología contienen descripciones de personalidad y desarrollo potencial en diversas configuraciones de cartas natales, siendo así parámetros muy estandarizados, y normalmente los especialistas aplican estos indicadores al interpretarlas. Sin embargo, M&M no pidieron a los astrólogos que explicaran sus gráficos, sino sólo que los emparejaran. Y si ellos no interpretaban personalidades en las cartas, entonces ¿de quién eran las habilidades que se estaban probando?
Es normal que un astrólogo simplemente diga a los clientes cuáles pueden ser sus personalidades, desarrollo de carácter, logros y otros potenciales, según lo establecido en la literatura análoga. Es posible que se haya actuado o no sobre estas áreas de potencial, y depende del cliente reconocer sus patrones de comportamiento y estilo de vida a través del proceso de consulta. Sin embargo, no es común solicitar a las personas que describan sus capacidades, ni que los astrólogos utilicen un cuestionario para inquirir sobre el particular. La astrología aplicada no asume que alguien conozca sus talentos a profundidad, por lo que el ensayo de M&M fue en contra de la disciplina habitual y ello representó un sesgo hacia sus practicantes.
El diseño experimental invirtió los roles de consultor y cliente, situando el trabajo interpretativo en la parte equivocada. Los sujetos de prueba debían reseñar sus capacidades (normalmente hecho por el profesional), respondiendo un cuestionario ad hoc que M&M encargaron a los propios astrólogos; después, éstos juzgaban la exactitud y utilidad de las descripciones recibidas (proceso que suele llevar a cabo el consultante).
La astrología se centra en ayudar a descubrir talentos personales y dar orientaciones de cómo tomar el mejor camino en diferentes etapas de vida. Este no es el mismo tipo de información que generan las pruebas psicológicas, que comúnmente sólo evalúan las dimensiones en rasgos de personalidad. Los astrólogos en el experimento de M&M pudieron tener las mejores intenciones, pero se les asignó una tarea enorme. En su intento de crear un cuestionario que abarcara todo el espectro del potencial humano, fueron proclives a utilizar estrategias idiosincrásicas y recurrieron a preguntas abiertas, tal vez con la esperanza de que los sujetos de prueba otorgaran suficiente información a través de sus narrativas.
El problema con esto es que se introdujo un desvío cognitivo adicional que las lecturas de cartas astrales suelen evitar. Los estudios psicológicos han demostrado que las personas tienden a albergar ilusiones positivas e irrealistas sobre sí mismas (Taylor y Brown, 1988); por ejemplo, casi el 80% de conductores se autoclasifica como parte del 50% superior en términos de habilidades viales (McCormick, Walkey y Green, 1986), lo que por cierto no es matemáticamente factible. Las pretensiones "gratificantes" de autoimagen en casi todas las áreas de la vida no son lo que los astrólogos quisieran escuchar, pero estos fueron muy probablemente los tipos de respuestas obtenidas al formular preguntas abiertas y no estandarizadas sobre talentos e intereses personales. En consecuencia, la metodología de investigación por M&M implementó un error sistemático que funcionó en contra de los astrólogos.
Discusión
Dado que los especialistas accedieron a la sugerencia por M&M de crear un cuestionario ad hoc, terminaron adoptando una metodología defectuosa y comprometiéndose con el diseño de prueba establecido. Los autores no les avisaron que su lista de preguntas se exponía al sesgo de autoilusión positiva, y junto con el efecto matemático de Poisson representaron aspectos contraintuitivos. Estos desvíos no surgieron en diseños previos de experimentos astrológicos doble ciego, incluido el de Carlson y que los autores replicaban en esa oportunidad.
A diferencia del cuestionario abierto e idiosincrásico de M&M, el testeo de Carlson empleó sólo el CPI estandarizado. La reevaluación por Ertel (2009) sobre aquélla constató que los astrólogos fueron capaces de utilizar perfiles CPI para vincular horóscopos con una probabilidad estadísticamente significativa. Aunque ellos no suelen echar mano de cuestionarios psicológicos modelo, los resultados positivos en el ensayo de Carlson apuntan a que los astrólogos de M&M habrían tenido más éxito si hubieran restringido sus evaluaciones a los datos de ambas pruebas psicológicas incluidas en el PCLHS y depuesto su propio cuestionario. Los listados prototípicos de opción múltiple compelen a tomar decisiones específicas, y por lo tanto reducen las ilusiones de autoimagen. A juzgar por la reevaluación de Ertel, es concebible que los sistemas de prueba específicos puedan mostrar correlaciones entre algunos patrones de cartas astrales y perfiles de cuestionarios estándar sobre personalidad.
Aunque los astrólogos utilizaron información de los dos cuestionarios psicológicos para identificar las cartas, M&M no pidieron a sus sujetos de prueba que distinguieran sus perfiles, como se había hecho anteriormente en experimentos doble ciego. Este protocolo de validación ausente devela un escollo serio para los autores, porque no está claro cuánto confiaron los astrólogos -o deberían haber confiado- en dichas reseñas, y asimismo aparece la incertidumbre de "inadecuación metodológica" que los autores localizaron en la tarea de su predecesor. Los astrólogos podrían haber fallado en su cometido por las mismas razones no astrológicas que antes, y sorprendentemente, al no evaluar los sujetos de prueba, ¡M&M no intentaron resolver el problema de validación psicológica que usaron para justificar su proyecto! En consecuencia y por su propio razonamiento, tendrían que catalogar este examen como inconcluso.
Lecciones por aprender
M&M finalizan su artículo con una racionalización extrema: "Puesto que cada individuo es único, en la vida real un astrólogo debe usar la información de nacimiento para 'seleccionar' la única interpretación correcta y que coincida sólo con esa persona entre casi innumerables posibilidades, y no sólo entre 23. Por lo tanto, nuestro trabajo puede verse como una simplificación de aquél que los astrólogos realizan a diario” (M&M, 81-82).
Esto invierte la complejidad del quehacer astrológico normal, en comparación con sus tareas en ese experimento. Es una falsía sostener que los astrólogos en la práctica deben “seleccionar” un "golpe único" entre innumerables posibilidades de rasgos en cartas combinadas, pues lo cierto es que ellos leen dichos gráficos como cualquier otra clase de "mapa" que tenga puntos de referencia claros, destinos previstos e indicadores de oportunidades y peligros. Como se sobreentiende, hay muchas formas de interpretar mapas y alcanzar una meta. No era sencillo hacer coincidir 23 pares, y los autores expusieron una afirmación engañosa. Sólo había 23 chances siempre que cada emparejamiento se realizara de modo correcto, por lo que el número de posibles desajustes fue asombroso y cognitivamente increíble.
En 1996 se elaboró una repetición de la prueba por M&M. El holandés Rob Nanninga modeló su "Astrotest" doble ciego directamente en base al primero -y contenía todos los mismos fallos-, donde retó a 50 astrólogos connacionales a equiparar correctamente siete cartas natales con siete conjuntos de información personal. De manera similar al experimento previo, desarrolló su formulario de preguntas abiertas no estándar a partir de ideas recopiladas de los astrólogos participantes. La lista cubría detalles como educación, tendencias vocacionales, pasatiempos, intereses, objetivos primarios, personalidad, relaciones, salud, religión, etc., además de fechas sobre eventos importantes. A todo ello, el autor sumó 24 preguntas de opción múltiple tomadas de una prueba estándar de personalidad (Nanninga, 1996/97), y no hace falta decir que los astrólogos no pudieron igualar las cartas mejor que en el caso de M&M.
Los astrólogos, estudiantes e investigadores críticos pueden aprender del ejemplo por M&M. Éstos parecían seguir una "metodología científica estricta" al presentar un análisis impresionante de sus datos, pero no implementaron protocolos básicos contra los sesgos añadidos a través de su selección para sujetos de prueba, la técnica comparativa de Poisson y un cuestionario ad hoc. Los autores no lograron sopesar la validez metodológica de su testeo, siendo éste el mismo problema que detectaron como "inadecuación" en el experimento de Carlson y utilizado para justificar su pesquisa. Por estas razones, el empeño de M&M puede considerarse irresoluto, y también un ejemplo notable de sesgo cognitivo en un experimento científico.
En retrospectiva, es esclarecedor ver cómo los autores desarrollaron una "prolongada fase de gestiones" para obtener el acceso y la confianza de los astrólogos escépticos en un comienzo, mostrando al menos cierta empatía: “(...) comprensiblemente, recelaban participar en investigaciones que pudieran estar sesgadas en su contra o que no les brindaran ninguna oportunidad de éxito” (M&M, 77).
Agradecimientos a: David Cochrane y Mark Urban Lurain por su ayuda con el "problema del cumpleaños" y las distribuciones de Poisson, e International Astrologer para la revisión crítica por pares, que brindó oportunas aclaraciones y sugerencias.
Se enviaron borradores de este artículo a los profesores Ivan Kelly y Christopher French para que hicieran comentarios, pero no hubo respuesta.
Notas
1. El testeo llamado "autoselección de perfil" y concebido por Neil Marbell en 1981 -precursor de Carlson- aspiró a estandarizar sistemáticamente las interpretaciones astrológicas presentadas a sujetos de prueba, y de una forma que Carlson no consideró: “Las reseñas de personalidad fueron compuestas por astrólogos individuales sólo a partir de datos de nacimiento, utilizando todos los factores ptolemaicos básicos para explicación de horóscopos. Luego, cada perfil fue revisado por un comité de cinco astrólogos que no conocía los temas. Este chequeo fue necesario con tal de evaluar las interpretaciones y normalizar dichos perfiles en estilo, contenido y presentación general” (Marbell, 1981, p. 4).
El autor manifestó que su ensayo fue inequívoco en resultados exitosos, con un alto índice de personas que seleccionó sus interpretaciones de las tres presentadas. A pesar de los elevados guarismos, las probabilidades estadísticas para dos pruebas no fueron significativas (asumiendo significancia en p< 0,05), debido al menos en parte al número muy pequeño de sujetos de prueba (N= 5 ó 6). El control se dividió en las siguientes partes:
-Primera (utilizando perfiles rigurosos en laboratorio): N= 5, con 100% de respuestas correctas y p< 0,000001.
-Segunda (perfiles menos detallados, remitidos por correo a los hogares de los sujetos): N= 6, con 66 2/3% de respuestas correctas y p= 0,1.
-Tercera ("historia de portada" sobre biorritmo, utilizando elementos de perfil rigurosos y menos detallados, en entornos laborales de los sujetos): N= 5, con un 75% de respuestas correctas y p= 0,111.
El experimento de Marbell se destacó por su participación interdisciplinaria, que involucró el diseño y revisión por astrólogos y académicos notables, escépticos prominentes e incluso representantes del Congreso estadounidense.
Referencias
Carlson, Shawn (1985). "A double-blind test of astrology", Nature (318, diciembre), p. 419-425.
Clark, Vernon (1961). “Experimental astrology", Search, p. 102-112.
Clark, Vernon (1970). “An investigation of the validity and reliability of the astrological technique”, Aquarian Agent (n° 1, octubre), p. 2-3.
Currey, Robert (2011). "Shawn Carlson’s Double Blind Astrology Experiment: U-Turn in Carlson’s Astrology Test?", Correlation, 27 (2), p. 7-33.
Currey, Robert (2013). "Research Sceptical of Astrology: McGrew & McFall, 'A Scientific Inquiry into the Validity of Astrology'” (visitado el 13-03-2013).
Ivan W. Kelly y Dean Geoffrey (2003). "Is Astrology Relevant to Consciousness and Psi?", Journal of Consciousness Studies, 10 (6-7), p. 175-198.
Dobyns, Zipporah P. (1976). “Results of the Vernon Clark experiment”, Astrology Now, 1 (65, abril), p. 81.
Ertel, Suitbert (2009). "Appraisal of Shawn Carlson’s Renowned Astrology Tests", Journal of Scientific Exploration, 23 (2), p. 125-137.
Hippel, William von y Robert Trivers (2011). "The evolution and psychology of self-deception", Behavioral and Brain Sciences, 34, p. 1-56.
Joseph, R. A. (1975). “A Vernon Clark model experiment distinguishing exceptionally gifted high performance from profoundly retarded low performance children”, Journal of Geocosmic Research, 1, p. 55-72.
Klayman, Joshua y Young-Won Ha (1987). "Confirmation, disconfirmation, and information in hypothesis testing", Psychological Review, 94 (2), p. 211-28.
Marbell, Neil (1981). “Profile Self-selection: A test of astrological effect on human personality”, Synapse Foundation (monografía), republicado (1986-1987) en NCGR Journal, p. 29-44.
Ma, Dan (2010). "More about the matching problem: A Blog on Probability and Statistics", 2 de mayo, visitado el 18-09-2013.
Mannes, Albert y Don Moore (2013). “I know I’m right! A behavioural view of overconfidence”, Significance, agosto, p. 10-14.
McCormick, Iain A., Frank H. Walkey y Dianne E. Green (junio de 1986). “Comparative perceptions of driver ability— A confirmation and expansion”, Accident Analysis & Prevention, 18 (3), p. 205–208.
McGrew, John H. y McFall, Richard M. (1990). "A Scientific Inquiry Into the Validity of Astrology", Journal of Scientific Exploration, 4 (1), p. 75-83.
McRitchie, Kenneth (2011). "Support for astrology from the Carlson double-blind experiment", ISAR International Astrologer, 40 (2), p. 33-38.
McRitchie, Kenneth (2006). "Astrology and the Social Sciences: Looking inside the black box of astrology theory", Correlation, 24 (1), p. 5-20.
Nanninga, Rob (1996-1997). "The Astrotest: A tough match for astrologers", Correlation, 15 (2), p. 14-20.
Nickerson, Raymond S. (1998). "Confirmation bias: A ubiquitous Phenomenon in many guises", Review of General Psychology, 2 (2), p. 175-270.
Rogers, Paul y Soule, Janice (2009). “Crosscultural differences in the acceptance of Barnum profiles supposedly derived from Western versus Chinese astrology”, Journal of Cross-Cultural Psychology, 40 (4), p. 381-389.
Taylor, Shelley E. y Jonathan D. Brown (1988). "Illusion and well being: A social psychological perspective on mental health", Psychological Bulletin, 103, p. 193-210.
Taylor, Shelley E. y Jonathan D. Brown (1994). "Positive Illusions and Well-Being Revisited", Psychological Bulletin, vol. 116 (1), p. 21-27.
Vidmar, Joseph (2008). "A Comprehensive Review of the Carlson Astrology Experiments", Correlation, 26 (1).