Uso y abuso de los datos estadísticos

Cuando el documento realizado por el ex senador George J. Mitchell revelaba que Roger Clemens y otros más de ochenta jugadores de la Liga Profesional de Béisbol (Major Leage Baseball) habían consumido sustancias ilegales para mejorar su rendimiento, el galardonado lanzador hizo todo lo posible para limpiar su nombre. Además de la declaración de Clemens ante los legisladores del Capitolio, para demostrar su inocencia se adjuntó un voluminoso informe basado en datos estadísticos realizado por su agente de marketing.

Sin embargo, el artículo escrito por cuatro profesores de Wharton y publicado en New York Times el 10 de febrero defiende otra idea: la validez de cualquier tipo de análisis estadístico es tan bueno como cualquiera de las partes que lo componen. Esta puntualización posiblemente adquiera relevancia a medida que las organizaciones y los individuos intenten buscar cierto sentido a la creciente complejidad de datos estadísticos.

“Hoy en día los consumidores de información se ahogan entre tanto dato”, sostiene Justin Wolfers. “Empresas, trabajadores, estado y demás generan terabytes de datos en su empeño por cuantificar todo. Existen diversos modos de pulir las interferencias en los datos fuente. Desafortunadamente también es posible introducir interferencias en los mismos”.

Por ejemplo, una cadena de establecimientos al por menor podría analizar sus operaciones durante cierto periodo de tiempo y descubrir que en aquellas ocasiones en las que rebajó sus artículos se produjo una caída en las ventas. “Esto podría llevar a la conclusión de que la bajada en los precios ha provocado una reducción en el volumen de ventas”, dice Wolfers. “Pero la verdadera relación causal podría ser mucho más compleja. Antes de aumentar los precios con el fin –supuestamente- de incrementar las ventas, el minorista debería examinar algunas cuestiones adicionales para ver si en el periodo examinado la demanda en general había estado influenciada por otros factores. Por ejemplo, tal vez históricamente la empresa pone sus productos en rebaja precisamente durante periodos flojos de ventas. En este caso es la caída en las ventas la que provoca la reducción de los precios y no viceversa”.

Esto ilustra una dificultad fundamental inherente a los análisis estadísticos en el mundo de la empresa, en las ciencias sociales y en otros ámbitos, explica Wolfers. “En general es mucho más fácil aislar y descartar la información irrelevante cuando los investigadores trabajan con datos experimentales o científicos, como por ejemplo datos médicos”, señala. “En un contexto experimental, una empresa farmacéutica puede aleatoriamente distribuir el medicamento a determinado grupo de sujetos y el placebo a otro grupo. Suponiendo que los investigadores han escogido aleatoriamente a las personas que toman el medicamento, es posible identificar aisladamente los efectos del medicamento y del placebo”.

Pero en un contexto empresarial eso no es tan fácil. “En el ejemplo de la cadena de establecimientos al por menor, podría ser más difícil aislar los efectos que se deben a otros factores”, explica Wolfers. En cuanto a la modificación de los precios de venta, “sería necesario tener en cuenta la influencia de los días soleados versus los días de lluvia -o de los días en que hace calor y frío-, sobre el volumen de comercio y el comportamiento de los consumidores”.

En el caso Roger Clemens, Wolfers trabajó en colaboración con los profesores de Estadística Shane Jensen y Abraham Wyner, así como con el profesor de Marketing Eric Bradlow, para escribir un artículo titulado “Report Backing Clemens Chooses Its Facts Carefully” (“El informe que respalda a Clemens elige cuidadosamente los hechos”), que se publicó en Times.

En dicho artículo, los investigadores cuestionan la metodología empleada por Hendrick Sports Management para apoyar la declaración de Clemens desmintiendo el consumo de esteroides. “El informe Clemens intenta disipar toda sombra de duda al compararlo con Nolan Ryan, el cual se retiró en 1993 a los 46 años de edad”, se puede leer en el artículo.   “Con dicha comparación Clemens no parece para nada un sujeto atípico: ambos jugadores disfrutaron del éxito bien entrados en los cuarenta. Se pueden extraer conclusiones similares cuando se compara a Clemens con dos de sus contemporáneos, Randy Johnson y Curt Schilling“.

No obstante, los investigadores de Wharton afirman que dichas comparaciones son incompletas. “Si se compara a Clemens únicamente con aquellos que alcanzaron el éxito en la segunda parte de sus carreras -en lugar de compararlo con todos los lanzadores que tuvieron un éxito similar sólo en la primera parte de las mismas-, se minimiza artificialmente la posibilidad de que los datos sobre Clemens parezcan poco habituales”, escriben. “Los estadísticos llaman a este problema sesgo de selección”.

Igual que, en un análisis de comparación de precios, un comercio minorista debe considerar un escenario futuro alternativo plausible sobre cuál habría sido el nivel de ventas, los investigadores de Wharton sostienen que los resultados de Clemens deberían compararse con “todos los lanzadores con largas carreras profesionales”. Cuando se hace esto, la segunda parte de la carrera profesional de Clemens “es inusual”, escriben. La mayoría de lanzadores mejoran rápidamente al principio de sus carreras, alcanzan su máximo a los 30 años y luego lentamente entran en una fase de declive. Sin embargo, la carrera de Clemens empezó su descenso cuando tenía veinti-muchos años y posteriormente, bien entrados los cuarenta, protagonizó una sorprendente remontada.

En cuanto a “estadísticos contratados”, existe cierta tendencia a elegir grupos de comparación que favorezca las pretensiones de sus clientes, señalan los profesores de Wharton. Pero, ¿qué ocurre cuando se hacen análisis estadísticos sin la presión ejercida por determinado punto de vista? Análisis financieros, econometría, auditoría, producción u operaciones son algunas de las áreas donde se precisan datos sin sesgos para poder tomar buenas decisiones en un contexto de incertidumbre.

Coca-Cola y los fondos de inversión

¿Siempre van las cosas mejor con Coca-Cola? Esa parece ser la cuestión de fondo del juicio, en vías de convertirse en demanda legal colectiva, contra la campaña de marketing de Enviga, la bebida de té verde con cafeína de la empresa Coca-Cola. Según la demanda, presentada en el juzgado del distrito de Camdem, Nueva Jersey, la publicidad de Enviga sostiene que “de hecho, quema más calorías de las que proporciona, lo cual se traduce en calorías negativas”.

En la demanda se alega que esta afirmación realizada por Coca-Cola se basa en “… el resumen de un único e insignificante estudio de corto plazo financiado por Coca-Cola…”. Asimismo, se señala que los sujetos elegidos para llevar a cabo el ensayo clínico eran individuos relativamente delgados con índices de masa corporal de 22; sin embargo, “la amplia mayoría de estadounidenses tienen sobrepeso o están obesos”, con índices de masa corporal de más de 25, y es más que probable que no pierdan peso bebiendo Enviga. Un portavoz de Coca-Cola afirma que el estudio elaborado por la empresa y sus resultados son válidos.

Otro ejemplo de estadística controvertida tiene que ver con un anuncio de los Fondos Dreyfus publicado en marzo en Wall Street Journal. La publicidad señala que su fondo de renta fija a medio plazo ha logrado cuatro estrellas en el ranking de Morningstar, sostiene David Peterson, un asesor estadístico independiente que trabaja en Carolina del Norte que además es miembro de la American Statistical Association.

“El anuncio fue muy cuidadoso al señalar que los resultados pasados no constituyen una promesa de resultados futuros, pero olvidaba mencionar que Dreyfus tiene al menos 19 fondos de inversión”, explica Peterson. “Naturalmente, en cualquier momento temporal el mejor de todos ellos es muy probable que sea extraordinariamente bueno; lo contrario también es cierto –lo cual no se mencionaba en la publicidad-, incluso aunque todos y cada uno de los 19 fondos no contengan nada inusual”.

Bajo este mismo principio, una empresa farmacéutica “podría llevar a cabo 10 pruebas independientes sobre la efectividad de un nuevo medicamento y basar su publicidad únicamente en los resultados más favorables”.

Falta de confianza y de comunicación

La posibilidad de cometer errores en un estudio inintencionadamente es también causa de preocupación, sostiene Jensen.

“Incluso si se tiene cuidado eligiendo una buena muestra, existe la posibilidad de obtener resultados engañosos”, señala. “Un problema habitual es el data mining. Si alguien analiza una gran base de datos durante suficiente tiempo, posiblemente encuentre un efecto estadísticamente significativo o diferencia entre algunos grupos de variables”. Desafortunadamente, explica Jensen, los investigadores a menudo simplemente sólo informan sobre un único resultado significativo sin admitir “las numerosas pruebas no significativas realizadas antes de obtener dicho resultado”.

Según Jensen, “es necesaria una estricta supervisión de todo el proceso de pruebas para evaluar dichos resultados en perspectiva”. Pero al menos existen dos fuerzas que suelen influir negativamente sobre la efectividad de los análisis. “La primera es una desconfianza en los análisis estadísticos, y la segunda es una falta de diálogo entre los estadísticos teóricos y los prácticos”. De hecho, sostiene Jensen, “muchos estudios de medicina, economía y ciencias sociales podrían beneficiarse si entablasen conversación con los estadísticos sobre el análisis de los datos recogidos o sobre la propia recogida de los datos”.

Bradlow también muestra preocupación sobre la interpretación de los resultados estadísticos. “Siempre digo a mis alumnos que las soluciones condicionadas por los datos no siempre proporcionan la respuesta correcta. Es más, pueden indicarte qué respuestas se deben eliminar por no estar respaldadas por los datos”. El verdadero valor de los análisis estadísticos es que ayudan a sus usuarios a caracterizar adecuadamente la incertidumbre en lugar de hacer “suposiciones”; contribuyen a identificar qué resultados son estadísticamente significativos y a dar respuesta a hipótesis específicas.

“El tema clave es la representatividad”, explica Bradlow en referencia al informe Roger Clemens. “Los investigadores y usuarios deberían siempre estar preocupados por cómo se obtienen los datos y si representan una muestra aleatoria. En caso negativo se debe tener cuidado con las conclusiones que se extraigan”.

En opinión de Bradlow, incluso los investigadores sin agenda deben ser precavidos. “A finales de los 90, cuando recogíamos datos demográficos en un cementerio de doscientos años de antigüedad, nos dimos cuenta de que, en comparación con la gente enterrada hacía muchos años, aquellos que habían sido enterrados en fechas recientes habían fallecido por término medio a edades más tempranas”. Los resultados de este estudio fueron publicados en un artículo titulado “A Selection of Selection Anomalies” (“Una selección de la selección de anomalías”) publicado en la revista Chance.

“Es muy tentador llegar a la conclusión de que la mortalidad ha aumentado entre la gente más joven, pero sería una conclusión errónea”. Las muertes más tempranas dependen del hecho de que, a medida que nos aproximábamos a las fechas en que Bradlow elaboraba el estudio, la muestra de gente que había sido enterrada en ese cementerio tenía más probabilidad de incluir una cifra desproporcionada de personas que habían muerto jóvenes simplemente por haber nacido en fechas más cercanas.

Para Wolfers, una de las claves para minimizar un mal uso de las estadísticas conlleva una plausibilidad intuitiva, esto es, comprender el enfoque adoptado por el investigador y la interacción entre las fuerzas que intervienen. “Es importante saber cuáles son los factores existentes detrás de cada variable”, dice. “Una vez determinadas los observadores comprenderán todo mejor y establecerán las relaciones de causalidad”.

Jensen pone otro ejemplo: “Participo en un estudio que modeliza las habilidades en el campo de los jugadores exteriores -o outfielders– de la liga de béisbol profesional. Una hipótesis que se maneja en el estudio es que los outfielders tienen más dificultades para atrapar la pelota si ésta va a caer detrás de ellos –lo cual les obliga a correr de espaldas- que en caso de que la pelota botase delante de ellos, en cuyo caso corren hacia delante”.

Pero los resultados indican justamente lo contrario. Para cualquier distancia, los outfielders suelen coger más pelotas corriendo de espaldas. “En un principio esto parece ir en contra de toda intuición”, explica Jensen. “Pero empieza a tener sentido si tienes en cuenta el tiempo que la pelota permanece en el aire. Las pelotas que llegan más lejos permanecen en el aire durante más tiempo, de tal forma que los outfielders disponen de más tiempo para correr y atraparlas, incluso si la pelota va a caer detrás de ellos. Este fue un caso interesante en el que los datos sirvieron para arrojar luz sobre un fallo cometido en nuestros primeros razonamientos”.

Cómo citar a Universia Knowledge@Wharton

Close


Para uso personal:

Por favor, utilice las siguientes citas para las referencias de uso personal:

MLA

"Uso y abuso de los datos estadísticos." Universia Knowledge@Wharton. The Wharton School, University of Pennsylvania, [16 abril, 2008]. Web. [22 September, 2017] <http://www.knowledgeatwharton.com.es/article/uso-y-abuso-de-los-datos-estadisticos/>

APA

Uso y abuso de los datos estadísticos. Universia Knowledge@Wharton (2008, abril 16). Retrieved from http://www.knowledgeatwharton.com.es/article/uso-y-abuso-de-los-datos-estadisticos/

Chicago

"Uso y abuso de los datos estadísticos" Universia Knowledge@Wharton, [abril 16, 2008].
Accessed [September 22, 2017]. [http://www.knowledgeatwharton.com.es/article/uso-y-abuso-de-los-datos-estadisticos/]


Para fines educativos/empresariales, utilice:

Por favor, póngase en contacto con nosotros para utilizar con otros propósitos artículos, podcast o videos a través de nuestro formulario de contacto para licencia de uso de contenido .

 

Join The Discussion

No Comments So Far