Idea Transcript
Schaeffer / Docencia / Probabilidad y estadística / Curso en línea
Probabilidad y estadística
Unidades
Clases
Estadística descriptiva: visualización e interpretación Probabilidad: eventos, conteo, condicionalidad Distribuciones: discretas y continuas & sus relaciones Inferencia: muestreo, confianza, pronósticos
Mediana, promedio y cuantiles Diagramas caja-bigote Frecuencias Histogramas Centralidad y dispersión Curtosis y asimetría Eventos y conjuntos Combinaciones Permutaciones y diagramas de árboles Probabilidad condicional Fórmula de Bayes Valor esperado y varianza Distribución uniforme Distribución geométrica Distribución binomial Distribución binomial negativa Distribución exponencial Distribución de Poisson Distribución normal Distribuciones de probabilidad Funciones de variables aleatorias Generación pseudoaleatoria Ley de números grandes Teorema de límite central Correlación Análisis de muestras Transformadas Experimentación Intervalos de confianza Pruebas de estadísticas Pruebas de medias Pruebas con grupos y pares Poder estadístico Regresión lineal Análisis de varianza Chi quadrada Aplicaciones industriales Introducción a pronósticos Introducción a procesos estocásticos Introducción a simulación
Repasos A4 Medio curso A8 Ordinario
Ejercicios Los ejercicios marcados con "A" son actividades fundamentales; también los exámenes de medio curso (A4) y ordinario (A8) son actividaded fundamentales. Algunas se dividen en dos partes, indicadas por las letras a & b. Es necesario participar en por lo menos 70 % de las actividades fundamentales para poder presentar un examen extraordinario. Los demás ejercicios son para profundizar los temas y otorgan puntos extra, encima de los puntos de las actividades fundamentales que en sí ya suman a cien. 1. A1a Diagramas caja-bigote 2. A1b Histogramas 3. Curtosis y sesgo 4. A2a Eventos 5. A2b Diagramas de árbol 6. A3 Fórmula de Bayes 7. A5 & A6 Distribuciones discretas y continuas 8. Correlación 9. A7 Intervalos de confianza 10. Prueba t 11. Regresión 12. Prueba de chi-cuadrada
Nos basamos en aspectos de probabilidad en el libro de texto Grinstead and Snell's Introduction to Probability — referido como el libro (P). En aspectos estadísticos, nuestro libro de texto es el Introduction to Statistics referido como el libro (S) — cuando se mencionan números de páginas, son de su versión en PDF, de la cual algunas de las figuras han sido tomadas. Ambos tienen licencia que me permite incluir elementos de los libros en las diapositivas y se pueden descargar en PDF para consulta sin conexión a internet. (No todos los libros son así.) Varios temas se cubren en ambos libros y se recomienda ir leyendo los dos a lo largo de la unidad para profundizar el aprendizaje. Se indica en esta página cuando se está revisando contenido que se encuentra en un libro. Si prestan atención al material de estudio en esta página que está completamente en español, aún con un nivel lamentable de inglés podrán hacer uso de los libros sin mayor problema, ya que la terminología esencial es muy parecida en los dos idiomas. Lo que se busca en este curso es que los estudiantes lleguen a tener un entendimiento de qué se trata todo esto (conceptos), sepan hacerlo (herramientas) y que sepan para qué sirve (aplicaciones). No se trata de memorizar sino de entender. Los cálculos mecánicos se permiten y hasta se recomiendan realizar por computadora en todo momento. En los periodos de exámenes; se organizan exámenes según el calendario de la FIME para los que estén inscritos en un grupo con la profesora — oyentes están bienvenidos a los exámenes, aunque además las hojas de examen se publican en la página web del grupo. Este sitio web ha sido preparado para ser utilizado con el navegador Google Chrome. Contacten a la profesora si tienen problemas en su uso; en el caso de reportar error, favor de incluir captura de pantalla o la fuente HTML del error.
Introducción a R R es una herramienta muy útil y versátil para todo lo relacionado a probabilidad y estadística. Funciona en Windows, Linux & Mac OS. Está disponible en línea de forma gratuita en www.r-project.org y también se puede utilizar sin instalación a través del sitio web www.r-fiddle.org. El material de estudio en esta página incluye las instrucciones requeridas para diferentes operaciones que se llega a ocupar. Conviene hacer esta ventana de navegador delgada para que ocupe la mitad de la pantalla por máximo y colocar a su lado otra ventana que tenga R, o en un navegador o localmente en su computadora. Cada código de R que se muestra en esta página conviene copiarlo a R y probarlo uno mismo, modificando y explorando hasta que quede claro qué y por qué está sucediendo en la herramienta. Nota que al salir de R (con la instrucción quit() , la herramienta pregunta si uno desea guardar la sesión (dice Save workspace image? [y/n/c]: . Si se guarda (presionando la tecla "y" por "yes"), las mismas variables ya definidas seguirán disponibles la próxima vez que R se inicia desde esa misma carpeta (mientras "c" significa "cancelar y no salir" y "n" significa "salir sin guardar"). Lo de guardar datos de sesiones es práctico durante el curso ya que algunos datos se usan en múltiples apartados y así no se tendrán que redefinir entre sesiones de estudio. No es obligatorio el uso de R; pueden hacer todo a mano, con calculadora simple o en otro software si prefieren. Es altamente recomendable aprender a manejar bien una herramienta estadística, ambos para cuestiones de estudios y para el futuro laboral de cada quien.
Estadística descriptiva La primera unidad temática se trata del cálculo, la visualización y la interpretación de estadísticas básicas para poder entender la naturaleza de datos que se quiere analizar.
Mediana, promedio y cuantiles Comenzamos la sección 1.1 del libro (P). Es muy importante leer uno o más libros sobre el tema, hacer ejercicios de esos libros y buscar recursos adicionales en línea siempre cuando uno quiere aprender sobre un tema — guiarse por una sola página web por lo general es pésima idea. Un experimento no determinista es uno que tiene más de un resultado posible y no se sabe de antemano cuál va a salir. Este resultado se asigna/almacena/representa en una variable aleatoria. Las variables se representan de forma numérica. Las variables aleatorias se representan con letras mayúsculas, típicamente X, Y & Z, con subíndices cuando haga falta. Podemos realizar aritmética con ellas. Ejemplos clásicos incluyen lanzar una moneda o un dado, la cantidad de productos defectuosos en una caja, el tiempo de operación de un componente antes de que llegue a fallar. La asignación de valores a variables en R y la consulta de ellas se realiza de la siguiente forma: > X X [1] 3 > X = 4 > X [1] 4 > 3 -> X > X [1] 3
El texto de arriba es la salida de R, por lo cual incluye los símbolos ">" que marcan los inicios de instrucciones en R. No se teclean esos símbolos. El usuario escribe lo de X names(delitos) [1] "Municipio" "X1998" "X1999" "X2000" "X2001" "X2002" [7] "X2003" "X2004" "X2005" "X2006" "X2007" "X2008" [13] "X2009" "X2010" > bibliotecas$Municipio == alumnos$Municipio [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [16] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [31] TRUE TRUE TRUE TRUE TRUE > bibliotecas$Municipio == camiones$Municipio [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [16] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [31] TRUE TRUE TRUE TRUE TRUE > bibliotecas$Municipio == delitos$Municipio [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [16] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [31] TRUE TRUE TRUE TRUE TRUE
Ahora, si trabajo con los datos tal cual, todas las correlaciones van a ser positivas y grandes, ya que en municipios grandes hay más de todo. Si quiero analizar las cosas bien, debo normalizar con la población de estos municipios reportado para ese mismo año. Regreso al sitio del INEGI para recuperar esa información relevante. (Mucha gente ya egresada, practicando su profesión, olvida considerar esto o decide ignorarlo por hueva o la dificultad de obtener el valor con el cual normalizar.)
> poblacion poblacion Municipio X2000 X2005 X2010 1 Acacoyagua 14189 14653 16814 2 Bejucal de Ocampo 6673 6612 7623 3 Bella Vista 18205 17553 19281 4 Tumbalá 26866 28884 31723 5 Tuxtla Gutiérrez 434143 503320 553374 6 Tuxtla Chico 33467 34101 37737 7 Tuzantán 23180 24417 28137 8 Tzimol 11925 12757 14009 9 Unión Juárez 13934 13459 14089 10 Venustiano Carranza 52833 56833 61341 11 Villa Corzo 68685 67814 74477 12 Villaflores 85957 93023 98618 13 Yajalón 26044 31457 34028 14 San Lucas 5673 5918 6734 15 Zinacantán 29754 31061 36489 16 San Juan Cancuc 20688 24906 29016 17 Aldama 3635 4906 5072 18 Benemérito de las Américas 14436 15213 17282 19 Maravilla Tenejapa 10526 10906 11451 20 Marqués de Comillas 8580 8538 9856 21 Montecristo de Guerrero 5086 6511 6900 22 San Andrés Duraznal 3423 3145 4545 23 Santiago el Pinar 2174 2854 3245
Ahora es importante darse cuenta de que no tienen los datos de la población no tienen los mismos años que los demás datos y además no se incluye información para todos los municipios (son solamente 23, mientras los otros tenián más de treinta) . Entonces habrá que eliminar de las tablas de los indicadores aquellos municipios que no cuentan con el dato de población. Esta limpieza se puede hacer a mano o con la ayuda de R. Solamente hay que asegurarse que no haya columnas con los mismos nombres en las tablas que se quiere combinar, aparte de la columna que se usa para juntar los datos. A las columnas que fueron años en el CSV original, R les ha agregado una "X" en frente ya que un número no puede ser el nombre de una columna. Entonces en la población aparecen columnas tipo "X2000" y en los datos de los indicadores también hay un "X2000". Cambio en las de poblaciones los "X" a unos "P" para resolver esto. Muestro en lo siguiente pedazos de las tablas para que se vean las columnas y sus nombres.
> alumnos Municipio X2002 X2003 X2004 X2005 X2006 X2007 X2008 X2009 1 Acacoyagua 400 393 418 444 389 545 453 446 2 Acala 514 563 614 558 560 400 635 590 3 Bejucal de Ocampo 217 205 207 195 189 201 229 222 4 Bella Vista 488 526 495 488 454 489 530 558 5 Berriozábal 654 652 665 683 747 754 875 793 6 Bochil 719 724 729 725 710 735 842 801 ... > names(poblacion) poblacion Municipio P2000 P2005 P2010 1 Acacoyagua 14189 14653 16814 2 Bejucal de Ocampo 6673 6612 7623 3 Bella Vista 18205 17553 19281 ... > ap ap Municipio P2000 P2005 P2010 X2002 X2003 X2004 X2005 1 Acacoyagua 14189 14653 16814 400 393 418 444 2 Aldama 3635 4906 5072 126 126 143 137 3 Bejucal de Ocampo 6673 6612 7623 217 205 207 195 4 Bella Vista 18205 17553 19281 488 526 495 488 5 Benemérito de las Américas 14436 15213 17282 325 356 409 450 ... > bp cp dp a b c d length(a) [1] 23 > length(b) [1] 23 > length(c) [1] 23 > length(d) [1] 23 > a [1] 0.02628762 0.03272871 0.02872885 0.02593226 0.02985766 0.03301022 [7] 0.03226461 0.02623188 0.02530253 0.03487731 0.02346302 0.03204931 [13] 0.02487154 0.02069587 0.01690538 0.01961830 0.01920194 0.02221591 [19] 0.01980731 0.02142943 0.02059462 0.02271659 0.02422648 > b [1] 1.189485e-04 1.971609e-04 1.311819e-04 1.037291e-04 3.471820e-04 [6] 8.732862e-05 1.014610e-04 2.898551e-04 2.200220e-04 6.892749e-05 [11] 1.485001e-04 3.081664e-04 6.304574e-05 1.589952e-04 3.614192e-05 [16] 1.421616e-04 7.138268e-05 3.548868e-04 1.304185e-04 1.611236e-04 [21] 1.216816e-04 2.938756e-05 5.481104e-05 > c [1] 0.000000000 0.000000000 0.000000000 0.000000000 0.000000000 0.000000000 [7] 0.000000000 0.000000000 0.000000000 0.000000000 0.000000000 0.000000000 [13] 0.000000000 0.000000000 0.008854771 0.000000000 0.000000000 0.000000000 [19] 0.000000000 0.000000000 0.000000000 0.000000000 0.000000000 > d [1] 1.070536e-03 0.000000e+00 2.623639e-04 5.186453e-05 6.365004e-04 [6] 0.000000e+00 1.014610e-04 0.000000e+00 4.400440e-04 2.067825e-04 [11] 1.485001e-04 1.232666e-03 1.576143e-04 3.179903e-04 4.908073e-03 [16] 2.487827e-04 1.427654e-04 2.129321e-04 3.097439e-04 2.819662e-04 [21] 5.982681e-04 8.228518e-04 1.644331e-04
Sigue pintando medio inútil el indicador de camiones, ya que casi no hay camiones nuevas compradas en esos municipios en ese año. Ahora, procedo a sacar las correlaciones y las gráficas de dispersión solicitadas en la tarea.
> ab ac ad bc bd cd titulo png(filename = "t10ab.png") > plot(a ~ b, main = titulo, xlab = "Bibliotecas", ylab = "Alumnos", type = "p", pch = 16) > titulo png(filename = "t10ac.png") > plot(a ~ c, main = titulo, xlab = "Camiones", ylab = "Alumnos", type = "p", pch = 16) > titulo png(filename = "t10ad.png") > plot(a ~ d, main = titulo, xlab = "Delitos", ylab = "Alumnos", type = "p", pch = 16) > titulo png(filename = "t10bc.png") > plot(b ~ c, main = titulo, ylab = "Bibliotecas", xlab = "Camiones", type = "p", pch = 16) > titulo png(filename = "t10bd.png") > plot(b ~ d, main = titulo, ylab = "Bibliotecas", xlab = "Delitos", type = "p", pch = 16) > titulo png(filename = "t10cd.png") > plot(c ~ d, main = titulo, xlab = "Delitos", ylab = "Camiones", type = "p", pch = 16) > graphics.off()
Como ya sospeché desde antes, los datos de camiones no son nada informativos, siendo casi todos ceros. Pinta que en los datos de delitos hay un dato anómalo (el más grande) que mete mucho ruido en el análisis. Voy a identificar cuáles municipios son los anormales (con un histograma y viendo los valores del vector; parece ser uno sólo) y eliminarlos, rehaciendo las gráficas que involucran a ese indicador, pero sin los datos atípico. Ya no incluyo al indicador de camiones que es claramente no informativo. (Este paso tampoco se requiere en la tarea.) Resulta que es la ciudad capital del estado y por eso difiere de los demás que son pueblas más chicos. Se nota que las correlaciones ahora salen bastante diferentes y las gráficas más informativas; lo único que tuve que eliminar eran los datos correspondientes a la ciudad capital, que claramente difiere de los demás municipios con respecto a los delitos.
> hist(d) > plot(d) > quitar quitar [1] 15 > fuera fuera [1] Tuxtla Gutiérrez 23 Levels: Acacoyagua Aldama Bejucal de Ocampo ... Zinacantán > n seleccion seleccion [1] 1 2 3 4 5 6 7 8 9 10 11 12 13 14 16 17 18 19 20 21 22 23 > ds length(ds) [1] 22 > as bs ads ads [1] 0.001147646 > ad [1] -0.3370041 > bds bds [1] 0.2033281 > bd [1] -0.1808239 > hist(ds) > png(filename = "t10ads.png") > titulo plot(as ~ ds, main = titulo, xlab = "Delitos", ylab = "Alumnos", type = "p", pch = 16) > png(filename = "t10bds.png") > titulo plot(bs ~ ds, main = titulo, ylab = "Bibliotecas", xlab = "Delitos", type = "p", pch = 16) > graphics.off()
Análisis de muestras En general, teniendo la desviación estándar de una medición, su error estándar es la normalización por el tamaño de muestra (más muestras, menor error): 2s = 2 / n & s = / √ n. Por ejemplo, es común querer determinar sí o no dos grupos — el grupo de control (Gc ) y el grupo experimental (Ge) — obtienen la misma media en alguna medición. Se ocupa tomar muestras de los dos grupos, de Gc y de Ge, calcular ambas medias y luego calcular la diferencia de las medias. Al contar con la diferencia, queda pendiente determinar si la diferencia es estadísticamente significante — este último paso lo realizamos más adelante con pruebas estadísticas. Por ahora calculamos la diferencia y una medida del error que se espera tener en el estimado de la diferencia:
Para mayor detalle y un ejemplo, se recomienda consultar este tema en el libro (S). Además de querer estimar la diferencia de medias, es común querer estimar la correlación, donde enfrentamos la siguiente pregunta: ¿con qué probabilidad se obtiene un valor específico de la correlación si el valor correcto es un cierto constante? Supongamos que se hicieron doce mediciones y que la correlación correcta es de 0.6. La distribución de posibles valores observados es la distribución de muestreo para correlación,
Página 319 del libro (S).
Si el valor correcto de la correlación fuese 0.9, la distribución cambiaría a la siguiente:
Ahora, ¿con qué probabilidad, dado n, la correlación de muestra es mayor a una constante r? La respuesta se obtiene con la Fórmula de Fisher:
Aquí aparece un ln que es un logaritmo base e al cual se le llama el logaritmo natural. > x log(x) [1] 1
La z' es normalmente distribuido:
Podemos calcular la probabilidad de que se observe un valor mayor o igual al valor observado de la correlación, dados el tamaño de muestra y la correlación correcta, P(rm ≥ 0.75 | rc = 0.6 Ù n = 12), donde Ù significa "y" (es decir, ambas condiciones deben cumplirse simultáneamente). rC 10), lo que es fácil en R agregando una condición en un código que prueba los posibles valores (break interrumpe la repetición del ciclo for): for (n in seq(5, 50, 1)) { if (n * p > 10 && n * (1 - p) > 10) { print(n) break } }
Este código imprime 26. Es decir, hay que aumentar el tamaño de muestra a 26.
Transformadas En vez de trabajar con los datos en sí, a veces conviene trabajar con sus logaritmos o alguna otra transformada de ellos (ver cap. 16 del libro (S). Esto es particularmente importante cuando siguen una distribución de cola pesada. Comparamos las figuras de las páginas 580 y 581 del libro (S):
El efecto observado es el mismo de la escala logarítmica de ejes que se discutió al tratar de histogramas al inicio de esta unidad de aprendizaje. Se puede aplicar en un eje o en ambos y es muy importante fijarse en eso al interpretar una gráfica. Un ejemplo de esto esel crecimiento poblacional:
Figura de la página 584 del libro (S)
La meta de las transformadas es acomodar los datos a una relación lineal, como por ejemplo Y = b × X k + a o Y k = b × X + a. Una opción para empezar a probar diferentes formas de transformar las X o las Y o los dos es la escalera de Tukey:
Cuadro 1 de la página 585 del libro (S)
Aquí los valores tranformadas se denotan por x y no deben ser negativos; se les escala si hace falta (sumando o restando un valor constante, por ejemplo). La transformada se aplica de la siguiente manera:
La versión modificada de la escalera es la siguiente:
Cuadro 2 de la página 585 del libro (S)
La selección de la "mejor transformada" es la que da el resultado "más lineal". Eso se evalúa en términos de la correlación que otorga cada opción, es decir, es la que maximiza la correlación.
Figura 2 de la página 586 del libro (S).
Se puede graficar las correlaciones obtenidas con los diferentes valores de para observar en qué punto se alcanza el máximo (éste es un problema de optimización donde la variable libre por ajustar es ):
Figura 3 de la página 587 del libro (S).
Una alternativa a las transformadas de escalera de Tukey es la transformada Box-Scott, donde X se transforma a (X - 1)/ con diferentes valores para el parámetro .
Figura 1 de la página 592 del libro (S).
Experimentación El método científico refiere a la recolección sistemática de datos empíricos para la examinación de una hipótesis. La meta es la comprobación o el rechazo de este hipótesis. La hipótesis se formula a partir de una teoría. La teoría se rechaza si la hipótesis no se logra validar, y por lo general esto implica que habrá que modificar la teoría. Confiabilidad refiere a si se logra obtener — por lo menos aproximadamente — el mismo resultado al repetir una medición. Depende de varias fuentes de variación: 2
v = varianza del valor verdadero
2
e = varianza del error de medición
2
p = varianza de la prueba
El error estándar de medición se expresa en términos de la desviación estándar de los resultados:
Para mejorar la confiabilidad, uno puede tomas las siguientes acciones: 1. Realizar más mediciones. 2. Llevar a cabo mediciones de mayor calidad. 3. Mejorar aquellos aspectos que no correlacionan con los demás. Al capturar datos, hay que cuidar las unidades y precisión de medición, igual como la representación numérica de datos cualitativos (lo que no siempre es posible de una forma informativa). Sesgo de muestreo refiere a un efecto presente en los datos que favorece cierto tipo de valores. Hay varios tipos de sesgo que se pueden presentar en una medición: 1. Sesgo de auto-selección (p.ej., voluntarios). 2. Cobertura pobre (pocas muestras). 3. Sesgo de supervivencia (examinando los éxitos solamente). Hay varios tipos de diseños experimentales que se pueden construir: Entre sujetos: dos grupos, en efecto controlado que se diferencia para los grupos. Multifactorial: más que una cosa se varía.
Mismos sujetos: los mismos sujetos primero sin y luego con algún efecto controlado. Contra-balanceo: diferentes ordenes de con/sin (o el tipo de) efecto.
Causalidad refiere a sí o no algún fenómeno causa algún otro fenómeno o si simplemente los dos coinciden por ser causados por algún tercer fenómeno a parte. Es importante notar que mera correlación no es evidencia de causalidad (es más bien co-ocurrencia, no que una cosa necesariamente haya causado la otra). Para profundizar en estos temas, se recomienda leer el capítulo 6 del libro (S).
Intervalos de confianza La cantidad de grados de libertad refiere al número de valores obtenidos para una medición menos la cantidad de parámetros que se tuvo que estimar para llegar a esos valores. En inglés se dice "degrees of freedom" y es abreviado como DoF o DF, mientras en español se puede abreviar como GdL o GL (ver cap. 10 del libro (S)). Una medición cuenta con un sesgo si la media a largo plazo del valor medido no coincide con su valor verdadero. En lugar de proporcionar un sólo valor (que se llama una estimación de punto) posiblemente erróneo, es mejor proporcionar un rango de valores llamado intervalo de confianza que con alta probabilidad contenga el valor correcto. 0.95 & 0.99 son comunes como probabilidades. La distribución t (de Student) es similar a la distribución normal cuando hay muchos grados de libertad. Indica dentro de cuál múltiple del error estándar se encuentra el valor verdadero del valor de la muestra (en particular para medias).
Figura 1 de la página 342 del libro (S).
En una prueba de "dos colas", queremos saber si el valor es dentro de un rango simétrico alrededor del pico de la distribución, por lo cual la probabilidad de estar fuera del rango deseado consiste en los dos extremos (llamados colas) a la izquierda y a la derecha de este rango, las que se deben sumar. En una prueba de "una cola" solamente queremos saber si un valor es menor a un cierto nivel, por lo cual la probabilidad de que no lo es se obtiene como una sola cola (por lo general el extremo derecho) de la distribución. (gráfica)
(gráfica)
Regresamos a la prueba de igualdad de medias, con GdL = n - 1; se tendría el cuadro siguiente para una prueba de "dos lados":
Cuadro 1 de la página 343 del libro (S).
Para ver un ejemplo, supongamos que contemos con algunos datos siguen a una distribución normal. Queremos un intervalo de confianza de 95 % a su media (ejemplo tomado del libro (S)). , pch=16, xlim=rango, ylab=y, xlab=x, main=titulo) segments(limitesInferiores, rep, limitesSuperiores, rep, lwd=2) abline(v = media, col = "red") } graphics.off()
Se observa que los intervalos con probabilidades más bajas con más cortos (ya que hay menor necesidad de que el valor verdadero esté incluido) y los de probabilidades alta son los más anchos.
Pruebas de estadísticas En la estadística se examina con qué probabilidad se obtiene un cierto resultado bajo una cierta hipótesis (ver cap. 11 del libro (S)). No es lo mismo que la probabilidad de que sea válida la hipótesis dado el resultado. Si la probabilidad del resultado dada la hipótesis es muy baja, rechazamos la hipótesis. La hipótesis nula es comúnmente la suposición de que no haya efecto: para igualdad de medias se puede usar que la diferencia de medias sea cero, por ejemplo. Suele ser lo opuesto a lo que se esperaría comprobar con la investigación. Si se rechaza la hipótesis nula, se indica que es válida una hipótesis alternativa (lo que se busca comprobar):
Por lo general se concluye que la hipótesis nula es inválida si la probabilidad resultante es mejor a 0.05, aunque los más estrictos usan a 0.01 como límite. A este límite se denota con y se llama el nivel de significado estadístico. Se decide o de antemano antes de comenzar o se busca hasta qué valor hay que subirlo ya teniendo el resultado del experimento. Si una estadística es significativamente diferente de cero a nivel 0.05, entonces el intervalo de confianza de 95 % (1 - 0.05 = 0.95) no contiene a cero. En general, cuando un efecto es significante, el intervalo de confianza no contiene el origen (o sea, el intervalo es o todo positivo o todo negativo). El que un efecto en particular sea estadísticamente significante, únicamente implica que no fue nulo, o sea, que se rechazó la hipótesis nula con algún valor decente de . No implica que el efecto fuese importante o notable de alguna forma. Solamente indica que parece estar presente. El no haber rechazado la hipótesis nula tampoco implica que se acepte tal cual (sino se reformula el experimento). Pasos 1. Formular una hipótesis nula. 2. Seleccionar un nivel de significado . 3. Calcular el valor de la probabilidad. 4. A éste se le llama el valor p. 5. Comparar el p obtenido con el valor de . 6. Evaluar hasta qué grado es viable rechazar la hipótesis nula. Libro (S) menciona tres errores de interpretación frecuentes al interpretar valores p. 1. FALSO: El valor p es la probabilidad de que la hipótesis nula sea falsa. El valor p es la probabilidad de que salga un resultado igual o más extremo a lo que salió si se supone que la hipótesis nula es válida. No es ni la probabilidad de que salgan esos datos ni la probabilidad de que no aplique la hipótesis nula.
2. FALSO: Un bajo valor p indica que el efecto sea grande. El valor p siendo bajo implica que sería poco probable obtener dicho resultado en el experimento si no fuese cierta la hipótesis nula. Uno fácilmente logra valores p bajos aún cuando el efecto es muy pequeño, especialmente con n pequeño.
3. FALSO: Que no esté significante implica que sea verdadera la hipótesis nula. Lo único que comprueba un valor p no significante es que los datos no demuestran conclusivamente que sea falsa la hipótesis nula. No proveen evidencia en su favor, simplemente carecen evidencia en su contra.
Pruebas de medias Hay varias pruebas estadísticas para medias que estudian sí un grupo tiene media encima de una constante o si dos grupos tienen (aproximadamente) la misma media. Para examinar estadísticamente si la media de una muestra es igual a un valor especígico, se siguien los siguientes pasos. 1. Formular la hipótesis nula: la media de un grupo de datos es igual a una constante dada. 2. Calcular las estadísticas de la distribución de muestra. Estudiamos un ejemplo con un estimado de varianza disponible Estudio: sí se percibe un efecto al pasar mensajes subliminales a sujetos. Técnica: se les muestra 100 pares de cartas y por cada par se produce un mensaje subliminal sobre cuál elegir. Tamaño de muestra: n = 9. Datos capturados: la frecuencia de selección de la carta "sugerida" en el mensaje subliminal. Meta: determinar si la media es 50 (de 100) como si fuera al azar. Los datos del ejemplo son los siguientes: n = 9 µ = 51 2 = 25 (suponiendo una distribución binomial para la cantidad de respuestas "correctas")
n = 5 / 3.
m = /√
Supongamos que la media tiene distribución normal de muestreo. Se calcula la probabilidad de que en una distribución normal con media 50 (hipótesis nula) y desviación estándar 5/3, se obtenga un valor mayor o igual a µ = 51. Es una prueba de una cola. Sólo nos interesa si sería mayor. > pnorm(51, mean=50, sd=5/3, lower.tail=FALSE) [1] 0.2742531
Figura 1 de la página 403 del libro (S).
El valor obtenido p » 0.27 es muy grande, por lo cual no es improbable obtener un valor de 51 o mayor para la media, por lo cual no se rechaza la hipótesis nula de que el mensaje subliminal no tuviera efecto. Ahora bien se realiza una prueba de dos colas para la igualdad de una media con un valor específico. Se calcula la probabilidad de que en una distribución normal con media 50 (hipótesis nula) y desviación estándar 5/3, se obtenga un valor mayor o igual a µ = 51 o menor o igual a 49. Es una prueba de dos colas ya que se incluye también el caso de ser menor. > der izq der + izq [1] 0.5485062
No se puede rechazar la hipótesis nula, nuevamente.
Figura 1 de la página 404 del libro (S).
Pruebas con grupos y pares Ejemplo con dos grupos Estudio: oposición a experimentos con animales con dos grupos independentes, 17 sujetos por grupo; se conocen las medias y la varianzas. Supongamos que los grupos tienen la misma varianza y que sigan la distribución normal y que las muestras son independientes. La hipótesis nula para nuestra prueba es diferencia de medias es cero. > n mediaMujeres varianzaMujeres mediaHombres varianzaHombres