7. Inferencia estadística y tipos de modelamiento#
7.1. ¿Qué es inferencia estadística?#
Inferencia, en general, es extraer conclusiones a partir de los hechos a través de una premisa científica.
Y en el caso de particular de inferencia estadística tenemos
Hechos: Una muestra de los datos (o datos observados)
Premisa: Modelo probabilístico (e.g., distribución Gaussiana)
Conclusión: Propiedades de una población (i.e., una distribución de probabilidad subyacente de los datos)
Es decir,
Inferencia estadística es extraer conclusiones de las propiedades de una población a través de una muestra de esta población.
¿Cuál es la diferencia entre estadística inferencial y estadística descriptiva?
Los siguientes son ejemplos de tareas típicas de inferencia estadística:
Estimación de parámetros: ¿Cuál es el mejor estimado del parámetro de un modelo dado en base a los datos observados?
Estimación de confianza: ¿Qué tan confiable es nuestro estimador puntual de dicho parámetro?
Test de hiṕotesis: ¿Son los datos consistentes con una hipótesis en particular?
Veamos la primera tarea en este capítulo, y veamos las otras en el capítulo Pensamiento Estadístico.
7.2. ¿Qué es modelamiento?#
Modelamiento implica normalmente la estimación de parámetros (o la especificación de (hiper)parámetros). Modelamiento es un paso clave en el proceso de la inferencia estadística.
En esta secuencia de aprendizaje veremos diferentes tipos de modelamiento:
En el caso de modelamiento paramétrico nos enfocaremos en métodos frecuentistas: Estimación de máxima verosimilitud (MLE)
Luego revisaremos técnicas de modelamiento no paramétrico: Histogramas y Estimación de densidad por kernels (KDE)
Después de esto volveremos al caso paramétrico y extenderemos MLE utilizando priors: Estimación de Máximo a Posteriori (MAP)
Finalmente presentaremos algunas ideas de modelamiento bayesiano, las cuales serán desarrolladas en profundidad al final de este curso
7.3. Diferencias entre métodos paramétricos y no-paramétricos#
En estadística se hace la distinción entre métodos parámetricos y no paramétricos.
Métodos parámetricos:
Hacen supuestos sobre la distribución de probabilidad subyacente de los datos, por ejemplo
“La población tiene una distribución normal”
Métodos no-paramétricos:
No suponen una forma teórica específica para las distribuciones subyancentes, sin embargo si suelen hacer otros supuestos “menos fuertes”, por ejemplo
“La distribución subyacente es continua”
“Las observaciones son independientes e idénticamente distribuidos”
En el caso específico del modelamiento también se puede hacer la distinción anterior:
Modelos paramétricos:
Características claves:
Hacen supuestos sobre la distribución de probabilidad de los datos (En el caso bayesiano también se supone una distribución para los parámetros del modelo).
El modelo tiene una estructura fija, es decir un número fijo de parámetros
Pros: En general, son más simples de ajustar (requieren menos datos, son más rapidos para entrenar), y más simples de interpretar
Cons: En general, son menos flexibles y no tan adecuados para problemas complejos
Ejemplo: Regresión lineal, modelo de mezcla de Gaussianas
Modelos no-paramétricos:
Características claves:
No hacen supuestos basados en distribuciones específicas (pero si en propiedades de dicha distribución)
El número de parámetros puede depender de la cantidad de datos de entrenamiento (o ser infinito)
Pros: En general, son más flexibles y más adecuados para problemas complejos
Cons: En general, son más difíciles de ajustar (requieren más datos, más lentos para entrenar), más difíciles de interpretar, y tienen más riesgo de sobreajuste
Ejemplo: Histograma, árbol de decisión, k vecinos más próximos
Advertencia
No-paramétrico no significa no hay parámetros; en cambio, significa que no hay un número fijo de parámetros incluso puede ser infinitos!
A veces, a los parámetros de los modelos no-paramétricos se les llama hiperparámetros.
7.4. La diferencia entre inferencia frecuentista y bayesiana#
En general, se reconocen dos paradigmas o perspectivas en inferencia estadística: Frecuentista (F) y Bayesiana (B). Existen diferencias conceptuales importantes entre ellas, por ejemplo
Definición de probabilidad:
F: Probabilidad es la frecuencia relativa de un evento. Es una propiedad objetiva
B: Probabilidad es el grado de credibilidad de un evento. Es una propiedad subjetiva
Parámetros:
F: Los parámetros son variables determínistas, es decir que su valor es puntual
B: Los parámetros son variables aleatorias, es decir que tienen distribuciones asociadas que cuantifican su incertidumbre. Podemos calcular valores esperados para nuestros parámetros
Los conceptos de métodos paramétricos y no-paramétricos son diferentes que los conceptos de inferencia frecuentista y bayesiana. Podemos tener 4 tipos de métodos que provienen de las combinación de ellos.