Problema de comparaciones múltiples
El problema de las comparaciones múltiples surge cuando una persona investigadora contrasta repetidamente distintas variables/muestras entre sí buscando significación. Por puro azar, cabe esperar encontrar algún resultado ocasionalmente significativo.
En este ejercicio trabajarás con datos de salarios de empleados de la ciudad de Austin, TX. Compararás sus salarios con datos generados aleatoriamente. Verás con qué frecuencia estos datos aleatorios resultan "significativos" al explicar los salarios de los empleados. Es evidente que cualquier "significancia" así sería espuria, ya que los números aleatorios no ayudan mucho a explicar nada.
Ya se ha cargado para ti un DataFrame con los salarios de agentes de policía (police_salaries_df), así como los paquetes pandas como pd, NumPy como np, Matplotlib como plt y stats de SciPy.
Este ejercicio forma parte del curso
Fundamentos de la inferencia en Python
Instrucciones del ejercicio
- Guarda el número de personas del conjunto de datos en
n_rows(cada fila es una persona) e inicializa el número de resultados significativos,n_significant, a cero. - Escribe un bucle
forque se ejecute 1000 veces y generen_rowsnúmeros aleatorios. - Calcula la R de Pearson y el valor p asociado entre estos números generados aleatoriamente y los salarios de los agentes de policía.
- Si el valor p es significativo al 5 %, suma uno a
n_significantusando el operador+=.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Compute number of rows and initialize n_significant
n_rows = ____
n_significant = ____
# For loop which generates n_rows random numbers 1000 times
for i in ____:
random_nums = np.random.uniform(size=____)
# Compute correlation between random_nums and police salaries
r, p_value = stats.____(____, random_nums)
# If the p-value is significant at 5%, increment n_significant
if ____ < ____:
____ += 1
print(n_significant)