Generalização em testes A/B

Abaixo está uma lista de decisões que podem ser tomadas ao projetar um teste A/B. Identifique a decisão que não causaria problema para generalizar os resultados do teste para a população geral de usuários.

Este exercício faz parte do curso

Customer Analytics and A/B Testing in Python

Ver curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Customer Analytics and A/B Testing in Python

IntermediárioNível de habilidade

4.8+

72 reviews

Iniciar curso de graça

Este capítulo traz uma breve introdução ao conteúdo que será abordado ao longo do curso e, em seguida, apresenta os Indicadores-Chave de Desempenho, ou KPIs. Você vai aprender a identificar e definir KPIs relevantes combinando pensamento crítico com ferramentas do Python. Todas as técnicas são apresentadas de forma altamente prática e generalizável. No fim, esses tópicos servem como base para a discussão de A/B testing que vem a seguir.

Exercise 1: Introdução e visão geral do curso Exercise 2: Entendendo os componentes essenciais de um teste A/B Exercise 3: Definindo KPIs relevantes Exercise 4: Identificando e entendendo KPIs Exercise 5: Carregando e examinando nossos dados Exercise 6: Mesclando com diferentes conjuntos de campos Exercise 7: Análise exploratória de KPIs Exercise 8: Praticando agregações Exercise 9: Agrupando e agregando Exercise 10: Calculando KPIs — um exemplo prático Exercise 11: Calculando KPIs Exercise 12: Preço médio de compra por coorte

Este capítulo mostra como visualizar, manipular e explorar KPIs conforme eles mudam ao longo do tempo. Por meio de vários exemplos, você vai aprender a trabalhar com objetos datetime para calcular métricas por unidade de tempo. Depois, passamos para técnicas de como criar gráficos de diferentes segmentos de dados e aplicar várias funções de suavização para revelar tendências ocultas. Por fim, percorremos um exemplo completo de como identificar problemas por meio de uma análise exploratória de dados de clientes. Ao longo do capítulo, diversas funções são apresentadas e explicadas de forma altamente generalizável.

Exercise 1: Trabalhando com dados de séries temporais no pandas Exercise 2: Analisando datas Exercise 3: Criando gráficos de séries temporais com Matplotlib Exercise 4: Plotando dados de séries temporais Exercise 5: Fazendo pivot nos dados Exercise 6: Examinando as diferentes coortes Exercise 7: Entendendo e visualizando tendências Exercise 8: Sazonalidade e médias móveis Exercise 9: Média móvel exponencial e super/subsuavização Exercise 10: Eventos e lançamentos Exercise 11: Visualizando o gasto dos usuários Exercise 12: Analisando a receita mais de perto

Neste capítulo, você vai mergulhar de vez em A/B testing. Vai aprender a base matemática e o conhecimento necessários para planejar e desenhar um teste A/B com sucesso — desde definir a unidade experimental até descobrir o tamanho de amostra necessário. Junto a isso, há uma introdução às funções e ao código necessários para calcular as diversas quantidades associadas a um teste estatístico desse tipo.

Exercise 1: Introdução aos testes A/B Exercise 2: Boas aplicações de testes A/B Exercise 3: Propriedades gerais de um teste A/B Exercise 4: Generalização em testes A/B

Exercício atual

Exercise 5: Design inicial do teste A/B Exercise 6: Unidades experimentais: receita por dia de usuário Exercise 7: Preparando-se para executar um teste A/B Exercise 8: Sensibilidades da taxa de conversão Exercise 9: Sensibilidade Exercise 10: Erro padrão Exercise 11: Calculando o tamanho da amostra Exercise 12: Explorando o cálculo de poder Exercise 13: Calculando o tamanho da amostra

Depois de executar um teste A/B, você precisa analisar os dados e comunicar os resultados com clareza. Este capítulo começa entrelaçando a teoria de significância estatística e intervalos de confiança com as ferramentas para você mesmo calcular esses valores a partir dos dados. Em seguida, discutimos como visualizar e comunicar esses resultados de forma eficaz. Este capítulo é a culminação de todo o conhecimento construído ao longo do curso.

Exercise 1: Analisando os resultados do teste A/B Exercise 2: Confirmando nossos resultados do teste Exercise 3: Pensando criticamente sobre p-valores Exercise 4: Entendendo significância estatística Exercise 5: Intuição por trás da significância estatística Exercise 6: Verificando a significância estatística Exercise 7: Entendendo intervalos de confiança Exercise 8: Calculando intervalos de confiança Exercise 9: Interpretando seus resultados de teste Exercise 10: Plotando a distribuição Exercise 11: Plotando a distribuição das diferenças Exercise 12: Finale