Criando um fluxo de trabalho multi-etapas: Avaliação do Modelo

Neste exercício, você vai criar a etapa de Avaliação do Modelo do nosso fluxo de trabalho multi-etapas usado para gerenciar parte do ciclo de vida de ML. Você usará o método run() do módulo MLflow Projects e definirá o ponto de entrada como model_evaluation. Em seguida, você pegará o model_engineering_run_id como um parâmetro gerado como saída no exercício anterior e o passará para o comando.

O MLproject criado na etapa anterior está disponível no IPython Shell usando print(MLproject).

O módulo mlflow já está importado.

Este exercício faz parte do curso

Introdução ao MLflow

Instruções do exercício

Atribua o método run() do módulo MLflow Projects a model_evaluation.
Defina o argumento do ponto de entrada como "model_evaluation".
Defina um parâmetro chamado "run_id" com o valor model_engineering_run_id.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Set the MLflow Projects run method
model_evaluation = ____.____.____(
    uri="./",
    # Set the entry point to model_evaluation
    ____="____",
  	# Set the parameter run_id to the run_id output of previous step
    parameters={
        "____": ____,
    },
    env_manager="local"
)

print(model_evaluation.get_status())

Editar e executar o código

Este exercício faz parte do curso

Introdução ao MLflow

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você será apresentado ao MLflow e a como ele busca ajudar em algumas dificuldades do ciclo de vida de Machine Learning. Você conhecerá os quatro conceitos principais que compõem o MLflow, com foco em MLflow Tracking. Você vai aprender a criar experimentos e execuções (runs), além de rastrear métricas, parâmetros e artefatos. Por fim, você fará buscas programáticas no MLflow para encontrar execuções de experimentos que atendam a determinados critérios.

Exercise 1: O que é MLflow?Exercise 2: Componentes do MLflow Exercise 3: Experimentos no MLflow Exercise 4: MLflow Tracking Exercise 5: Iniciando uma execução (run)Exercise 6: Registrando uma execução Exercise 7: Como obter dados da execução ativa?Exercise 8: Consultando execuções Exercise 9: Opções de consulta em Search runs Exercise 10: Buscando execuções

Neste capítulo, você será apresentado ao MLflow Models. O componente MLflow Models desempenha um papel essencial nas etapas de Avaliação de Modelo e Engenharia de Modelo do ciclo de vida de Machine Learning. Você aprenderá como o MLflow Models padroniza o empacotamento de modelos de ML e como salvá-los, registrá-los (log) e carregá-los. Você também vai aprender a criar modelos personalizados do MLflow para dar mais flexibilidade aos seus casos de uso e a avaliar o desempenho do modelo. Você utilizará o poderoso conceito de “Flavors” e, por fim, usará a ferramenta de linha de comando do MLflow para implantar modelos.

Exercise 1: Introdução aos MLflow Models Exercise 2: Empacotar um modelo de Machine Learning Exercise 3: Formato de armazenamento Exercise 4: O que existe em um arquivo MLmodel?Exercise 5: API de modelos Exercise 6: Salvando e carregando um modelo Exercise 7: Registrando e carregando um modelo Exercise 8: Modelos personalizados Exercise 9: Criando uma Classe Python personalizada Exercise 10: Modelo customizado do scikit-learn Exercise 11: Flavor do scikit-learn e avaliação Exercise 12: Serviço de modelos Exercise 13: Servindo um modelo Exercise 14: Pontuar a partir de um modelo em serviço

Este capítulo apresenta o conceito do MLflow chamado Model Registry. Você verá como o Model Registry é usado para gerenciar o ciclo de vida de modelos de ML. Você aprenderá a criar e buscar modelos no Model Registry. Em seguida, aprenderá a registrar modelos no Model Registry e a fazer a transição de modelos entre estágios predefinidos. Por fim, você também aprenderá a implantar modelos a partir do Model Registry.

Exercise 1: Introdução ao MLflow Model Registry Exercise 2: Criar um modelo Exercise 3: Buscando modelos Exercise 4: Registrando modelos Exercise 5: Registrando modelos existentes Exercise 6: Registrando novos modelos Exercise 7: Estágios do modelo Exercise 8: Estágios de modelo no Model Registry Exercise 9: Transição entre estágios do modelo Exercise 10: Implantação de modelos Exercise 11: Servindo modelos a partir do Model Registry Exercise 12: Carregando modelos do Model Registry

Neste capítulo, você vai aprender a otimizar seu código de ciência de dados para reuso e reprodutibilidade usando MLflow Projects. O capítulo começa apresentando o conceito de MLflow Projects e guiando você na criação de um arquivo MLproject. A partir daí, você vai aprender a executar MLflow Projects tanto pela linha de comando quanto pelo módulo MLflow Projects, além de descobrir o poder de usar parâmetros para dar mais flexibilidade ao seu código. Por fim, você vai aprender a gerenciar etapas do ciclo de vida de Machine Learning criando um fluxo de trabalho com várias etapas usando MLflow Projects.

Exercise 1: Introdução aos MLflow Projects Exercise 2: Estrutura do arquivo MLproject Exercise 3: Criando um MLproject Exercise 4: Executando MLflow Projects Exercise 5: Comando mlflow run Exercise 6: Módulo MLflow projects Exercise 7: Especificando parâmetros Exercise 8: Adicionando parâmetros ao MLproject Exercise 9: Adicionando parâmetros à execução do projeto Exercise 10: Fluxos de trabalho Exercise 11: Criando um MLproject para o ciclo de vida de ML: Engenharia de Modelo Exercise 12: Criando um MLproject para o ciclo de vida de ML: Avaliação do modelo Exercise 13: Criando um fluxo de trabalho com várias etapas: Model Engineering Exercise 14: Criando um fluxo de trabalho multi-etapas: Avaliação do Modelo

Exercício atual

Exercise 15: Encerramento