Chatear con Llama 3
Una empresa de analítica de datos está desarrollando un asistente de IA interno para que el personal acceda rápido a información técnica. Como parte del proyecto, quieren integrar Llama 3 y te han pedido que lo pruebes.
Para empezar, inicializa el modelo Llama 3 en local y genera una respuesta a una pregunta.
La ruta del modelo ya está guardada en una variable llamada llama_path.
Este ejercicio forma parte del curso
Trabajar con Llama 3
Instrucciones del ejercicio
- Importa la clase
Llamadesdellama_cpp. - Inicializa una instancia de
Llama, especificandollama_pathcomo la ruta al archivo del modelo.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)