Discuter avec Llama 3
Une entreprise d’analytique développe un assistant IA interne pour aider les employés à accéder rapidement à des informations techniques. Dans le cadre de ce projet, elle souhaite intégrer Llama 3 et vous a demandé de le tester.
Pour commencer, vous initialisez le modèle Llama 3 en local et générez une réponse à une question.
Le chemin du modèle est déjà stocké dans une variable nommée llama_path.
Cet exercice fait partie du cours
Travailler avec Llama 3
Instructions
- Importez la classe
Llamadepuisllama_cpp. - Initialisez une instance de
Llamaen indiquantllama_pathcomme chemin vers le fichier du modèle.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)