Chatta med Llama 3
Ett dataanalysföretag utvecklar en intern AI-assistent som ska hjälpa medarbetare att snabbt hitta teknisk information. Som en del av projektet vill de integrera Llama 3, och de har bett dig att testa det.
För att komma igång initierar du Llama 3-modellen lokalt och genererar ett svar på en fråga.
Modellsökvägen är redan lagrad i en variabel med namnet llama_path.
Den här övningen är en del av kursen
Arbeta med Llama 3
Övningsinstruktioner
- Importera klassen
Llamafrånllama_cpp. - Initiera en instans av
Llamaoch angellama_pathsom sökväg till modellfilen.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)