Kom igångKom igång gratis

Chatta med Llama 3

Ett dataanalysföretag utvecklar en intern AI-assistent som ska hjälpa medarbetare att snabbt hitta teknisk information. Som en del av projektet vill de integrera Llama 3, och de har bett dig att testa det.

För att komma igång initierar du Llama 3-modellen lokalt och genererar ett svar på en fråga.

Modellsökvägen är redan lagrad i en variabel med namnet llama_path.

Den här övningen är en del av kursen

Arbeta med Llama 3

Visa kurs

Övningsinstruktioner

  • Importera klassen Llama från llama_cpp.
  • Initiera en instans av Llama och ange llama_path som sökväg till modellfilen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import the Llama class
from llama_cpp import ____

# Initialize the Llama model
llm = ____(model_path=____)

question = "What is the most used database for data storage?"
response = llm(question)
print(response)
Redigera och kör kod