Aan de slagGa gratis aan de slag

Chatten met Llama 3

Een data-analysebedrijf ontwikkelt een interne AI-assistent om medewerkers snel toegang te geven tot technische informatie. Als onderdeel van dit project willen ze Llama 3 integreren en hebben ze jou gevraagd om het te testen.

Om te beginnen initialiseer je het Llama 3-model lokaal en genereer je een antwoord op een vraag.

Het modelpad is al opgeslagen in een variabele met de naam llama_path.

Deze oefening maakt deel uit van de cursus

Werken met Llama 3

Cursus bekijken

Oefeninstructies

  • Importeer de Llama-klasse uit llama_cpp.
  • Initialiseer een instantie van Llama en geef llama_path op als het pad naar het modelfile.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Import the Llama class
from llama_cpp import ____

# Initialize the Llama model
llm = ____(model_path=____)

question = "What is the most used database for data storage?"
response = llm(question)
print(response)
Code bewerken en uitvoeren