Chatten met Llama 3
Een data-analysebedrijf ontwikkelt een interne AI-assistent om medewerkers snel toegang te geven tot technische informatie. Als onderdeel van dit project willen ze Llama 3 integreren en hebben ze jou gevraagd om het te testen.
Om te beginnen initialiseer je het Llama 3-model lokaal en genereer je een antwoord op een vraag.
Het modelpad is al opgeslagen in een variabele met de naam llama_path.
Deze oefening maakt deel uit van de cursus
Werken met Llama 3
Oefeninstructies
- Importeer de
Llama-klasse uitllama_cpp. - Initialiseer een instantie van
Llamaen geefllama_pathop als het pad naar het modelfile.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)