Mit Llama 3 chatten
Ein Data-Analytics-Unternehmen entwickelt einen internen KI-Assistenten, damit Mitarbeitende schnell auf technische Informationen zugreifen können. Im Rahmen dieses Projekts möchten sie Llama 3 integrieren und haben dich gebeten, es zu testen.
Zum Einstieg initialisierst du das Llama-3-Modell lokal und erzeugst eine Antwort auf eine Frage.
Der Modellpfad ist bereits als Variable llama_path gespeichert.
Diese Übung ist Teil des Kurses
<Kurs>Arbeiten mit Llama 3</Kurs>Übungsanweisungen
- Importiere die Klasse
Llamaausllama_cpp. - Initialisiere eine Instanz von
Llamaund gibllama_pathals Pfad zur Modelldatei an.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)