Mit Llama 3 chatten
Ein Data-Analytics-Unternehmen entwickelt einen internen KI-Assistenten, damit Mitarbeitende schnell auf technische Informationen zugreifen können. Im Rahmen dieses Projekts möchten sie Llama 3 integrieren und haben dich gebeten, es zu testen.
Zum Einstieg initialisierst du das Llama-3-Modell lokal und erzeugst eine Antwort auf eine Frage.
Der Modellpfad ist bereits als Variable llama_path gespeichert.
Diese Übung ist Teil des Kurses
Arbeiten mit Llama 3
Anleitung zur Übung
- Importiere die Klasse
Llamaausllama_cpp. - Initialisiere eine Instanz von
Llamaund gibllama_pathals Pfad zur Modelldatei an.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)