Chattare con Llama 3
Un'azienda di data analytics sta sviluppando un assistente AI interno per aiutare i dipendenti ad accedere rapidamente a informazioni tecniche. Nell'ambito del progetto, vogliono integrare Llama 3 e ti hanno chiesto di testarlo.
Per iniziare, inizializza localmente il modello Llama 3 e genera una risposta a una domanda.
Il percorso del modello è già salvato in una variabile chiamata llama_path.
Questo esercizio fa parte del corso
Lavorare con Llama 3
Istruzioni dell'esercizio
- Importa la classe
Llamadallama_cpp. - Inizializza un'istanza di
Llama, specificandollama_pathcome percorso al file del modello.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import the Llama class
from llama_cpp import ____
# Initialize the Llama model
llm = ____(model_path=____)
question = "What is the most used database for data storage?"
response = llm(question)
print(response)