Training, tuning e feedback

Stai lavorando a un progetto per sviluppare un modello usando la tecnica Reinforcement Learning through Human Feedback (RLHF) per ottimizzarne le prestazioni in un contesto di assistenza clienti.

Quale di queste opzioni descrive in modo più accurato il processo di RLHF?

Questo esercizio fa parte del corso

Concetti sui Large Language Models (LLM)

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio

Questo esercizio fa parte del corso

Concetti sui Large Language Models (LLM)

InicianteNível de habilidade

4.8+

Inizia il corso gratuitamente

Il panorama dell’AI evolve rapidamente e i Large Language Models (LLM) sono in prima linea in questa evoluzione. Questo capitolo esamina come gli LLM stiano promuovendo lo sviluppo di un’intelligenza artificiale sempre più simile a quella umana e stiano trasformando i settori grazie alle loro numerose applicazioni. Esplorerai le sfide e la complessità legate al language modeling.

Exercise 1: L’ascesa degli LLM nel panorama dell’IA Exercise 2: Definizione di un LLM Exercise 3: LLM nel panorama dell'AI Exercise 4: Applicazioni di AI vs. LLM Exercise 5: Applicazioni nel mondo reale Exercise 6: Applicazioni aziendali Exercise 7: Applicazioni multimodali Exercise 8: Automatizza le attività basate sui dati Exercise 9: Sfide del language modeling Exercise 10: Cosa può fare un modello linguistico?Exercise 11: Single vs. multi-task learning

Questo capitolo mette in evidenza la novità degli LLM e le loro capacità emergenti, delineando al contempo varie tecniche di NLP per la preparazione dei dati. Imparerai quali sono le sfide del training degli LLM e come il fine-tuning può affrontarle in modo efficace. Capirai anche come le tecniche di N-shot learning consentano di adattare in modo efficiente modelli pre-addestrati quando si dispone di dati etichettati limitati.

Exercise 1: Novità degli LLM Exercise 2: Risoluzione di problemi con gli LLM Exercise 3: Modelli tradizionali vs. LLM Exercise 4: Panoramica generale dell'NLP Exercise 5: Preparazione dei dati Exercise 6: Preprocessing e rappresentazione del testo Exercise 7: Word embeddings vs bag-of-words Exercise 8: Fine-tuning Exercise 9: Sfide nella costruzione dei LLM Exercise 10: Adatta un modello pre-addestrato Exercise 11: Pre-trained o fine-tuned?Exercise 12: Tecniche di apprendimento Exercise 13: Perfeziona (fine-tune) un modello Exercise 14: N-shot learning

In questo capitolo imparerai i mattoni fondamentali per il training di un LLM, come le tecniche di pre-training. Otterrai anche una comprensione intuitiva di concetti complessi come l’architettura transformer, incluso il meccanismo di attention. Il capitolo tratta una tecnica avanzata di fine-tuning e riassume il processo di training per completare un LLM.

Exercise 1: Elementi fondamentali per addestrare gli LLM Exercise 2: Linguaggio mascherato Exercise 3: Predici la parola successiva Exercise 4: Partire da zero Exercise 5: Introduzione al transformer Exercise 6: Relazioni tra parole distanti Exercise 7: Componenti del transformer Exercise 8: Meccanismi di attention Exercise 9: Focus della multi-head attention Exercise 10: Self vs. multi-head attention Exercise 11: Fine-tuning avanzato Exercise 12: Addestramento end-to-end Exercise 13: Training, tuning e feedback

Esercizio attuale

Exercise 14: Costruire un LLM

In questo capitolo approfondiamo gli aspetti chiave da considerare nel training degli LLM, come la disponibilità di grandi quantità di dati, la qualità dei dati, un’etichettatura accurata e le implicazioni di dati con bias. Esaminerai inoltre vari rischi degli LLM, come privacy dei dati, considerazioni etiche e impatto ambientale. Infine, il capitolo si conclude con una panoramica delle aree di ricerca emergenti e del panorama in evoluzione degli LLM.

Exercise 1: Preoccupazioni e considerazioni sui dati Exercise 2: Il tuo modello è equo?Exercise 3: Imparziale e pertinente Exercise 4: Assistenza clienti di una banca Exercise 5: Preoccupazioni etiche e ambientali Exercise 6: Uso responsabile Exercise 7: Etica e ambiente Exercise 8: Dove stanno andando gli LLM?Exercise 9: Creatività vs. efficienza Exercise 10: Analizzare opere letterarie Exercise 11: È il momento del riepilogo