2024 - Speciale Intelligenza Artificiale Sviluppi tecnologici
Apr 17, 2024
Marco Bellagente, research scientist e responsabile di team in Stability AI, noto per il lavoro su Stable Diffusion. Parla dell'espansione del long context nei modelli linguistici e delle nuove possibilità applicative. Discute potenza di calcolo tra training e inference, importanza di dataset puliti e il ruolo dell'open source. Racconta la transizione da immagini a video generativi e le sfide tecniche correlate.
AI Snips
Chapters
Transcript
Episode notes
Long Context Trasforma Le Possibilità Dei Modelli
- I progressi recenti sui modelli aumentano drasticamente il "long context", permettendo ai modelli di ragionare su decine di migliaia o centinaia di migliaia di token.
- Marco Bellagente spiega che questo abilita casi d'uso come interrogare intere opere o molti documenti aziendali per risposte più intelligenti.
Dati Di Qualità Riduccono Costi Di Training
- L'efficienza nell'addestramento è migliorata selezionando dati di alta qualità invece di enormi corpus sporchi e ridondanti.
- Bellagente cita come poche migliaia di documenti ben curati possano sostituire grandi dataset che richiedono molta più potenza di calcolo.
Filtra I Dati Prima Di Trainare Il Modello
- Curare i dataset prima del training riduce tempo e costi di cloud necessari per allenare un modello efficace.
- Il CEO di Mistral viene citato come esempio: filtrare i dati permette di spendere molto meno in hardware.