programmier.bar – der Podcast für App- und Webentwicklung Deep Dive 139 – GPT Under the Hood mit Fabian Hadiji
Jan 12, 2024
Fabian Hadiji, promovierter ML-Forscher und Head of Business Intelligence bei Lotum, erklärt auf verständliche Weise, wie große Sprachmodelle funktionieren. Kurze, klare Sätze zu Tokens, Embeddings und Transformer-Architektur. Diskussionen über Training, Kontextlänge, Feintuning, RLHF und welche Rolle Trainingsdaten und Hardware spielen.
AI Snips
Chapters
Transcript
Episode notes
Lerne Grundkonzepte Vor Integration
- Verstehe grundlegende Konzepte von LLMs, um sinnvolle Architektur- und Kostenentscheidungen zu treffen.
- Jan-Gregor empfiehlt, nicht jedes Detail zu wissen, aber Kontext, Tokens und Feintuning zu begreifen, bevor man Integrationen plant.
Korpuszusammensetzung Bestimmt Modellbias
- Datenqualität und Zusammensetzung des Korpus prägen Modellverhalten stark.
- Fabian weist darauf hin, dass große Masse oft bevorzugt wird, aber Gewichtung (z.B. Wikipedia vs. Foren) das Ergebnis beeinflusst.
Embeddings Komprimieren Bedeutung In Vektoren
- Embeddings komprimieren Token-IDs zu dichten Vektoren, die semantische Nähe abbilden.
- Fabian erklärt, dass Embeddings Wörter in einen mehrdimensionalen Raum legen, sodass ähnliche Begriffe näher beieinander liegen.