Trench Tech Et si ChatGPT devait tout à un papier de 2017 ? | La Tech entre les Lignes - Louis de Diesbach
4 snips
Jan 20, 2026 Découvrez comment le papier "Attention Is All You Need" a révolutionné l'intelligence artificielle avec les Transformers. Louis de Diesbach explique le mécanisme d'attention dynamique qui permet une traduction efficace. Il présente les limites des approches classiques et montre comment le Transformer simplifie l'architecture tout en améliorant les performances. Les résultats sont impressionnants, avec des records battus en traductions. Ce travail historique a pavé la voie pour des modèles comme BERT et ChatGPT.
AI Snips
Chapters
Transcript
Episode notes
Ironie Du Titre Chez Google
- Louis signale l'ironie du titre venant de Google, acteur majeur de l'économie de l'attention.
- Il introduit ensuite le papier "Attention Is All You Need" de 2017 comme sujet central.
Attention Dynamique Remplace Le Résumé Fixe
- Le Transformer remplace l'approche encoder-decoder en laissant le decoder analyser toute la séquence à chaque étape.
- Cette attention dynamique améliore nettement la traduction et simplifie l'architecture, ouvrant la voie aux LLMs modernes.
Le Problème Du Vecteur Unique
- L'encoder classique compressait toute la phrase en un seul vecteur résumé pour le decoder.
- Le Transformer permet au decoder de décider quelles parties sont importantes à chaque génération, évitant la perte d'information.