F.A.Z. Digitalwirtschaft Steht in der KI der nächste Durchbruch bevor, Sepp Hochreiter?
Jul 5, 2024
Sepp Hochreiter, deutscher Informatiker und Erfinder der LSTM-Architektur, stellt seinen neuen Lernalgorithmus XLSTM vor. Er erzählt von LSTMs Entstehung, erklärt Transformer und Attention. Es geht um Unterschiede zu GPT/LLMs, technische Neuerungen von XLSTM, Effizienz bei langen Sequenzen, Anwendungen in Robotik und die Gründung seines Start-ups NXAI.
AI Snips
Chapters
Transcript
Episode notes
Die Entstehung Von LSTM
- Sepp Hochreiter erzählt, wie er LSTM bereits 1991 in seiner Diplomarbeit vorschlug und es später mit Jürgen Schmidhuber publizierte.
- LSTM wurde lange Zeit in Sprachanwendungen eingesetzt und prägte bis 2017 viele Systeme, bevor Transformer kamen.
Attention Ermöglicht Paralleles Training
- Der Transformer brachte die Attention-Idee, die Speicher durch Rückblick ersetzt und damit Training massiv parallelisierbar macht.
- Diese Parallelisierbarkeit erlaubte viel mehr Daten in gleicher Zeit zu verarbeiten und erzeugte den Durchbruch.
LLMs Sind Mächtige Datenbanken
- Hochreiter bewertet Large Language Models als sehr gute, aber nicht intelligente Datenbanken, die Texte kombinieren und interpolieren.
- Sie generalisieren begrenzt und liefern nur zuverlässige Ergebnisse, wenn ähnliche Beispiele im Training vorhanden sind.