OMR Podcast Jürgen Schmidhuber, "Vater" der modernen KI (#693)
6 snips
May 1, 2024 
Jürgen Schmidhuber, deutscher KI‑Forscher und Pionier hinter LSTM und frühen Transformer‑Ideen. Er spricht über historische Grundlagen der KI, warum alte Algorithmen jetzt durch Hardwareskalen wirken, Chancen in Gesundheit und Kommunikation. Es geht um Risiken wie Militärnutzung, den Kampf um Talente in Deutschland und die Frage, ob wir in einer Simulation leben.
AI Snips
Chapters
Transcript
Episode notes
Moderne Modelle Haben Tiefere historische Wurzeln
- Schmidhuber betont, viele heutige Kernideen wie Transformer und GANs stammen aus Forschung vor über 25 Jahren, oft von ihm und Kollegen an der TU München.
- Beispiele: unnormalisierter linearer Transformer (1991) und frühere GAN-ähnliche Wettbewerbsnetzwerke in den 1990ern.
Setze Auf Skalierung Nicht Nur Auf Neue Algorithmen
- Schmidhuber macht klar, der entscheidende Durchbruch war Hardware: Rechenkosten fallen exponentiell, alte Algorithmen skalierten durch mehr Rechenkraft.
- Beispiel: Training großer Sprachmodelle kostet viele Millionen Euro und wurde möglich durch NVIDIA-GPUs und günstigeres Rechnen.
OpenAIs Stärke War Geschwindigkeit Beim Hochskalieren
- OpenAIs Erfolg beruht laut Schmidhuber weniger auf neuen Algorithmen als auf schneller Hochskalierung existierender Techniken mit viel Rechenzeit und Daten.
- OpenAI war am richtigen Ort zur richtigen Zeit mit Funding und Zugriff auf GPUs.