Testfälle: sechs Chatbots, drei Aufgaben

CIW - Folge 150 - 27.08.2025 - Überall KI

• Wir begrüssen alle natürlichen Intelligenzen zur Folge 150 von "Captain it's Wednesday", dem Podcast über Freie Software und Freie Gesellschaft von GNU/Linux.ch, aufgenommen am 25. August von Joël Schurter und Ralf Hersel. In dieser Folge sprechen wir über die Nutzung von KI-Anwendungen.

Hausmitteilungen

• Ende des Sommerlochs

Thema: Nutzung von KI-Anwendungen

Ethik, Recht und Notwendigkeit

• In den Kommentaren zu meinem letzten Wochenend-Artikel fragte ein Leser, wie viel Energie die Analyse des Geburtstagsbriefs benötigt hat. Meine Antwort lautete 0.34 Wh und, dass sein Kommentar ca. 0.30 Wh benötigt hat. Einerseits halte ich den Hinweis auf überhöhten Energieverbrauch für berechtigt; wir kennen ihn aus der Krypto-Geld-Debatte (Bitcoin-Mining) oder aus der Flugscham-Diskussion. Andererseits führt die einseitige Moralkeule (bzw. solche rhetorische Fragen) zu rein gar nichts. Ich könnte genauso gut fragen, wie viel Energie es kostet, drei Bananen beim Kauf in eine Plastiktüte zu stecken, oder ob die Autofahrt mit nur einer Person im Wagen energetisch sinnvoll ist, usw.

  Sinnvoller finde ich ökologische Fussabdruck-Rechner. Anstatt Einzelaspekte im Sinne des Whataboutisms hervorzuheben, erhält man damit ein umfassendes Bild des persönlichen CO2-Verbrauchs. Einen reinen Energie-Rechner habe ich nicht gefunden, aber ein CO2-Rechner kommt dem nahe, weil die Gestehungskosten für den Energieverbrauch häufig mit der CO2-Belastung korrelieren. Hier ist ein fiktives Beispiel, um das deutlich zu machen: "Ich habe kein Auto, heize meine Wohnung auf maximal 19 Grad und verpacke meine Einkäufe in selbst mitgebrachten Behältern. Da mir KI-Abfragen wichtig sind, lasse ich dafür die Meiler brennen. Insgesamt beträgt mein Energieverbrauch nur die Hälfte von deinem."

• Ein anderer Aspekt ist das Urheberrecht. Die meisten der grossen KI-Buden scheren sich einen Dreck um das Urheberrecht und versuchen ihr Crawling aller Inhalte mit Fair Use zu rechtfertigen. Falls dieses Argument vor Gericht keine Aussicht auf Erfolg hat, werden vereinzelt Verträge mit grossen Inhaltsschöpfern (z.B. Zeitungsverlagen) abgeschlossen. Die Inhalte von GNU/Linux.ch sind vollständig in die KI-Modell eingeflossen, weil wir uns nicht dagegen gewehrt haben und, weil unsere Inhalte unter der CC-BY-SA Lizenz stehen. Einige KI-Anbieter (z.B. Perplexity) kommen der Creative Commons Pflicht zumindest insoweit entgegen, dass GNU/Linux.ch als Quelle genannt wird. Grundsätzlich ist der Klau von geschützten Inhalten ein ungelöstes Problem, insbesondere wegen der ökonomischen Rechtsungleichheit: Versuch doch mal, als kleiner Content-Provider gegen KI-Big-Tech zu klagen.

• Die Frage nach der Notwendigkeit kann immer mit ja oder nein beantwortet werden. Das hat nichts mit KI zu tun, sondern bezieht sich auf alle technologischen Neuerungen. Alles, was geht, wird auch verwendet. Da sollten wir uns nichts vormachen. ABC-Waffen sind geächtet, trotzdem werden sie verwendet. Es gibt Moratorien für gen-manipulierte Pflanzen und Lebewesen: Dolly das Schaf winkt euch zu. Falls Menschen sich mit einer Geschwindigkeit von über 100 km/h fortbewegen, werden sie sofort sterben. Die Frage nach der Notwendigkeit ist irrelevant. Selbstverständlich kann man mit einem Feuer in einer Höhle und einem saftigen Mastodon-Braten überleben, wenn da nicht die Kopfschmerzen wären, denen man mit einer Aspirin-Tablette Abhilfe schaffen kann.

Grundlagen

• KI-Systeme bestehen aus mehreren Komponenten bzw. Prozessschritten. Folgende Darstellung ist stark vereinfacht und dient lediglich dazu, einen groben Überblick zu geben.
• Der Begriff "Künstliche Intelligenz" ist irreführend, weil darin keine Intelligenz ersichtlich ist. Bessere Begriffe sind "Grosse Sprachmodelle (LLM)" oder "Künstliche neuronale Netzwerke (KNN)".
• Ein KNN hat eine Architektur, die (ganz allgemein gesagt) die Neuronen und Synapsen eines biologischen Gehirns imitiert. Darin gibt es eine Eingabeschicht, beliebig komplizierte Zwischenschichten und eine Ausgabeschicht. Jede Schicht besteht aus technischen Zellen, die viele Eingaben entgegennehmen und zu einem Ausgabewert verarbeiten. Die Zellen der verschiedenen Schichten sind multiple miteinander verbunden.
• Diese Architektur wird mit Trainingsdaten gefüttert. Die Trainingsdaten beinhalten alles, was ihr euch vorstellen könnt, z.B. das gesamte Internet. Die Eingabe der Trainingsdaten führt zu Ergebnissen in der Ausgabeschicht. Diese Ausgaben werden mit gewünschten Ergebnissen verglichen. Die Abweichung zwischen Wunsch und Wirklichkeit wird zur Kalibrierung des KNNs verwendet (Rückkopplung). Dieser Vorgang heisst Training und wird so lange wiederholt, bis die Wahrscheinlichkeit von korrekten Ausgaben gut genug ist. Die in den Schichten gespeicherten Werte bilden das KI-Modell, z.B. GPT-5. Die Trainingsphase ist beendet.
• Nun kann das Modell befragt werden; diesen Vorgang nennt man Inferenz. Auf eine Eingabe folgt jetzt eine Ausgabe, die statistisch gut genug ist. Das Verhältnis zwischen Ein- und Ausgabe ist nicht deterministisch, sondern statistisch.
• Bei den grossen Sprachmodellen (LLM) bedeutet das, dass für jedes eingegebene Wort (eigentlich Token) das nächstwahrscheinliche Wort ausgegeben wird, und so weiter, bis die komplette Antwort erstellt wurde.
• Solche Modelle sind nicht vorhersagbar, nicht nachvollziehbar, schlecht korrigierbar, anfällig für falsche (bzw. unerwartete) Ergebnisse (Halluzinationen), aber überzeugend formuliert.

Anwendungsfälle

• Kommerzielle und wissenschaftliche Anwendungszwecke lassen wir einmal ausser Acht. Wir sprechen nicht über Finanzdatenanalyse, Krebs-Erkennung oder das Finden neuer Materialverbindungen.
• Unterscheiden lassen sich die bewusste und die eingebettete Anwendung von KI-Werkzeugen.
• Die eingebettete Nutzung entzieht sich oft der eigenen Kontrolle oder Entscheidung, weil man sie unter Umständen gar nicht bemerkt. Hier sind einige Beispiele:
  • Vorgefertigte Antworten in Chat-Programmen, z.B. MS-Teams
  • Bild-Optimierung in Kamera-Apps von Smartphones
  • Vorauswahl bei Stellenbewerbungen
  • Services zum Übersetzen oder für die Rechtschreibkorrektur
  • Musik-Vorschläge bei Spotify
  • um nur einige zu nennen
• Häufige Anwendungsfälle bei der bewussten Nutzung von KI sind:
  • Chat-Bots
  • Mulitmedia-Generierung (Bilder, Audio, Video)
  • Text-to-Speech, Speech-to-Text
  • Code-Generierung
  • Web-Suche

Werkzeuge auf dem PC und Smartphone

Wir haben uns für diese Podcastfolge ausschliesslich auf Chat-Bots konzentriert und drei Testfälle angewandt. Alle Testfälle würde man in eine normale Websuche eher nicht eingeben:

1. Komplexe Frage: "Kann Kalifornien aus den USA austreten?"
2. Logik-Frage: "Eva hat zwei Schwestern und drei Brüder. Wie viele Schwestern hat ihr Bruder Adam?"
3. Mathematik: "Wie viele f enthält das Wort Dampfschifffahrtsgesellschaft?"

Ralf hat diese Chat-Apps auf dem Smartphone und dem PC ausprobiert. Ich habe mich bei keinem der Chat-Bots angemeldet:

• Perplexity
  • Frage 1: Korrekte und verständliche Antwort mit 18 Quellenangaben.
  • Frage 2: Falsche Antwort ohne Begründung.
  • Frage 3: Korrekte Antwort mit 9 Quellenangaben.
• Claude
  • Frage 1: Korrekte, aber etwas kurze Antwort und ohne Quellenangaben.
  • Frage 2: Falsche Antwort mit einer schwachsinnigen Begründung.
  • Frage 3: Falsche Antwort mit unvollständiger Begründung.
• Copilot (GPT-5 Modell)
  • Frage 1: Unzureichende Antwort mit zu wenigen Quellenangaben.
  • Frage 2: Falsche Antwort mit kurzer und debiler Begründung.
  • Frage 3: Korrekte Antwort: 5 F (langes Reasoning)
• Mistral - Le Chat
  • Frage 1: Korrekte, aber zu kurze Antwort ohne Quellenangaben.
  • Frage 2: Korrekte Anwort mit einer kurzen und schlüssigen Begründung.
  • Frage 3: Falsche Antwort ohne Begründung.
• Proton - Lumo
  • Frage 1: Sehr gute Antwort, aber leider ohne Quellenangaben; auch nicht auf Nachfrage.
  • Frage 2: Korrekte Antwort mit narrensicherer Begründung.
  • Frage 3: Korrekte Antwort mit klarer Begründung.

Ralf steht mit ChatGPT auf Kriegsfuss, weshalb ich das Ergebnis des OpenAI-Chatbots hier nur widerwillig nenne.

• ChatGPT
  • Frage 1: Unzureichende Antwort ohne Quellenangaben.
  • Frage 2: Falsche Antwort ohne Begründung.
  • Frage 3: Falsche Antwort ohne Begründung.

Ralfs Fazit

Ich weise darauf hin, dass mein kleiner Test keinen Anspruch auf Vollständigkeit und wissenschaftliche Methoden erhebt. Es ist eine subjektive Momentaufnahme mit lebensfernen Fragen, ohne die Einstellmöglichkeiten der Chat-Bots zu berücksichtigen. Meine Gewinner sind:

1. Lumo, weil es alle Fragen korrekt beantwortet hat, anonym befragt werden kann, von einem vertrauenswürdigen Anbieter stammt (Proton Mail). Leider fehlen die Quellenangaben.
2. Perplexity, weil es immer Quellenangaben gibt und die Antworten meistens gut sind.
3. Mistral, weil es auf eigene, europäische Modelle setzt.

Der Looser ist OpenAIs ChatGPT. Insbesondere das aktuelle Modell GPT-5 ist gequirlte Kacke (sorry). Da stimmt nichts.

Ausserdem sei gesagt, dass es hier nur um Sprachanfragen ging. Beim Generieren von Bildern, Musik und Videos können die grossen Anbieter bessere Ergebnisse liefern. Doch lag ausserhalb des Umfangs dieser Podcast-Folge.

Joëls Fazit

ChatGPT lieferte bei mir (Plusversion) bei allen drei Fragen eine korrekte Antwort, wobei bei der Frage 1 ebenfalls keine Quellen geliefert wurde - dafür gibt es aber auch den Recherche-Modus.
Tatsächlich scheint die kostenlose Version von ChatGPT ohne Login sehr viel schlechter zu sein als die Version, die man bekommt, wenn man angemeldet ist - dabei kommt es nicht darauf an, ob man die plusversion oder die Gratisversion nutzt.

PerplexityAI liefert oftmals sehr gute Antworten, wenn es eine Recherche-Anfrage ist, sprich Perplexity sollte eigentlich als normale Suchmaschine benutzt werden und nicht als Chatbot zum Lösen von Rätseln usw.
Zwar kann PerplexityAI als normaler KI-Chatbot verwendet werden, die wahre Stärke liegt aber in der Recherche und dem Sammeln von Quellen sowie der Verarbeitung von Informationen aus diesen Quellen.

Qutro

• Euer Feedback ist uns wichtig. Ihr könnt uns über Matrix, Mastodon oder per E-Mail erreichen. Die Adressen findet ihr auf unserer Webseite.
• GNU/Linux.ch ist ein Magazin, in dem die Community für die Community interessante Artikel erstellt und im Podcast darüber diskutiert. Helft mit, die Infos für die Community zu bereichern. Wie das geht, erfahrt ihr hier.

Quellen

• https://gnulinux.ch/zum-wochenende-der-geburtstagsbrief
• https://duckduckgo.com/?t=ffab&q=co2+footprint+calculator+deutsch&ia=web
• https://de.wikipedia.org/wiki/Fair_Use
• Perplexity: https://de.wikipedia.org/wiki/Perplexity.ai
• Claude: https://claude.ai/
• Copilot: https://copilot.microsoft.com
• Mistral - Le Chat: https://chat.mistral.ai/chat
• Proton Lumo: https://lumo.proton.me/guest
• ChatGPT: https://chatgpt.com/