Was sind KI‑Crawler und wie arbeiten sie?

Der Anlass für das Chaosradio 303 war eine gefühlt gehäufte Anzahl von Beschwerden in den letzten Monaten über das Ärgernis KI-Crawler, hier ein typisches Beispiel:

Das Team des Chaosradio 303: Constanze, Marcus, Jonas und Leah (v.o.n.u.).

Der Aufwand, den jede einzelne Person, die ihr Zeug nicht gescraped haben will, nun betreiben muss, um AI crawler zu blocken. Es ist wirklich unfassbar, dass dafür niemand zur Rechenschaft gezogen wird. Wenn alles auf deiner Website Nein sagt, die robots.txt ein großes Nein-Schild hochhält und du auch öffentlich ganz klar gegen AI positioniert bist, sollte es ein Straftatbestand sein, Crawler in deine Richtung zu schicken.

Wir sprechen in dieser Sendung über diese KI-Crawler. Es sind automatisierte Computerprogramme, die das Netz durchsuchen. Sie sammeln dabei Daten ein, um Sprachmodelle (gemeinhin oft „KI“ genannt) zu trainieren, oft jedoch ohne Zustimmung der Anbieter. Während einige dieser Bots oder Crawler ein gut vorhersagbares Verhalten zeigen, nimmt das missbräuchliche Scraping zu. Das kann übermäßig belastend werden.

Wir reden auch über bisher geltende Konventionen wie die besagte robots.txt und darüber, wie man die uneingeladenen Gäste realistisch wieder loswerden kann. Natürlich kommen wir dabei nicht an der Frage vorbei, wer die Verantwortung trägt. Wir reden auch über konkrete Beispiele aus dem Alltag eines Hosting-Unternehmens.

Marcus Richter spricht mit Jonas und Leah, die bei Uberspace auch mit KI-Crawlern kämpfen, und mit Constanze Kurz im Chaosradio 303 über die KI-Bots und über Ideen für bessere Regeln und technische Schutzmechanismen. Und sind eigentlich die ganzen Leute, die KI-Assistenten nutzen, mitverantwortlich für die schulterzuckende Ignoranz der KI-Crawler-Betreiber? Das alles – und noch viel mehr – diskutieren wir in diesem Podcast.

Leah ist Mit-Administratorin der Mastodon-Instanz chaos.social. Außerdem ist sie Leiterin des Infrastrukturbereichs beim Hosting-Unternehmen Uberspace und ärgert sich regelmäßig über die unnötige Arbeit, die ihr die KI-Systeme machen. Jonas führt Uberspace seit fast fünfzehn Jahren.