Lästige KI-Crawler ignorieren große Nein-Schilder

Jan 12, 2026

Leah (Leiterin Infrastruktur bei Uberspace, Mit‑Admin von chaos.social) und Jonas (langjähriger Webhoster bei Uberspace) reden über lästige KI‑Crawler. Sie erklären, wie Crawler arbeiten und warum sie Hosting‑Infrastruktur belasten. Es geht um robots.txt‑Limits, IP‑Blocking, Proof‑of‑Work und wirtschaftliche wie rechtliche Folgen.

Ask episode

AI Snips

Chapters

Transcript

Episode notes

ADVICE

Kontinuierliche Filterpflege Gegen KI-Crawler

Hoster müssen dynamisch filtern und reagieren, etwa User-Agent- und IP-Listen pflegen.
Jonas erklärt: Bei Uberspace setzen sie 'stille Bänke' und passen Sperrlisten wöchentlich bis monatlich an.

INSIGHT

Massive IP-Vielfalt Ermöglicht Umgehung Von Sperren

Angreifer verteilen Anfragen über sehr viele IPs zur Umgehung von Sperren.
Leah nennt ByteDance-Beispiel: 20.000 IPs aus Cloud-VMs, jede macht wenige Requests, was IP-Blocken wirkungslos macht.

ADVICE

Datenvergiften Taugt Nicht Als Nachhaltige Verteidigung

Giftige Inhalte absichtlich bereitstellen ist moralisch fragwürdig und ressourcenintensiv; vermeide diese Taktik.
Jonas: Kauderwelsch-Labyrinthe belasten Crawler, erzeugen aber trotzdem Last und verschwenden Energie.

Get the Snipd Podcast app to discover more snips from this episode

Get the app

CR303: Warum KI-Crawler so übermäßig belastend sein können und wie man sie loswird

Der Anlass für das Chaosradio 303 war eine gefühlt gehäufte Anzahl von Beschwerden in den letzten Monaten über das Ärgernis KI-Crawler, hier ein typisches Beispiel:

Das Team des Chaosradio 303: Constanze, Marcus, Jonas und Leah (v.o.n.u.).

Der Aufwand, den jede einzelne Person, die ihr Zeug nicht gescraped haben will, nun betreiben muss, um AI crawler zu blocken. Es ist wirklich unfassbar, dass dafür niemand zur Rechenschaft gezogen wird. Wenn alles auf deiner Website Nein sagt, die robots.txt ein großes Nein-Schild hochhält und du auch öffentlich ganz klar gegen AI positioniert bist, sollte es ein Straftatbestand sein, Crawler in deine Richtung zu schicken.

Wir sprechen in dieser Sendung über diese KI-Crawler. Es sind automatisierte Computerprogramme, die das Netz durchsuchen. Sie sammeln dabei Daten ein, um Sprachmodelle (gemeinhin oft „KI“ genannt) zu trainieren, oft jedoch ohne Zustimmung der Anbieter. Während einige dieser Bots oder Crawler ein gut vorhersagbares Verhalten zeigen, nimmt das missbräuchliche Scraping zu. Das kann übermäßig belastend werden.

Wir reden auch über bisher geltende Konventionen wie die besagte robots.txt und darüber, wie man die uneingeladenen Gäste realistisch wieder loswerden kann. Natürlich kommen wir dabei nicht an der Frage vorbei, wer die Verantwortung trägt. Wir reden auch über konkrete Beispiele aus dem Alltag eines Hosting-Unternehmens.

Marcus Richter spricht mit Jonas und Leah, die bei Uberspace auch mit KI-Crawlern kämpfen, und mit Constanze Kurz im Chaosradio 303 über die KI-Bots und über Ideen für bessere Regeln und technische Schutzmechanismen. Und sind eigentlich die ganzen Leute, die KI-Assistenten nutzen, mitverantwortlich für die schulterzuckende Ignoranz der KI-Crawler-Betreiber? Das alles – und noch viel mehr – diskutieren wir in diesem Podcast.

Leah ist Mit-Administratorin der Mastodon-Instanz chaos.social. Außerdem ist sie Leiterin des Infrastrukturbereichs beim Hosting-Unternehmen Uberspace und ärgert sich regelmäßig über die unnötige Arbeit, die ihr die KI-Systeme machen. Jonas führt Uberspace seit fast fünfzehn Jahren.