Forum und ifwizz sind beliebter als bisher bekannt, in den letzten Wochen haben sich die massiven Bot-Crawls gehäuft und den Server stundenweise in die Knie gezwungen. Da hat wohl ein verirrter Schüler vergessen, sein Skript abzustellen und will weiterhin mit 5-10 sekündlichen Anfragen jede Seite lesen um Adressdaten zu sammeln. Da kommen noch ein paar Millionen zusammen wenn er auch jene von Online-Klickspielen mitnimmt. Ich habe erstmal Gegenmaßnahmen getroffen, und da der Server ohnehin veraltet ist, folgt am Wochenende ein Umzug auf ein modernes System. Am besten an diesem Wochenende spätabends und nachts nichts posten, zwischen Datenbanksicherung und Domainumschaltung kann ein Fenster von einigen Stunden liegen, in dem Daten verlorengehen würden. Montag früh sollte alles wieder laufen.

Es hat mich schon lange gewundert, dass dieses Forum noch von den zivilisationszersetzenden LLM-Bots verschont geblieben war bislang...

Gut erraten, ich habe die Logfiles durch ein Perlskript gejagt und die einschlägigen IPs recherchiert, von den 7,3 Mio identifizierten Schmutzzugriffen allein auf Rogars "Schwert der Macht" vom #ifGP15 in den letzten 17 Tagen mit einem 2,7-GB-Logfile stammten

• 57% von 57.141.20.0/24: Meta-Crawler-Cluster
• 36% von 74.7.227.0/24, 74.7.242.0/24, 74.7.243.0/24: OpenAI/GPTBot-Cluster
• 5% von Amazonbot-/AWS-Einzel-IPs
• Rest je <1% von Huawei/PetalBot, SemrushBot/SEO-Crawler und marginaler ein paar weitere.

Das war kein Hackerangriff und auch kein besoffener Schüler, sondern das waren verteilte Crawlerruns aus AI-Clustern, die offensichtlich noch nicht stubenrein sind. Zumindest entspricht das Gehabe nicht dem sonst eher gepflegten Bot-Verhalten mit max. einem Zugriff pro Minute.

IPs ausschließen bringt nix weil es zuviele gibt, immerhin gibt es als Gemeinsamkeit die base64-codierten Anfragen mit den immer gleichen ersten vier Zeichen wie in diesem Beispiel:

... "GET /c2VjPTM0MSZjb2xvcj1ibGFjayYzMzA9MCYzNTA9MCZtb25leT00MDAwMCZhZ2U9MTEmMzkwPTAmc2V4PTYmMzIwPTAmMzEwPTAmam91cm5leT0xNiYzNDA9MCYzODA9MCYzNzA9MCYzNjA9MA/ HTTP/1.1" 200 10529 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"

Decodiert zeigt das stets eine wirre Parameterliste wie von oben übersetzt:

sec=341&color=black&330=0&350=0&money=40000&age=11&390=0&sex=6&320=0&310=0&journey=16&340=0&380=0&370=0&360=0

Damit dieser Post etwas Sinn ergibt, ein Tipp für die Serverbastler: Ganz gut klappt ein Modrewrite im .htaccess mit den ersten vier Zeichen "c2Vj", da habe ich auch noch die lästigsten Agents mit aufgenommen:

RewriteCond %{REQUEST_URI} ^/c2Vj [NC]
RewriteCond %{HTTP_USER_AGENT} (GPTBot|OAI-SearchBot|ChatGPT-User|meta-externalagent|Amazonbot|Amzn-SearchBot|PetalBot|SemrushBot) [NC]
RewriteRule ^ - [F,L]

Ja nun, wir freuen uns alle auf die schöne neue Welt.

Leider wird das nicht reichen. Ich habe das Tal der Tränen bereits durchschritten. Zahlreiche der LLM-Bots reagieren aufs User-Agent-Blocking damit, die Anfragen mit einem anderen User Agent (!) nochmal zu stellen. Bitten aus robots.txt usw. werden ebenfalls ignoriert - oder sogar, in einigen Fällen, schlimmer: Sie benutzen robots.txt, um "verbotene" Bereiche gezielt zu identifizieren und dann zielgerichtet diese aufzusuchen.

Das einzige, was nachher geholfen hat, war leider irgendein Javascript davorzuschalten und die Webseiten damit auch für diverse echte Menschen unzugänglich zu machen.

Mensch, raub mir doch nicht die letzte Hoffnung. Ich glaube weder an JS noch an AI und hol mir jetzt nach dem Rasenmähen ein Vanilleaijs, bin völlig kaputt und durchgeschwitzt. Da können beide nicht helfen. Außer tiefgefroren.

Es ist reine Malware, an der Erkenntnis führt kein Weg vorbei. Lass' dir das Eis erstmal schmecken!

Harte Worte, weiches Eijs, das kleckert. Ich würde jetzt nicht so weit gehen, das vom Boden aufzuschlecken, aber letztlich wird diese aufdringliche Art des Crawling bis zum Kollaps die Zukunft prägen. Ich freu mich ja schon drauf, das ist wie Panzer Elite Action in El Alamein oder sowas, nur halt nicht 3D.