KI-Crawler belasten Websites massiv – Meta und OpenAI führen die Liste an
Anzeige
Fastly hat einen Bericht veröffentlicht, der zeigt, dass KI‑Crawler die offene Weblandschaft stark belasten. Ein Beispiel aus dem Bericht: Ein Fetcher‑Bot traf eine Website mit 39.000 Anfragen pro Minute.
Der Bericht schätzt, dass KI‑Crawler 80 % des gesamten KI‑Bot‑Verkehrs ausmachen, während Fetcher die restlichen 20 % ausmachen. Diese Bots können Daten von einer einzigen Seite in tausenden Anfragen pro Minute abrufen.
Die hohe Belastung führt zu Engpässen und erhöhtem Ressourcenverbrauch für Betreiber von Websites. Betreiber sollten ihre Infrastruktur prüfen und Schutzmaßnahmen gegen übermäßige Bot‑Aktivität implementieren.
Ähnliche Artikel
The Register – Headlines
•
Meta kann sich kein $600 Mrd. Liebesbrief an Trump leisten
Analytics Vidhya
•
Gemini API File Search: The Easy Way to Build RAG
Wired – AI (Latest)
•
OpenAI schließt 38-Milliarden-Dollar-Deal mit Amazon ab
O’Reilly Radar
•
AWS-Ausfall in US‑EAST‑1: Dienste weltweit betroffen
arXiv – cs.LG
•
Neues GNN-Modell prognostiziert Verkehrsunfälle in Städten präziser
The Register – Headlines
•
Meta to sell $30B in bonds to build AI datacenters