Crawling
Auf einen Blick
Crawling ist der Prozess, bei dem Suchmaschinen-Bots (Crawler) das Internet systematisch durchsuchen und Webseiten für die Indexierung entdecken.
Crawling ist der erste Schritt im Prozess der Suchmaschinenoptimierung. Suchmaschinen setzen automatisierte Programme ein, sogenannte Crawler oder Spider (bei Google: Googlebot), die das Internet systematisch durchforsten und Webseiten entdecken.
Der Crawling-Prozess
TL;DREntdeckung: Der Crawler findet neue URLs über Links auf bereits bekannten Seiten, Sitemaps oder direkte Einreichungen.
- Entdeckung: Der Crawler findet neue URLs über Links auf bereits bekannten Seiten, Sitemaps oder direkte Einreichungen
- Abruf: Der Crawler laedt den HTML-Code, CSS, JavaScript und andere Ressourcen herunter
- Rendering: Moderne Crawler führen auch JavaScript aus, um dynamisch geladene Inhalte zu sehen
- Weiterleitung: Gefundene Links werden in die Crawl-Queue aufgenommen
Crawl-Budget
TL;DRJede Website hat ein begrenztes Crawl-Budget.
Jede Website hat ein begrenztes Crawl-Budget. Google widmet jeder Domain eine begrenzte Zeit und Ressourcen. Bei großen Websites (1000+ Seiten) ist effizientes Crawl-Budget-Management entscheidend.
Crawling und KI-Sichtbarkeit
TL;DRWenn Google deine Seite nicht crawlt und indexiert, kann sie weder in klassischen Suchergebnissen noch in AI Overviews erscheinen.
Wenn Google deine Seite nicht crawlt und indexiert, kann sie weder in klassischen Suchergebnissen noch in AI Overviews erscheinen. Die RAG-Architektur moderner KI-Suchmaschinen basiert auf dem Suchindex, daher ist technisch einwandfreies Crawling die absolute Grundvoraussetzung.