Blog

Logo von der Online Marketing Agentur KlickImpuls

SEO Basics: Alles rund ums Crawling

Crawling Titelbild

Vielleicht hast du den Begriff “Crawling” schon einmal geh├Ârt, aber wei├čt nicht genau, was dahintersteckt? Dann bist du hier genau richtig!

In unserem Blogbeitrag rund ums Crawling erf├Ąhrst du alles was du dar├╝ber wissen musst. Du hast gerade keine Lust zu lesen? Kein Problem, sieh dir einfach unser Video zum Thema “Crawling” auf YouTube an.

­čĺíWas ist Crawling ├╝berhaupt?

Stell dir Crawling als eine Art “Internet-Detektivarbeit” vor. Hierbei durchsucht ein Webcrawler das Internet, um neue oder aktualisierte Seiten zu entdecken und diese anschlie├čend zu indexieren. Der wohl bekannteste Crawler kommt von Google und hei├čt “GoogleBot”. Falls du es noch nicht wusstest, Webcrawler werden auch als “Spider” ­čĽĚ´ŞĆ bezeichnet.

­čĺíWie funktioniert das Crawling?

Ein Webcrawler entdeckt neue und aktualisierte Seiten indem er den Links auf deiner Webseite folgt, oder durch die Sitemap.xml navigiert. Wir haben dir den Prozess bildlich dargestellt:

Crawling Prozess von Google
Crawling Prozess
  • Der Crawler (Beispiel: GoogleBot) sendet eine HTTP-Anfrage an den Server deiner Webseite.
  • Er l├Ądt den HTML Code deiner Website herunter.
  • Als n├Ąchstes wird dein HTML Code bzw. der Inhalt analysiert und es werden Links zu anderen Seiten extrahiert.
  • Diese neu gefundenen Links werden in eine Crawling-Warteschlange eingef├╝gt und anschlie├čend der Reihe nach gecrawlt.
  • Nachdem das Crawling abgeschlossen wurde, kommt die Seite in den Google-Index.
  • Wenn du eine Suchanfrage an Google stellst, wird mit Hilfe der Ranking-Algorithmen nach passenden Websites im Google Index gesucht.
  • Sobald Google eine Auswahl gefunden hat, werden die Daten wieder zur├╝ck an die Google Algorithmen gesendet. Diese entscheiden, in welcher Reihenfolge dir die Suchergebnisse angezeigt werden.

­čĺíWas ist ein Crawling Budget?

Das Crawling Budget ist quasi die Tagesration an Seiten, die der Webcrawler auf deiner Website in einem bestimmten Zeitraum besucht. Jede Webseite hat ein zugewiesenes Crawling Budget, welches von Google festgelegt wird. Du fragst dich, wo du das einsehen kannst?

Logge dich einfach in deinen Google Search Console Account ein und navigiere zu Ծ Einstellungen und danach zu den Ծ Crawling Statistiken. Tada! ­čą│ Da ist es auch schon.

Crawling Statistiken in der Google Search Console
Crawling Statistik in der Google Search Console

Bei den Crawling Statistiken findest du folgende Daten:

  • Crawling Anfragen ┬╗ blau dargestellt: Das ist die Anzahl der Crawling Anfragen, die Google an deine Website stellt. Hier gilt: Je mehr gecrawlt wird, desto besser!
  • Downloadgr├Â├če ┬╗ violett dargestellt: Du siehst hier die Gr├Â├če aller Dateien und Ressourcen, die heruntergeladen worden sind. Hier gilt: je kleiner, desto besser! Wenn Google deine Inhalte schnell downloaden kann, k├Ânnen auch mehr Seiten gecrawlt werden.
  • Reaktionszeit ┬╗ orange dargestellt: Das ist die durchschnittliche Seitenantwortzeit f├╝r die Crawling Anfragen. Auch da gilt: je kleiner, desto besser! Denn je schneller deine Seiten reagieren, desto mehr Seiten k├Ânnen gecrawlt werden.

Noch mehr Infos ├╝ber den Crawling Vorgang

Weiter unten in den Crawling Statistiken findest du noch weitere Aufschl├╝sselungen der Crawling-Anfragen.

  • Crawling nach GoogleBot Typ
  • Crawling nach Status Code
  • crawling zweck
  • Crawling nach Dateityp
  • Du siehst die Crawling-Anfragen nach Status Codes geordnet.
  • Du kannst sehen, welche Dateitypen Google gecrawlt hat.
  • Du siehst den Zweck des Crawlings. Wie viele Seiten hat Google aktualisiert und wie viele wurden neu gefunden?
  • Im letzten Feld siehst du, mit welchen GoogleBot-Typen Google deine Website crawlt.

­čĺíWas beeinflusst dein Crawling Budget?

Es gibt einige Schl├╝sselfaktoren, die beeinflussen, wie oft und wie gr├╝ndlich Google deine Website crawlt:

  • Dein Webserver: Websites mit schneller Serverleistung haben in der Regel ein gr├Â├čeres Crawling Budget.
  • Serverfehler: Je weniger Serverfehler w├Ąhrend des Crawlings auftreten, desto h├Âher ist deine Crawling Frequenz.
  • Seitenqualit├Ąt: Seiten ohne Mehrwert wirken sich negativ auf das Crawling Budget aus. Du solltest daher darauf achten, keinen Duplicate Content und keine Spam Seiten zu produzieren.


Ich hoffe, du hast jetzt einen besseren ├ťberblick ├╝ber das Thema “Crawling”. Wenn du mehr ├╝ber die Optimierung deines Crawling Budgets erfahren m├Âchtest, sei auf unseren Folgebeitrag zum Thema “robots.txt und sitemap.xml” gespannt. Dieser wird in K├╝rze ver├Âffentlicht.

Du kannst nicht genug von uns bekommen? ­čśë

Dir gef├Ąllt unser SEO Basics Beitrag zum Thema “Crawling”? Du m├Âchtest mehr ├╝ber unsere SEO Agenturleistungen erfahren? Dann schau in unserem SEO Bereich vorbei! Wir helfen dir beim Audit deiner Website, deinem Relaunch, beim Erstellen von Content oder unterst├╝tzen dich mit einer monatlichen SEO Betreuung.

Facebook
Twitter
LinkedIn
Email

Hast du noch Fragen?

Kontaktiere uns: office@klickimpuls.at oder 050231/1000

Das wird dich auch interessieren ÔÇŽ

Corina
Corina
Corinas Arbeitsweise ist wie ihr Kleiderschrank zuhause: Perfekt organisiert und strukturiert meistert sie ihre t├Ąglichen Aufgaben. SEO ist ihre Passion und Kundenzufriedenheit ihre oberste Priorit├Ąt ÔÇô ein idealer Match f├╝r deinen Erfolg!

Ver├Âffentlicht

Unverbindlich Anfragen