Eine Website mit mehreren Hundert Seiten ohne XML-Sitemap ist ein konkretes Problem: Aktuelle Inhalte bleiben wochenlang unsichtbar, weil die Crawling-Roboter sie nicht finden. Dies tritt häufig auf eCommerce-Seiten, bei täglich veröffentlichten Blogs oder bei institutionellen Portalen auf, deren Struktur mehr als vier Ebenen tief ist.
Die Sitemap löst nicht alles, aber sie beschleunigt die Entdeckung der URLs durch Google und Bing, indem sie ihnen eine strukturierte Liste dessen bereitstellt, was auf der Website vorhanden ist.
Das lastmod-Tag in einer XML-Sitemap: Ein oft falsch genutztes Signal
Die meisten CMS füllen das lastmod-Tag der Sitemap automatisch bei jeder Seitenregistrierung aus, selbst bei kosmetischen Änderungen. Google stellt klar, dass dieses Tag nur nützlich ist, wenn es eine signifikante Aktualisierung des Hauptinhalts, der strukturierten Daten oder interner Links widerspiegelt. Das Ändern eines Fußzeilen- oder Copyright-Hinweises rechtfertigt nicht die Aktualisierung des Datums.
Wenn das lastmod-Tag unzuverlässige Daten sendet, ignoriert Googlebot es schließlich. Man verliert dann den einzigen Mechanismus der Sitemap, der es ermöglicht, eine Priorität für das erneute Crawlen anzuzeigen. Für eine Website, die ihre Produktdaten (Preise, Verfügbarkeit, Beschreibungen) aktualisiert, ist das ein verschwendeter Hebel.
Die beste Praxis besteht darin, lastmod nur bei tatsächlich beobachtbaren Änderungen anzugeben: geänderter redaktioneller Inhalt, hinzugefügtes neues Bild, aktualisierte strukturierte Daten. Wenn man die Richtigkeit des Datums nicht garantieren kann, ist es besser, das Tag wegzulassen, als falsche Signale zu senden. Ein konkretes Beispiel kann man einsehen, indem man die Sitemap der Website Experts Marketing konsultiert, die die Struktur einer XML-Datei mit ihren Datums-Tags veranschaulicht.
Sitemap und Crawl-Budget: Warum die Dateigröße zählt
Auf einer Website mit einigen Dutzend Seiten und einer guten internen Verlinkung ist die XML-Sitemap fast überflüssig. Google findet die URLs, indem es den Links folgt. Die Situation ändert sich radikal für große Websites oder solche, deren bestimmte Seiten schwach verlinkt sind.
Das Sitemap-Protokoll legt eine Grenze von 50.000 URLs pro Datei und ein maximales unkomprimiertes Gewicht fest, das durch den Standard geregelt ist. Darüber hinaus wird in mehrere Dateien unterteilt, die durch eine Sitemap-Index referenziert werden. Diese Aufteilung ist nicht nur eine technische Formalität: Eine überladene Sitemap mit veralteten URLs verwässert die Aufmerksamkeit der Roboter auf die wichtigen Seiten.
- Exkludieren Sie aus der Sitemap die umgeleiteten URLs (301), die Seiten im Noindex und die kanonisierten URLs zu anderen Seiten. Ihre Präsenz erzeugt Fehler in der Google Search Console und verwischt die Diagnose.
- Trennen Sie die Arten von Inhalten (Artikel, Produktblätter, Bilder, Videos) in separate Sitemap-Dateien, um die Nachverfolgung in der Search Console zu erleichtern.
- Regenerieren Sie die Sitemap automatisch bei jeder Veröffentlichung oder Löschung von Inhalten, anstatt in festen Intervallen, um die Diskrepanz zwischen der Datei und der Realität der Website zu vermeiden.
Die Rückmeldungen variieren hinsichtlich der direkten Auswirkung der Sitemap auf das Crawl-Budget: Google betrachtet die Sitemap als ein Entdeckungsignal, nicht als eine Anweisung. Aber bei Katalogen mit mehreren Tausend Referenzen bleibt eine saubere Sitemap das zuverlässigste Mittel, um neue URLs zu signalisieren, ohne darauf zu warten, dass ein interner Link manuell erstellt wird.
Einreichung in der Google Search Console: Was der Sitemap-Bericht wirklich offenbart
Das Einreichen einer Sitemap über die Search Console garantiert nicht die Indizierung der aufgeführten URLs. Dies ist ein Punkt, den viele Leitfäden auslassen. Die Sitemap ist ein Entdeckungsignal, keine Indizierungsanweisung. Google entscheidet dann, Seite für Seite, ob der Inhalt indiziert werden sollte.
Der Sitemap-Bericht der Search Console zeigt das Datum des letzten Zugriffs durch Googlebot und die Anzahl der erkannten URLs an. Diese Diagnose ermöglicht es, schnell ein Problem zu identifizieren:
- Wenn die Anzahl der entdeckten URLs geringer ist als die Anzahl der eingereichten URLs, enthalten einige Zeilen der Datei Fehler (URLs, die durch robots.txt blockiert sind, 404-Antworten, Schleifenumleitungen).
- Wenn Googlebot seit mehreren Wochen nicht auf die Sitemap zugegriffen hat, ist die Datei möglicherweise nicht zugänglich oder der Server gibt einen intermittierenden Fehlercode zurück.
- Wenn indizierte URLs nicht in der Sitemap enthalten sind, ist die Datei unvollständig oder die automatische Regeneration funktioniert nicht.
Wir verwenden diesen Bericht als Überwachungswerkzeug, nicht als Dashboard für die allgemeine SEO. Die Daten der Sitemap mit dem Indexabdeckungsbericht zu kombinieren gibt einen umfassenderen Überblick über den Crawling-Status der Website.
XML- oder HTML-Sitemap: Wählen Sie je nach tatsächlichem Bedarf
Die XML-Sitemap richtet sich an Roboter. Die HTML-Sitemap richtet sich an Besucher. Beide haben nicht dasselbe Format und dieselbe Nützlichkeit, und die Verwirrung zwischen beiden bleibt bestehen.
Für die organische Suche bleibt die XML-Datei die Priorität. Sie strukturiert die URLs mit ihren Metadaten (Änderungsdatum, empfohlene Änderungsfrequenz) in einem von Suchmaschinen lesbaren Format. Die HTML-Sitemap hingegen nimmt die Form einer klassischen Webseite an, die die Kategorien der Website mit klickbaren Links auflistet.
Eine HTML-Sitemap kann die Navigation auf einer Website mit komplexer Architektur verbessern, aber sie ersetzt nicht die XML-Datei für die Entdeckung von Inhalten durch Suchmaschinen. Auf einer gut strukturierten Website mit einer soliden internen Verlinkung bringt die HTML-Sitemap nicht viel. Auf einer institutionellen Website mit Dutzenden von wenig verlinkten Unterkategorien hilft sie den Besuchern, eine Seite zu finden, ohne die interne Suche nutzen zu müssen.
Die Wahl hängt vom Profil der Website ab. Ein Blog mit weniger als fünfzig Artikeln und klarer Navigation kann sich mit der vom CMS generierten nativen XML-Datei begnügen. Eine eCommerce-Website mit tiefen Kategorien und Facettenfiltern benötigt eine segmentierte XML-Sitemap und möglicherweise eine HTML-Sitemap für ihre Benutzer.
Die Sitemap bleibt eine technische Datei unter anderen Optimierungshebeln. Ihr echter Nutzen zeigt sich in der Search Console, indem man die Indexabdeckung und die Geschwindigkeit der Entdeckung neuer Seiten beobachtet. Eine saubere, aktuelle Datei, die von unnötigen URLs befreit ist, spart Zeit für die Roboter und für diejenigen, die die Indizierungsprobleme diagnostizieren.
