Robots.txt | Bewertung
Redaktionelle Einordnung
Diese archivierte Diskussion behandelt Robots.txt | Bewertung aus Sicht der Rubrik OnPage Optimierung.
Für Indexierungsfragen sind heute Search Console, saubere Robots-Signale, Canonicals und XML-Sitemaps die wichtigsten Stellschrauben.
Sinnvoll nutzbar bleibt der Thread vor allem als historischer Kontext, für typische Fragestellungen und zur Einordnung älterer Empfehlungen.
Einige im historischen Thread genannte Tools, Dienste oder externe Links könnten heute nicht mehr verfügbar oder inhaltlich überholt sein. Nutzen Sie sie bitte nur mit zusätzlicher Prüfung.
Startbeitrag
Originaler Foreninhalt in modernisierter Darstellung.
Hallo zusammen,
wenn ich Seiten oder Dateien durch die Robots.txt sperre werden diese dann sofort von Google aus der Webseitenbewertung genommen?
Bsp:
Webseite besteht aus 30 Seiten.
Ich gebe nur 12 Seiten frei.
Ich sperre 18 Seiten per Robots.txt
Google sind die 18 Seiten aber bereits bekannt.
Die 18 Seiten beinhalten Doppelten Content.
Werden nun nach einer Sperre nur noch meine 12 freigegebenen Seiten von Google bewertet?
Wie lange dauert eine solche Umstellung?
Dank vorab.
Beste Grüße
shoxii
Antworten
1 BeiträgeHallo Shoxii,
bei den Suchmaschinen geht niemals alles gleich sofort.
Wenn Du Seiten aus dem Index haben möchtest, so kannst Du diese bei Google in den WebMasterTools entfernen.
www.google.com/webmasters/tools/crawl-access
Dazu muss die Seite bei Google angemeldet sein. Diese nderungen greifen recht zeitnah, meist tglich.
Die zusätzliche Sperre kann Sicherheit geben, dass die Seiten nicht erneut in den Index gelangen. Sicherheitshalber würde ich für die Bots aber eine .htaccess-Sperre einbauen. Dann kannst Du ganz sicher sein.