Dies ist eine Beta-Version der neuen cyon-Website

robots.txt

Aktualisiert am 28. Sept. 2023
War dieser Artikel hilfreich?

Die Datei robots.txt wurde als Standard definiert, um Suchmaschinen mitzuteilen, dass eine Website oder Teile davon nicht indexiert werden sollen. Dies macht man sich zu Nutzen, um beispielsweise den Admin-Bereich einer Website von der Indexierung auszunehmen. Oft wird die Datei während des Aufbaus einer neuen Website eingesetzt, da man die Inhalte erst den Suchmaschinen mitteilen möchte, wenn die Website komplett fertiggestellt und veröffentlicht wurde.

Die Anweisungen in der robots.txt sind als «Empfehlungen» zu betrachten, welche jedoch freundlicherweise von den meisten Suchmaschinen beachtet werden.

Wir beschreiben folgend, wie du eine robots.txt-Datei erstellst und verhinderst, dass deine Website indexiert wird.

1

Erstelle im Zielordner deiner Domain eine Datei mit dem Namen robots.txt gemäss «Dateien auf dem Webhosting verwalten».

Die Datei muss exakt so benannt und in Kleinbuchstaben geschrieben sein, damit sie korrekt interpretiert wird.
2

Bearbeite die Datei und füge folgende Zeile ein.

User-agent: *
Disallow: /

Mit diesen Zeilen teilst du allen Suchmaschinen mit, dass keine Datei und kein Verzeichnis indexiert werden soll.

Weitere Informationen zur Syntax der robots.txt findest du im entsprechenden Wikipedia-Artikel.

Alternative Methode

Es gibt neben der robots.txt auch die Möglichkeit, Instruktionen über das Meta-Tag im HTML-Code pro Seite zu vergeben. Möchtest du beispielsweise nur bei einer bestimmten Seite verhindern, dass deren Inhalt indexiert wird, so kannst du im Header der Seite folgenden Meta-Tag erstellen.

<p>&lt;meta name=&quot;robots&quot; content=&quot;noindex,nofollow&quot;&gt;</p>
Kategorien
  • Begriffe
Artikel teilen
Verwandte Artikel

Was dir auch helfen könnte

Wähle den für dich passenden Kanal

Suchmaschinen-Indexierung verhindern

Nutzt du die kostenlose Webhosting-Adresse zum Aufbau deiner neuen Website? Oder ist deine Website bereits über ...

Webhosting-Adresse

Bei der Bestellung eines Webhostings wird eine kostenlose Adresse generiert. Diese Adresse ist eine Subdomain vo...

Wie Suchmaschinen funktionieren

Suchmaschinen wie Google, Bing oder DuckDuckGo sind Dienste, welche die unüberschaubaren Mengen an Daten und Web...

Domain-Weiterleitung einrichten

Eine Domain-Weiterleitung bewirkt, dass Besuchende einer Domain direkt auf eine andere Domain weitergeleitet wer...

Website deaktivieren

Um eine Website vorübergehend offline zu nehmen oder abzuschalten, zum Beispiel für Wartungsarbeiten, gibt es me...