This page has been robot translated, sorry for typos if any. Original content here.

robots.txt-Datei

Wenn Sie jemals interessiert in der Statistik der Besuche auf Ihrer Website sind, müssen Sie haben, dass seine regelmäßigen Besuche in verschiedenen Suchmaschinen bemerkt. Natürlich ist die Handlung nicht Menschen, sondern spezielle Programme, die oft bezeichnet als „Roboter“. „Robots“ sind die Website durchsuchen und indizieren die Web-Ressource, so dann war es erlaubt, mit Hilfe einer Suchmaschine zu finden, deren „Roboter“ Indizierung zu tun.

All „Roboter“, bevor Ressourcenindexierungs an der Wurzel Ihrer Website Datei mit dem Namen robots.txt suchen. Diese Datei enthält Informationen darüber, welche Dateien sind „Roboter“ indiziert werden kann, aber welche nicht. Dies ist nützlich in den Fällen, welche Zeit Sie unerwünschte Indizierung bestimmte Seiten, enthalten, wie die „geschlossene“ Informationen.

Die robots.txt-Datei ist gezwungen, eine Textdateiformat für Unix zu halten. Einige Editoren können herkömmliche Windows-Dateien konvertieren, manchmal kann es das FCT-Client machen. Die Datei besteht aus Datensätzen, von denen jeder ein Paar von Feldern umfasst: eine Linie mit dem Namen der Client-Anwendung (User-Agent), als eine oder mehrere Linien mit nicht zulassen Richtlinien beginnen:
<Field> ":" <value>

User-Agent-String enthält den Namen des „Roboter“. Zum Beispiel:
User-agent: googlebot

Wenn Sie auf alle Roboter anwenden, können Sie den Platzhalter „*“ verwenden:
User-agent: *

Die Namen der Roboter können in Zeitschriften Zugriff auf die Web-Server finden.

Ein weiterer Anteil des Teams besteht aus Linien nicht zulassen. Diese Linien - Richtlinie für den „Roboter“. Sie berichten, „Roboter“, die Dateien und / oder Verzeichnisse von der Indizierung Roboter verboten sind. Zum Beispiel:
Disallow: email.htm

Die Richtlinie kann auch einen Verzeichnisnamen hat:
Disallow: / cgi-bin /

Die Disallow Richtlinie scheint als Platzhalter verwendet werden. Die Norm schreibt vor, dass die Richtlinie / bob Verbot „Spinnen“ zu indizieren auch /bob.html, auch /bob/index.html.

Wenn nicht zulassen Richtlinie leer ist, bedeutet dies, dass der Roboter Index aller Dateien. Mindestens ein Disallow Richtlinie muss für jedes Feld User-Agent vorhanden sein, so robots.txt als gültig angesehen. Vollständig entleerte robots.txt bedeutet wie, dass Blabla Sache, wenn es nicht üblich gewesen wäre.