Robots.txt Inhalt

[phpxml]

Hallo Zusammen
Ich habe mir eine Robot.txt Datei erstellt.
Darin habe ich folgendes geschrieben.

--
User-agent: *
Disallow: *
Allow: index.php
Allow: robots.txt
Allow: sitemap.xml
Allow: /wp/
--
Muss sonst noch was rein?

[Christian Marquardt]

Was sollte noch rein?

https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt
Nach welcher Logik wird der Zugriff auf die robots.txt erlaubt?
Wenn der Zugriff verboten wäre, könnte der Bot das erst feststellen, nachdem er sie gelesen hat?

[phpxml]

Ich habe nichts gesperrt. Nur in der Robots.txt habe ich ihm gesagt, welche Dateien er beachten/indexieren soll.

[Christian Marquardt]

Lies die Sätze nochmals
Was macht es für einen Sinn die Datei selbst hinsichtlich des Zugriffes zu erwähnen?
Wenn der Zugriff verboten wäre, hat der Bot doch die Datei schon gelesen. Es macht also keinen Sinn hier etwas zu erlauben/verbieten, da der Bot die Datei lesen muss
Ich habe nicht geschrieben, dass du etwas gesperrt hast.

[phpxml]

Ich möchte, dass Roboter (Google & Co nur folgende Dateien lesen können
Allow: index.php
Allow: robots.txt
Allow: sitemap.xml
Allow: /wp/
Alle andere Dateien und Ordner soll er nicht lesen dürfen.

[Christian Marquardt]

Allow: robots.txt
Du vergibt Rechte für eine Datei die der Bot lesen muss??
Und wenn du den Zugriff blocken würdest...wie kann der Bot davon wissen ohne das er die Datei liest?

[phpxml]

Ich möchte, dass Robots nur "index.php, robots.txt, sitemap.xml, sowie alles im Ordner wp ist.
Alle anderen Dateien im Root oder in anderen unter Ordner soll er nicht lesen können
Darum so wie im 1sten Beitrag. Oder ist es so falsch geschriben, wie würde es korrekt aussehen.

[Christian Marquardt]

Wenn du diese simple Logik nicht verstehen kannst, kann ich das jetzt nicht ändern

[phpxml]

Die Logik ist, dass man Dateien/Verzeichnis erlauben kann und auch welche nicht.
Meine Frage ist, ob mein Beispiel so funktionier.
Den ich möchte nur 3 Dateien und 1 Ordner erlauben. Die anderen Dateien im Root und in den anderen UnterOrdner solle er nicht lesen können.