robots.txt

Hi,

ich möchte meine robots.txt dazu nutzen, den Suchmaschinen, besonders Google, zu sagen, das deren Spider nicht auf die Meta-Angaben, sondern auf den Inhalt der Site stürzen(durchsuchen) sollen. Dabei sollen sie ebenfalls allen Links folgen!

Ich hab den Tipp bekommen, die robots.txt so zu schreiben:

User-agent: *
Disallow:


Ist das korrekt und muß in der robots.txt-Datei nicht noch mehr stehen, z.B. ein Head, oder so? Oder muss sie nur diese beiden Zeilen beinhalten?


Thx!

Hi,

ich möchte meine robots.txt dazu nutzen, den Suchmaschinen, besonders Google, zu sagen, das deren Spider nicht auf die Meta-Angaben, sondern auf den Inhalt der Site stürzen(durchsuchen) sollen. Dabei sollen sie ebenfalls allen Links folgen!

Zum Vergrößern anklicken....

das machen die so wie sie wollen, dass kannst du nicht festlegen

Mit der robots.txt kannst du die Such-Roboter nur anweisen bestimmte verzeichnisse nicht zu besuchen (siehe http://de.selfhtml.org/diverses/robots.htm)

In der FAQ (http://www.wintotal-forum.de/index.php/topic,58065.0.html) gibts noch nen paar Links zu weiteren Themen die sich mit Suchmaschinen und deren Arbeitsweisen befassen.