robots.txt

Dieses Thema robots.txt im Forum "Windows XP Forum" wurde erstellt von william26, 21. Apr. 2005.

Thema: robots.txt Hi, ich möchte meine robots.txt dazu nutzen, den Suchmaschinen, besonders Google, zu sagen, das deren Spider nicht...

  1. Hi,

    ich möchte meine robots.txt dazu nutzen, den Suchmaschinen, besonders Google, zu sagen, das deren Spider nicht auf die Meta-Angaben, sondern auf den Inhalt der Site stürzen(durchsuchen) sollen. Dabei sollen sie ebenfalls allen Links folgen!

    Ich hab den Tipp bekommen, die robots.txt so zu schreiben:

    User-agent: *
    Disallow:


    Ist das korrekt und muß in der robots.txt-Datei nicht noch mehr stehen, z.B. ein Head, oder so? Oder muss sie nur diese beiden Zeilen beinhalten?


    Thx!
     
  2. Hi,

    das machen die so wie sie wollen, dass kannst du nicht festlegen ;)

    Mit der robots.txt kannst du die Such-Roboter nur anweisen bestimmte verzeichnisse nicht zu besuchen (siehe http://de.selfhtml.org/diverses/robots.htm)

    In der FAQ (http://www.wintotal-forum.de/index.php/topic,58065.0.html) gibts noch nen paar Links zu weiteren Themen die sich mit Suchmaschinen und deren Arbeitsweisen befassen.