05223 49112 - 0

Rufen Sie uns an

Robots.txt

Bei der robots.txt Datei handelt es sich um eine Textdatei, in der festgelegt werden kann, welche Bereiche einer Domain von einem Webcrawler gecrawlt (durchsucht) werden dürfen und welche nicht. Mit der robots.txt können einzelne Dateien in einem Verzeichnis, komplette Verzeichnisse, Unterverzeichnisse oder ganze Domains vom Crawling ausgeschlossen werden. Die robots.txt-Datei wird im Root der Domain hinterlegt. Sie ist das erste Dokument, das ein Bot abruft, wenn er eine Webseite besucht. Es kann also sein, dass die robots.txt bestimmte Seiten bei Bing durchsuchen darf, bei Google aber nicht. 

Complac Logo