Wil jij meer weten over webdesign? Bekijk dan deze kennisbank waarin ik antwoord geef op veel gestelde vragen

Robots.txt

De robots.txt is een tekst bestand dat je plaatst in de root van je website (meestal de public_html of www folder). De robots.txt file bevat instructies voor zoekmachine robots aangaande hoe ze je website kunnen en mogen indexeren. Je kunt in dit bestand aangeven welke robots je website wel mogen crawlen en welke niet, wanneer dit mag maar ook waar deze robots de sitemap kunnen vinden. Tevens kun je aangeven welke paginas van je website niet mogen worden gecrawled of geindexeerd.

Een robots.txt bestand is heel erg belangrijk voor SEO. Je website directories zullen worden gecrawled door zoekmachines op basis van de instructies die je ze zelf geeft in je robots.txt