Mijn kennis deel ik graag met jou. Bekijk deze kennisbank waarin ik antwoord geef op veel gestelde vragen en termen.

Robots.txt

De robots.txt is een tekst bestand dat je plaatst in de root van je website (meestal de public_html of www folder). De robots.txt file bevat instructies voor zoekmachine robots aangaande hoe ze je website kunnen en mogen indexeren. Je kunt in dit bestand aangeven welke robots je website wel mogen crawlen en welke niet, wanneer dit mag maar ook waar deze robots de sitemap kunnen vinden. Tevens kun je aangeven welke paginas van je website niet mogen worden gecrawled of geindexeerd.

Een robots.txt bestand is heel erg belangrijk voor SEO. Je website directories zullen worden gecrawled door zoekmachines op basis van de instructies die je ze zelf geeft in je robots.txt