Robots.txt
Robots.txt is een tekstbestand dat instructies bevat voor zoekmachines over welke pagina’s of delen van een website wel of niet moeten worden gecrawld en geïndexeerd. Webmasters kunnen het robots.txt-bestand gebruiken om zoekmachines te vertellen welke delen van hun site ze willen uitsluiten van indexatie, zoals privacygevoelige pagina’s of delen met dubbele inhoud.
Hulp nodig?
Bij Digital Marketing Unlimited denken we graag mee. Neem contact op om de mogelijkheden voor jouw SEO verder uit te werken.