Je robots.txt verteld aan zoekmachines, zoals Google, welke pagina's ze wel en niet moeten doorzoeken op je website. Alhoewel je hier zelden iets aan hoeft te doen, kunnen er situaties zijn waarbij je toch een deel van je website niet door zoekmachines of andere bots bezocht wilt hebben. Dit kan je dan aangeven in je robots.txt.

Sinds de laatste update kan je je robtots.txt eenvoudig zelf aanpassen via de front-end van Webanizr. Hoe je dat doet lees je in de handleiding over het zelf plaatsen van je robots.txt.