Robots.txt geeft crawlers regels over welke URL's zij mogen ophalen. Het is geen toegangsbeveiliging en blokkeert niet gegarandeerd de vermelding van een URL in zoekresultaten.[1]
Gebruik het om onnodige crawlbelasting te beperken, bijvoorbeeld bij eindeloze filtercombinaties. Beveilig privégegevens met echte toegangscontrole. Een pagina die niet geïndexeerd mag worden vraagt een andere aanpak dan alleen het ophalen verbieden.
Inhoud bijgewerkt:
Bronnen
Samengesteld met AI-ondersteuning op basis van openbare bronnen. Algemene uitleg, geen persoonlijk juridisch of fiscaal advies. Een begrip is niet automatisch een functie van Zoloo.