Robots.txt ir veids kā kontrolēt to, kas ir pieejams meklētājiem (google, yahoo, bing utt.). Ņemiet vērā, ka ne visi meklētāju boti (email farmers, malware bots, utt.) ievēros šos noteikumus.
Izveidojiet failu ar nosaukumu "robots.txt" Jūsu domēna "public_html" mapē.
Te būs pāris vienkārši piemēri, ko Jūs varat iesākt ar šo failu:
1) Šis liegs botiem pārvietoties pa jūsu vietni.
User-agent: * Disallow: /
2) Šis liegs botiem piekļuvi mapei "private"
User-agent: * Disallow: /private/
3) Šis liegs botiem piekļuvi mapēm "private" un "images"
User-agent: * Disallow: /images/ Disallow: /private/
4) Šis liegs botiem piekļuvi lapai "nobots.html" kas atrodas "public_html" mapē
User-agent: * Disallow: /nobots.html
Vairāk piemēru ko iesākt ar robots.tx varat atrast te
