Kā lietot "robots.txt" failu

Robots.txt ir veids kā kontrolēt to, kas ir pieejams meklētājiem (google, yahoo, bing utt.). Ņemiet vērā, ka ne visi meklētāju boti (email farmers, malware bots, utt.) ievēros šos noteikumus....