jak korzystać z pliku robots.txt

Jak korzystać z pliku robots.txt?