Robots.txt este un fisier aflat in root-ul domeniului, ce contine informatii despre structura site-ului pentru a informa robotii de cautare.

De obicei un fisier robots.txt contine restrictiuni pentru robotii de cautare in accesarea anumitor foldere private.

Daca utilizati un CMS, gen WordPress sau Joomla fisierul robots.txt este inclus, dar daca ati creat un script propriu este necesar sa creati un fisier robots.txt pentru motoarele de cautare.