Robots.txt este un fisier important in pasii de promovare al unui site.

Chiar daca nu doresti ca un motor de cautare sa viziteze articolele este bine sa ai unul si cu optiunea disallowed.

Lipsa unui astfel de fisier poate cauza penalizari.