Asa, deci orice persoana initiata cat de cat in ale Internetului stie despre ce este vorba. In timp ce cautam pe Internet mai multe detalii despre ce si cum face acest fisier, am gasit pe Seopedia cea mai usoara, dar in acelasi timp detaliata descriere a utilitatii:
Ion e cioban. Intr-o seara dupa 5 sticle de palinca i-a venit ideia sa isi numeasca turma de oi „miorita.com”. Ion, evident.. are si un caine, pe care tot in noapte cu palinca l-a numit „robots.txt”, nici el nu stie de ce.
In mijlocul padurii intunecate sta „lupul cel mare si rau” care isi trimite periodic lupii aia mai mici sa caute turmele de oi, sa le numere, sa vada cat de grase sunt oile, le catalogheaza, le da „pagerank”, etc. sa vada daca pot fi de vre-un folos „lupului cel mare si rau”.
Ion se supara si zice „ba, nu mai arunca nici un lup un ochi in ograda mea” si il pune pe „robots.txt” sa pazeasca.
In continuare, restul e poveste… „robots.txt” intampina frumos lupul care vine sa faca statistica, ii arata de foarte aproape un pumn pe care scrie mare „disallow”, lupul se intoarce dezorientat si gata.
Toti au trait fericiti pana la adanci batraneti.
Sursa
