ROBOTS.TXT
elzet at bajt.cz
elzet at bajt.cz
Tue Jul 16 04:36:43 CEST 1996
IU>mam takovyto problem,
IU>na muj server pravidelne pristupuji nekteri uzivatele a dozaduji se souboru
IU>ROBOTS.TXT. tento soubor jsem ale na WWW nikdy nemel.
IU>Nevite nahodou nekdo o co se jedna?
-----------------------------------------------------------------
Uzivatele to sice mohou byt take, ale spise to jsou prohledavaci roboty.
V onom souboru jsou (s urcitou syntaxi) ulozeny oblasti (adresare)
serveru, kam temto robotum spravce serveru zakaze pristup (= nepreje si,
aby se tyto materialy objevily v indexech prohledavacu). Jde o
gentlemanskou dohodu, kterou je slusne plnit. Kdyz se ji prohledavac
nedrzi, prosmatra vsechno, co prosmatrat muze.
L. Zajicek, Bajt
More information about the net
mailing list