ROBOTS.TXT

[Marek Kubita]

On 15 Jul 1996, Robert Urbanik wrote:

> na muj server pravidelne pristupuji nekteri uzivatele a dozaduji se souboru
> ROBOTS.TXT. tento soubor jsem  ale na WWW nikdy nemel.
> Nevite nahodou nekdo o co se jedna?

Ti uzivatele jsou nejspis hledaci roboti (Lycos,Altavista,InfoSeek,...),
kteri si obhlednou Vas server a stranky na nem zaindexuji do sve databaze.
Doporucuje se, aby pritom nestahovali vsechno, ale brali ohled na
/robots.txt - v nem muzete urcit, kam se maji divat a kam ne.

Podrobnosti viz URL

http://info.webcrawler.com/mak/projects/robots/norobots.html

   Marek Kubita _____ marek at exprit.cz
   System Support ___
   Exprit s.r.o. ____