ROBOTS.TXT

[vojtech at bajt.cz]

Hi Robert!

 Ro> mam takovyto problem,
 Ro> na muj server pravidelne pristupuji nekteri uzivatele a dozaduji se
 Ro> souboru ROBOTS.TXT. tento soubor jsem  ale na WWW nikdy nemel.
 Ro> Nevite nahodou nekdo o co se jedna?

To je standardni postup pro "roboty" na internetu. Jde o programy typu
AltaVista, Lycos, InfoSeek, Yahoo, nebo u nas Sherlock ... Jejich
prvni povinnosti dle ted nevim ktereho RFC je podivat se, zda takovy
soubor na serveru existuje, a pokud ano, ridit se jim pri dalsim
prohledavani. Jsou v nem napsane stranky, ktere nema robot nacitat,
nebo naopak seznam stranek na serveru, ktere maji byt primo zarazeny,
aby robot nemusel prolezat vsechny linky.

Vojtech.


... Do radioactive cats have 18 half-lives?
---
 þ Blue Wave/QWK v2.12 þ