ISP: Zlobivy robot?

[Adam AHA Hauner]

On Fri, 23 Jan 1998, Petr Nachtmann wrote:

> http://netmag.cz/98/4/spider.html
> precetl o tom, jak se chova robot Seznamu, byl jsem prekvapen. Ma i nekdo
> jiny podobne zkusenosti, nebo Kolar prehani?

*** Ac nejsem autorem robota a ani nejsem presne informovan o jeho dalsim
vyvoji, napada mne nekoliv veci, ktere mohou ovlivnit chovani robota.

    Za jednu z nejpodstatnejsich povazuji ruzna FQDN pro jeden stroj.
Myslim, ze vetsina z vas vi o ruznych adresach NetMagu (netmag.cz,
netmag.home.cz, netmag.vas.chce.nasrat.cz, www.netmag.cz). Robot nema
jednoznacnou moznost zjistit, ze se jedna o ten a tyz WWW server (viz
HTTP/1.1), ani metoda zjistovani IP neni spolehliva (znam nekolik stroju s
vicero IP). Robot nasosa sice ze stroje 4x peering.html, ale pro nej se to
jevi jako 4 ruzne stroje. Tolik tedy prvni.

    Tahani v noci povazuji za teoreticky irelevantni pozadavek neb nikde
neni definovano, ze je noc klidnejsi. Domena .cz totiz nerika, ze jeji
obsah je urcen pro casovou zonu MET (neboli +0100), videl jsem
nekolikery statistiky, ktere ukazuji nasobne vetsi aktivitu vikendovych
noci v porovnani vikendovych ran a dopoledni.

    Tahani vice stranek najednou povazuji za rozumne - vzhledem ke stavu
ceskeho internetu je rozumne v pripade uspesneho stahnuti stranky jedne
stahnout i stranky dalsi. =)
    Zde si dovolim upozornit, ze stahnuti 2 stranek za sekundu a to po
sobe nepovazuji na dobre lince za nemozne a tim padem si dovolim
zpochybnit vyroky Radima.
    Domnenka: Robot KOMPASu nebezi jako osamoceny robot, ale jako komplex
spolupracujicich robotu. Tim padem by bylo vysvetleno vicenasobne tahani.

    Doporuceni tymu WebCrawleru povazuji v nekolika bodech za crawska -

* indexace po dvou mesicich je neschopna obstat v konkurenci dalsich
  robotu, jako jeden z webmasteru PinkNetu vim, ze idealni stav indexace
  zpravodajskeho serveru je jednou denne =)

* nocni hodiny - viz prechozi text

* talk deamon spravce - nerealizovatelny nesmysl, jedna se o robota,
  nikoliv o dite s chuvou a mobilem

  Ad AVI - toto je chyba =)


	takze tolik muj nazor

                                        Adam Hauner

P.S.: Kopii dostal jak autor clanku, tak team autoru Kompasu.
----------------------------------------------------------------------------
Adam Hauner (AHA)
aha at pinknet.cz                                               Projekt PinkNet
+420 603 471460                                           projekt at pinknet.cz
ICQ: 3443338
http://i.love.pinknet.cz/aha/
----------------------------------------------------------------------------