18 Okt 08 Webcrawler (Spider) - Hat das was mit Spiderman oder Matrix zu tun?

Wer kennt sie nicht die Crawler aus Matrix, die jede Ecke der virtuellen Welt durchsuchen und alles und jeden aufspüren

Naja ganz so wie bei NEO ist es “noch” nicht aber wären diese Crawler-Programme Objekte der Realität, kann man sie sich schon als Insekten ähnliche Geschöpfe mit vielen, sehr vielen Armen vorstellen, die durch das Datennetz düsen.
Immer auf der Jagt nach neuem Content (Inhalten) machen diese Programme nichts anderes, als das Web zu durchforsten und neue Inhalte zu finden und zu speichern, um sie bei Abruf, über eine Suchmaschine z.B. in der Ergebnisliste anzeigen zu können.

Hier eine treffende Definition:

Ein Webcrawler (auch Spider) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer Informationen.
(Quelle: Wikipedia)

Interessant sind diese Crawler für uns Homepagebesitzer, weil (more…)

Tags: crawler, searchengine, spider, suchmaschinen