Crawler4J.

Open Source Web Crawler für Java
Jetzt downloaden

Crawler4J. Ranking & Zusammenfassung

Anzeige

  • Rating:
  • Lizenz:
  • Apache
  • Preis:
  • FREE
  • Name des Herausgebers:
  • Yasser Ganjisaffar
  • Website des Verlags:
  • http://www.ics.uci.edu/~yganjisa/
  • Betriebssysteme:
  • Mac OS X
  • Dateigröße:
  • 29 KB

Crawler4J. Stichworte


Crawler4J. Beschreibung

Open Source Web Crawler für Java CRAWLER4J ist eine offene Quelle und kostenlose Java-Crawler, die eine einfache Schnittstelle zum Kriegen des Webs bietet. Mit CRAWLER4J können Sie einen Multi-Thread-Webrawler in 5 Minuten einrichten! Crawler4J ist sehr effizient gestaltet und hat die Fähigkeit, Domains sehr schnell zu kriechen (z. B. hat es in der Lage, 200 Wikipedia-Seiten pro Sekunde zu kriechen). Da dies jedoch gegen Crawling-Richtlinien ist, und setzt Riesige Last auf Server (und sie könnten Sie blockieren!), Seit Version 1.3 wartet der CRAWLER4J seit Version 1.3 mindestens 200 Millisekunden zwischen Anfragen. Dieser Parameter kann mit der Funktion "SetPolitageDelay" im Controller abgestimmt werden. Detaillierte Nutzungsanweisungen für den Crawler4J-Webcrawler sind hier verfügbar.


Crawler4J. Zugehörige Software

Über uns