Methabot Dateisystem Crawler
Jetzt downloaden

Methabot Ranking & Zusammenfassung

Methabot Stichworte

Netz FTP Raupen Web-Crawler FTP-Crawler Dateisysteme Crawler

Methabot Beschreibung

Dateisystem Crawler. Die Methabot-Software ist ein speed-optimierter, briptbarer und hochkonfigurierter Web-, FTP- und lokaler Dateisystem-Raupen. Es unterstützt den Skript-Filetyp-Analyse, eine Vielzahl von Anpassungsoptionen und ist leicht konfiguriert, um an den jeweiligen Anforderungen an die jeweiligen Anforderungen anzupassen. Mit der Verwendung des Modulsystems und der Skriptsprache können Benutzer die volle oder teilweise Steuerung des Crawling-Prozesses annehmen und entscheiden, wie Methabot Sollte Webdaten, Statistiken und vieles mehr speichern. Durch das Ausführen von Methabot von der Befehlszeile können Sie benutzerdefinierte Filetypen konfigurieren, Ausdrücke, Verhalten und vieles mehr filtern, sodass Sie keinen Skipter sein müssen! Hier sind einige wichtige Merkmale von "Methabot": · Es ist schnell, aus dem Boden entworfen und mit der Geschwindigkeitsoptimierung im Sinn. · Skriptbar durch Javascript mit E4x · Benutzerdefinierte Filetyp-Filterung (gemäß MIME-Typ, Dateierweiterung oder Umex-Ausdruck) · Multi-Thread · Hoch konfigurierbar von der Befehlszeile · Erweiterbares Modulsystem, das benutzerdefinierte Datenparsperern und -filter unterstützt. · Einfache noch leistungsstarke Filterung von URLs durch Umex. · Automatisiertes Download. · Unterstützung für die automatische Cookie-Handhabung beim Laufen von HTTP · Zuverlässige, fehlertolerante Networking · Tragbar, getestet mit Erfolg bei 32-Bit / 64-Bit-Linux 2.6, 32-Bit / 64-Bit-FreeBSD 6.x / 7.0, Windows XP und Mac OS X. sollte an fast jedem unixähnlichen Betriebssystem arbeiten. Anforderungen: · Spidermonkey Headers. · Curl und Libcurl Was ist neu in dieser Version: · Bugfix, wenn externer Peek verwendet wurde, wurde die Tiefenlimit durcheinander gebracht. · Speicherverbrauch Cleanup Fixes · Die Option Dynamic-URL ist standardmäßig nicht mehr auf Lookups eingestellt, da er den Krieger erheblich verlangsamt · Das Bausystem erstellt nun einige Header-Dateien, die Module beim Verknüpfen verwenden können · Metha-config-Tool hinzugefügt · LMM_MYSQL ist außerhalb dieses Pakets verschoben

Methabot Zugehörige Software