spiderfetch. Kostenloser Python-basierter Web-Spinne
Jetzt downloaden

spiderfetch. Ranking & Zusammenfassung

spiderfetch. Stichworte

bringen Web Spider. kriechen Web-Crawler Spinne holen Website

spiderfetch. Beschreibung

Kostenloser Python-basierter Web-Spinne SpiderFETCH ist ein kostenloser modularer Web-Spinne, der von Rezepten, die aus regulären Ausdrücken zusammengesetzt sind, angetrieben werden. spiderfetch begann als ein Werkzeug, um alle Links auf einer Webseite zu spinnen, aber wenig von Little wurde zu einem vollgeblasenen Web-Spider. . Die gesamte Suite ist in reinem Python (zuvor Rubin) geschrieben und erfordert keine Abhängigkeiten. Hier sind einige wichtige Funktionen von "spiderfetch": · Spinnen Die Seite für alles, was wie eine URL aussieht. · Möglichkeit, URLs für einen regulären Ausdruck zu filtern (beachten Sie, dass dies immer noch Rubys REGEX ist. * Um einen beliebigen Charakter anzugleichen, nicht * wie in der Datei Globbing, (True | False) für die Wahl und so weiter.) · Downloads alle URLs seriell oder nur zum Bildschirm (mit --Dump), wenn Sie filtern / sortieren möchten. · Kann eine vorhandene Indexdatei (mit --USUDEINDEX) verwenden, aber wenn auch relative Links zwischen den URLs vorhanden sind, benötigen sie nach der Verarbeitung, da der Pfad der Indexseite auf dem Server nicht bekannt ist, nachdem sie gespeichert wurde örtlich. · Verwendet WG intern und relays auch seine Leistung. Unterstützt HTTP-, HTTPS- und FTP-URLs. · Semantik, die mit der URL in URLs übereinstimmt; Machen Sie WTGet $ URL ... Erladet keine abgeschlossenen Dateien, downloads Downloads, Wiederholungen unterbrochene Übertragungen. Anforderungen: · Python Einschränkungen: · Nicht garantiert jede letzte URL zu finden, obwohl das Matching ziemlich nachsichtig ist. Wenn Sie mit einer bestimmten URL nicht übereinstimmen, stecken Sie immer noch mit Grep und SED. · Wenn Sie sich selbst in den Browser authentifizieren müssen, um Ihre Mediendateien herunterladen zu können, kann spiderfetch sie nicht herunterladen (wie beim WG im Allgemeinen). Alles ist jedoch nicht verloren. Wenn die URLs FTP sind oder der Webserver eine einfache Authentifizierung verwendet, können Sie sie trotzdem positionieren.

spiderfetch. Zugehörige Software