lwp-rget. LWP-RGET ist ein Perl-Modul, das zum Abrufen von Webdokumenten rekursiv verwendet wird.
Jetzt downloaden

lwp-rget. Ranking & Zusammenfassung

lwp-rget. Stichworte

Netz Perl-Modul abrufen Werden Web-Dokumente abrufen. rekursiv bekommen.

lwp-rget. Beschreibung

LWP-RGET ist ein Perl-Modul, das zum Abrufen von Webdokumenten rekursiv verwendet wird. LWP-RGET ist ein Perl-Modul, das zum Abrufen von Webdokumenten rekursiv verwendet wird --keep = MIME / Typ ] LWP-RGET --VersionThis-Programm ruft ein Dokument ab und speichert sie in einer lokalen Datei. Es folgt alle Links, die im Dokument gefunden wurden, und speichern diese Dokumente sowie Patching-Links, damit sie sich auf diese lokalen Kopien beziehen. Dieser Prozess wird fortgesetzt, bis es keine ungelikten Links mehr gibt, oder der Prozess wird von der einen oder mehreren der Grenzwerte angehalten, die von den Befehlszeilenargumenten gesteuert werden können. Dieses Programm ist nützlich, wenn Sie eine lokale Kopie einer Dokumentesammlung erstellen möchten Oder möchten Sie Weblese-Lesen ausführen. Alle Dokumente werden als einfache Dateien im aktuellen Verzeichnis gespeichert. Die ausgewählten Dateinamen werden von der letzten Komponente von URL-Pfaden abgeleitet. Die Optionen sind: - Auth = Benutzer: PASNSET Die Authentifizierungsanmeldeinformationen an den Benutzer "Benutzer" und Kennwort "Pass", wenn alle eingeschränkten Teile der Website getroffen werden. Wenn keine eingeschränkten Teile der Website- und Authentifizierungsanmeldeinformationen vorhanden sind, werden diese Seiten nicht heruntergeladen. - Tiefe = nlimit Der rekursive Niveau. Embedded-Bilder werden immer geladen, auch wenn sie außerhalb des --depth fallen. Dies bedeutet, dass man --depth = 0 verwenden kann, um zusammen mit allen Inline-Grafiken ein einzelnes Dokument abzurufen. Die Standardtiefe ist 5.-- Hierdownload-Dateien in eine Hierarchie, die die Website-Struktur nachahmt. Der Standardwert besteht darin, alle Dateien in das aktuelle Verzeichnis einzufügen. Der Sonderwert "None" kann verwendet werden, um den Referen-Header in einem der nachfolgenden Anforderungen zu unterdrücken. Der Verspreche-Header wird immer in allen normalen HTTP-Anforderungen unterdrückt, wenn die verweisende Seite über HTTPS wie in RFC 2616 übertragen wurde. . Wenn kein Annahme-MIME-Header vorhanden ist, gibt IIS 2.0 mit einem "406 keine akzeptablen Objekte" -Fehler zurück. Konvertiert auch Back-Slashes (\) in URLs, um Slashes (/).--Endeut=mime/type[demime/type) der aktuellen Erweiterung für die Liste MIME-Typen umzuwandeln. Nützlich beim Herunterladen von Text- / Nur-Dokumenten, die nicht alle auf * .txt-Dateien übersetzt werden .-- limit = nlimit Die Anzahl der Dokumente, die Sie erhalten können. Das Standardlimit ist 50.-- Nospacechanges-Leerzeichen in allen URLs, um Zeichen (_) zu unterstreichen. Nützlich beim Herunterladen von Dateien von Websites, die URLs mit Leerzeichen mit Räumen dienen. Entfernt keine Räume von Fragmenten, z. B. "file.html # irgendwo hier" .-- Prefix = url_prefixlimitieren Sie die Links zu folgen. Es folgen nur URLs, die die Präfixzeichenfolge starten, folgt. Das Standardpräfix wird als "Verzeichnis" der anfänglichen URL eingestellt, das folgen soll. Wenn beispielsweise das LWP-RGET mit der URL http://www.sn.no/foo/bar.html starten, wird das Präfix auf http://www.sn.no/foo/.use --Prefix festgelegt = '' Wenn Sie nicht möchten, dass das Abrufen von jedem Präfix begrenzt ist. - SLEEP = nsleep n Sekunden, bevor jedes Dokument abgerufen wird. Mit diesen Optionen können Sie langsam gehen, den Server nicht laden, den Sie zu viel besuchen. - TolowerTranslates Alle Links zu Kleinbuchstaben. Nützlich beim Herunterladen von Dateien von IIS, da er keine Dateien auf eine fallsempfindliche Weise bedient. und beenden Alle verwendeten Dateinamen werden auch auf STDERR gedruckt, da sie geladen sind. Dieser Druck kann mit der -Quietoption unterdrückt werden. Anforderungen: · Perl.

lwp-rget. Zugehörige Software