Www :: schaber :: lite Ein Framework für Kratzergebnisse von Suchmaschinen
Jetzt downloaden

Www :: schaber :: lite Ranking & Zusammenfassung

Www :: schaber :: lite Stichworte

Domain Perl-Modul Http. Perl Domänenschaber HTTP-Schaber

Www :: schaber :: lite Beschreibung

Ein Framework für Kratzergebnisse von Suchmaschinen Www :: scraper :: lite ist ein HTTP-Schabermodul, das in Perl.synopsis-My $ Domain = 'http: //devsite.local/' geschrieben ist; Mein $ Scraper = www :: schaber :: lite-> new (); $ skraper-> crawl ($ domain, {'// a' => sub {# Handler für alle 'A' Tags My ($ Scraper, $ Knoten) = @_; $ Scraper-> enqueue (Grep {$ _ = ~ m {^ $ domain}} # Nur diese Domain Map {$ Scraper-> url_remove_anchor ($ _)} # Nur Indexseiten ohne #anchor Karte {$ Scraper-> url_make_absolute ($ _)} # Indexer benötigt absolute URLs MAP { $ _-> {href}} # Ziehen Sie HREF aus dem 'A' -DOM-Knoten @ {$ -Knoten});}, '/ *' => Sub {# Handler für alle Inhalte My ($ Scraper, $ Knoten) = @_; $ drucken $ Scraper -> {aktuell} -> {Antwort} -> Inhalt; # Tun Sie etwas Nützliches mit HTTP-Antwort},}); Anforderungen: · Perl. · strikt · Warnungen · LWP :: UserAgent · HTML :: TreeBuilder :: XPath

Www :: schaber :: lite Zugehörige Software