Roboterkennung -Bibliothek zum Erkennen, ob ein HTTP-Benutzer-Agent-Header wahrscheinlich ein Bot ist
Jetzt downloaden

Roboterkennung Ranking & Zusammenfassung

Roboterkennung Stichworte

Python-Bibliothek Python Http. Roboter

Roboterkennung Beschreibung

Roboter_Detection ist ein Python-Modul, um zu erkennen, ob ein bestimmter HTTP-Benutzeragent ein Web-Crawler ist. Es verwendet die Liste der registrierten Roboter von http://www.robotstxt.org: Roboter-Datenbank.DEAGETHERE ist nur eine, Funktion, IS_ROBOT, die eine Zeichenfolge (Unicode oder nicht) annimmt, und ergibt true iff, dass String einen bekannten Roboter mit einem bekannten Roboter übereinstimmt. RoboterTxt.org Roboter-DatenbasieExample >>> Import Robot_Detection >>> Robot_Detection.is_Robot (user_agent_string) Die Aktualisierung eines neuen Versions der Roboterdatenbank kann eine neue Version der Roboter-Datenbank von diesem Link herunterladen. Laden Sie den Datenbank-Dump herunter und führen Sie die Datei robot_detection.py mit der Datei als zuerst mit der Datei aus argument.wget http://www.robotstxt.org/db/all.txt $ Python Robot_Detection.py ALL.TXTIFIF Die Datenbank hat sich geändert, er wird die neue Version von Robot_USeragents-Variablen ausdrucken, die Sie in die Quelle setzen müssen Code.Testsome Einfache Unbestests sind enthalten. Wenn Sie die tests.py-Datei ausführen, führt die Homepage von Tests.Product aus.

Roboterkennung Zugehörige Software