pyparelelcurl. Eine einfache Schnittstelle zum Abrufen von URL-Ressourcen parallel ohne Threads
Jetzt downloaden

pyparelelcurl. Ranking & Zusammenfassung

pyparelelcurl. Stichworte

URL. Python-Bibliothek Abholer Ressourcen URL-Ressourcen

pyparelelcurl. Beschreibung

Eine einfache Schnittstelle zum Abrufen von URL-Ressourcen parallel ohne Threads pyparallelcurl ist ein Python-Modul, das eine benutzerfreundliche Benutzeroberfläche bietet, damit Sie mehrere Curl-URL-Raubs parallel in Python, ohne Threads ausführen können. .PyTHIS sollte 100 durch die API von Google durchführen, indem Sie die Ergebnisse drucken. Um zu sehen, welche Art von Leistungsunterschiede Parallelanforderungen Sie leiten, versuchen Sie, den Standard von 10 Anforderungen zu ändern, die parallel mit dem optionalen Skriptargument läuft, und das Timing, wie lange dauert: Zeit ./test.py 1 mal ./test.py 20the Ermöglicht zuerst nur eine Anforderung, gleichzeitig auszuführen, die Anrufe serialisieren. Ich sehe dies ungefähr 100 Sekunden. Der zweite Lauf hat jeweils 20 im Flug und dauert 11 Sekunden! Seien Sie jedoch gewarnt, es ist möglich, Ihr Ziel zu überwältigen, wenn Sie zu viele Anfragen gleichzeitig feuern. Sie können mit Ihrer IP von Ihrem Zugriff auf den Zugriff auf diesen Server verboten oder andere API-Limits treffen. Die Klasse ist so gestaltet, dass es einfach ist, mehrere Lockenwünsche parallel auszuführen, anstatt auf jeden zu warten, bevor Sie das nächste Mal beginnen. Unter der Haube verwendet es curl_multi_exec ) Das erste Argument des Konstruktors ist die maximale Anzahl von herausragenden Rabeln, um zuzulassen, dass sie auf dem Blockieren wartet, um auf einen Abschluss zu warten. Sie können diese später mit SetMaxRequests () ändern. Das zweite optionale Argument ist ein Array von Curl-Optionen in dem von curl_setopt_array () verwendeten Format () {'ysy ':' SomeValue ') An den CallbackThis-Anruf bestanden, wird sofort zurückgegeben, sofern weniger als die maximale Anzahl von Anfragen hervorragend ist. Sobald die Anforderung erfolgt ist, wird die Callback-Funktion aufgerufen, z. Der erste ist eine Zeichenfolge, die den in der URL gefundenen Inhalte enthält. Die zweite ist die ursprüngliche URL, die der dritte ist, der Curl-Griff der Anforderung ist, die abgefragt werden kann, um die Ergebnisse zu erhalten, und der vierte ist der beliebige "Cookie" -Wert, den Sie mit diesem Objekt zugeordnet sind. Dieser Cookie enthält benutzerdefinierte Daten. Sie haben möglicherweise Anfragen, die am Ende Ihres Skripts ausstehend sind, Sie müssen Callparallelcurl.finishallRequests (), bevor Sie beenden. Wenn Sie dies nicht tun, können die letzten Anfragen unverarbeitet bleiben! Dies wird tatsächlich auch im Destruktor der Klasse genannt, aber es ist definitiv die beste Praxis, dies explizit anzurufen. Anforderungen: · Python

pyparelelcurl. Zugehörige Software