Papy. Parallele Pipelines für Python
Jetzt downloaden

Papy. Ranking & Zusammenfassung

Papy. Stichworte

Python-Bibliothek Python parallel Pipeline Parallelpipeline RPYC Multithreading.

Papy. Beschreibung

Parallele Pipelines für Python Papy ist ein Python-Framework, um Rohrleitungen (Flussdiagramme) von beliebigen Tasks parallel zu konstruieren und auszuführen, entweder lokal mit Multi-Bearbeitungs- oder Multi-Threading oder ferngesteuert mit RPC (Remote-Prozedur-Anrufe), wie von RPC (Remote Python Call) bereitgestellt. Die Pipeline ist als willkürlich gerichteter azyklischer Graph dargestellt. Der Benutzer muss Funktionen der Knoten (Pipers genannt) und den Kanten (Pipes genannt) definieren, die Datenfluss oder Abhängigkeit darstellen. Piper-Instanzen werden den virtuellen Ressourcen (bezeichnete IMAPs) zugewiesen, die technisch technisch Pools lokaler und / oder Remote-Prozesse oder Fäden sind. IMAPs ähnelt der MultiprocESSING.POOL IMAP-Methode, unterstützen jedoch mehrere Aufgaben, dh (funktionsunabhängige) Tupel, die miteinander verwoben sind, anstatt nach einem anderen ausgewertet zu werden. : @Imports (], ], ]]) Def HID (I): RETURN "PROINT% s ist auf dem Host:% s Verwendung von Prozess:% s und Funktion:% s "% (I , Socket.GethostName (), OS.GETPID (), ID (HID)) erstellt eine IMAP-Instanz, die 4 Prozesse verwendet: local_pool = iMAP ( Arbeiter_num = 4) Erstellt eine IMAP-Instanz, die 4 Threads verwendet: local_thread_pool = iMAP (agecraft_type = 'Thread', weicher_num = 4) erstellt eine IMAP-Instanz, die 8 Remote-Prozesse auf 2 hosts.remote_pool = iMAP (agecraft_num = 0, verwendet. Arbeiter_remote = , , 4]]) Der achter_num = 0 überschreibt den Standard der Erstellung lokaler Arbeitsprozesse in der Anzahl der verfügbaren CPUs. Remote-Hosts ('host1' und 'host2') sollten einen RPYC Classic-Server im Gabelmodus ausführen der einstellbaren Größe, die einen parallelen (Speicherverbrauch) vs lazy (sofortige Ergebnisse) ermöglicht, ist flexibel (sofortige Ergebnisse). * Die Anzahl der verwendeten Prozesse / Threads ist uneingeschränkte * Pipers können in Begriffe zugewiesen werden, um beliebig zugewiesen werden. Merkmale von "papy": · Bau von willkürlich komplexen Pipelines · Flexible lokale und entfernte Parallelität · Freigegebene lokale und entfernte Ressourcen · Robustheit zu Ausnahmen · Unterstützung für Timeouts · Echtzeit-Protokollierung · OS-Unabhängig (wirklich ein Merkmal der Multiprozessung) · Cross-Platform (wirklich ein Merkmal von RPYC) · Getestet und dokumentiert. Anforderungen: · Python

Papy. Zugehörige Software