Joklib Ein Werkzeugsatz, um Python-Skripts als Jobs auszuführen; Nämlich: Persistenz und faule Neubewertung (zwischen MAKE und MEMOIZE Muster), Protokollierung und Werkzeuge zum Wiederverwendung von Skripts.
Jetzt downloaden

Joklib Ranking & Zusammenfassung

Joklib Stichworte

Python-Bibliothek Python Bücherei Python-Jobs Arbeitsplätze

Joklib Beschreibung

Ein Werkzeugsatz, um Python-Skripts als Jobs auszuführen; Nämlich: Persistenz und faule Neubewertung (zwischen MAKE und MEMOIZE Muster), Protokollierung und Werkzeuge zum Wiederverwendung von Skripts. Joblib ist eine Python-Bibliothek, die eine Reihe von Tools bereitstellt, um Python-Skripts als Jobs auszuführen; nämlich: 1. Persistenz und faule Wiederbewertung (zwischen MAKE und MEMOIKEN MATER), 2. Protokollierung, 3. Tools zum Wiederverwenden von Skripts.Der ursprünglicher Fokus lag auf wissenschaftlichen Rechenkripts, aber jede langweilige Nachfolge von Operationen kann jedoch von den von Joblib.JOBLIB bereitgestellten Werkzeugen profitieren. Die langfristige Vision besteht darin, Werkzeuge für Wissenschaftler bereitzustellen, um beim Ausführen von Arbeitsplätzen eine bessere Reproduzierbarkeit zu erreichen. Es trifft jedoch, dass der Satz von funktionsfähigen Funktionalitäten für lange laufende Jobs ist, die etwas bauen oder berechnen. Zum Beispiel kann Joblib verwendet werden, um ein leichter Gewichtsersatz bereitzustellen. Die wichtigsten wichtigsten Probleme sind: 1. Über und über das gleiche Skript, wie es abgestimmt ist, aber kommentiert die Schritte oder unkommentierende Schritte, wie sie benötigt werden, da sie lange dauern.2. Nicht ideales Persistenzmodell, zu oft vom Wissenschaftler von Hand implementiert, was dazu führt, dass Menschen eine schwere Zeit, die den Job wieder aufnehmen, z. B. nach einem Crash.3. Personen schreiben Skripts anstelle wiederverwendbare Funktionen, da Wissenschaftler Datenverarbeitung wahrnehmen, und manchmal Simulationen als sequenzielle Set von Operationen, sind jedoch nicht immer in der Lage, wiederverwendbare Blöcke zu erkennen. Dies führt zu einer unglaublichen Menge an Code-Duplizierungen, bei der häufig ein neuer Verarbeitungsauftrag erstellt wird, indem er einen alten Kopieren und Ändern von IT. Aus einem Software-Engineering-Sicht ist dies ein Albtraum. Der Ansatz von Joblib, um diese Probleme anzugehen, besteht nicht darin, keinen schweren Rahmen zu bauen und den Benutzer zu verwenden, um ihn zu verwenden. Es ist bestrebt, eine Reihe von benutzerfreundlichen, leichten, leichten Werkzeugen aufzubauen, die mit dem Verstand des Benutzers, ein Skript zu führen, und keine Bibliothek zu entwickeln. Die bisher identifizierten und entwickelten Werkzeuge sind: 1. Eine makeähnliche Funktionalität. Ziel ist es, ein Skript in einem Satz von Schritten mit genau definierten Eingängen und -ausgängen zu trennen, die nur dann gespeichert werden können, und wiederherzustellen. Diese Funktionalität hilft bei der Lösung von Problem 1) sowie Problem 2), da es ein genau definiertes Persistenzmodell ergibt. Darüber hinaus können die Identifizierung von Blöcken bei Problem 3 helfen). Diese Funktionalität ist derzeit als das MAKE-Dekorateur (und ein bisschen den Memoize-Dekorator) ausgesetzt. Dies ist ein ziemlich hartes Problem, aber es scheint, dass die aktuelle Implementierung gut genug ist, um an einer Reihe von Problemen zu arbeiten.2. Eine Möglichkeit, Standardeingabeparameter in Skripts anzugeben, danach können danach mit einem verherrlichten 'EXECFILE' überschrieben werden. Dies ist ein Weg, um die Standardverarbeitungsschritte, die als Skript geschrieben wurden, wiederverwenden und wiederverwenden, wodurch das Problem 3 angewiesen ist. Dies ist in dem Run_Scripts.py-Modul freigelegt.3. Die oben beschriebenen Zweifunktionalitäten erwerben progressiv einen besseren Protokollierungsmechanismus, um zu verfolgen, was gelaufen ist, und erfassen Sie das E / A leicht. Darüber hinaus liefert Joblib ein paar E / A-Primitiven, um das Definieren von Protokollierungs- und Anzeigeströmen einfach zu definieren, und vielleicht eine Möglichkeit, einen Bericht zu kompilieren, wahrscheinlich mit einigen von Pylab-Plots erfassten Grafiken oder etwas anderes (hier ergibt sich Definieren Sie eine einfache API für einen Visualisierungsmechanismus, zusätzlich zu der für die Persistenz definierten). Auf lange Sicht möchten wir in der Lage sein, schnell zu inspizieren, was ausgeführt wurde, und visualisieren Sie die Ergebnisse, um mehrere Läufe vergleichen zu können. Dies würde versuchen, ein virtuelles Labor-Buch zu erreichen. Darüber hinaus, kombiniert mit dem Persistenzmodell, hätte das Labbuch auch die gespeicherten Daten, die auf der Projektseite angegeben sind, derzeit das Projekt in der Alpha-Qualität ist. Ich teste stark alle Merkmale, da ich mich mehr um Robustheit interessiert, als viele Funktionen zu haben. Auf der anderen Seite erwarte ich, mit der API zu spielen, und die Funktionen für eine Weile, bevor ich herausfinden kann, was die richtige Funktionalität der Funktionen aussetzen kann. Der Code wird auf Launchpad ausgerichtet, aus dem gut das Projekt verzweigt und veröffentlicht wird Neben der Seite ist mein Zweig total. Ich vermute, dass einige der vorhandenen Funktionen (z. B. der MAKE-Dekorateur) bereits nützlich sein können. Anforderungen: · Python

Joklib Zugehörige Software