Schwein Eine DataFlow-Programmierumgebung zur Bearbeitung sehr großer Dateien
Jetzt downloaden

Schwein Ranking & Zusammenfassung

Schwein Stichworte

analysieren Prozess Programmierumgebung. dataset. Dataset Analyzer. Datensatz-Prozessor

Schwein Beschreibung

Eine DataFlow-Programmierumgebung zur Bearbeitung sehr großer Dateien Das Schwein ist eine Open-Source- und kostenlose Plattform zum Analysieren großer Datensätze, die aus einer hochrangigen Sprache zur Ausdrücke von Datenanalyseprogrammen zusammensetzt, die mit Infrastruktur zur Bewertung dieser Programme gekoppelt ist. Die aufstrebende Eigenschaft von Schweinprogrammen ist, dass ihre Struktur für eine erhebliche Parallelisierung geeignet ist, die sie wiederum mit sehr großen Datensätzen umgehen können Welche leichten parallelen Implementierungen gibt es bereits (z. B. das Hadoop-Teilprojekt). Die Sprachschicht des Schweins besteht derzeit aus einer Textsprache mit dem Namen Pig Latin, die folgende Schlüsseleigenschaften aufweist: · Leichtigkeit der Programmierung. Es ist trivial, die parallele Ausführung von einfachen, "peinlich parallelen" Datenanalyseaufgaben erreichen. Komplexe Aufgaben, die aus mehreren zusammenhängenden Datentransformationen bestehen, werden explizit als Datenstromsequenzen codiert, wodurch sie leicht zu schreiben, zu verstehen und zu warten. · Optimierungsmöglichkeiten. Die Art und Weise, in der Tasks codiert werden, ermöglicht das System, die Ausführung automatisch zu optimieren, wodurch der Benutzer auf Semantik statt Effizienz konzentriert wird. · Erweiterbarkeit. Benutzer können ihre eigenen Funktionen erstellen, um die Sonderzweckverarbeitung durchzuführen. Anforderungen: · Java 1.6.x oder höher · Ameise · Hadoop 0.18.x. Was ist neu in dieser Version: · Der Hauptfokus dieser Version ist Multiquery-Support, mit dem mehrere Abfragen innerhalb desselben Skripts optimiert werden können, das eine Berechnung teilen.

Schwein Zugehörige Software