Schwein Eine Plattform zum Analysieren großer Datensätze
Jetzt downloaden

Schwein Ranking & Zusammenfassung

Schwein Stichworte

Programmierung Analysator Daten Datenanalysator Programmauswerter

Schwein Beschreibung

Eine Plattform zum Analysieren großer Datensätze Das Schwein ist ein Projekt zum Analysieren großer Datensätze, das aus einer hochrangigen Sprache zum Ausdruck von Datenanalyseprogrammen besteht, die mit Infrastruktur zur Bewertung dieser Programme gekoppelt ist. Die aufstrebende Eigenschaft von Schweinprogrammen ist, dass ihre Struktur für eine erhebliche Parallelisierung geeignet ist, die sie wiederum mit sehr großen Datensätzen umgehen können Welche leichten parallelen Implementierungen gibt es bereits (z. B. das Hadoop-Teilprojekt). Die Sprachschicht des Schweins besteht derzeit aus einer Textsprache, die als Schwein lateiniert ist, der folgende Schlüsseleigenschaften hat: * Benutzerfreundlichkeit. Es ist trivial, die parallele Ausführung von einfachen, "peinlich parallelen" Datenanalyseaufgaben erreichen. Komplexe Aufgaben, die aus mehreren miteinander verbundenen Datentransformationen bestehen, werden explizit als Datenstromsequenzen codiert, wodurch sie leicht zu schreiben, zu verstehen und zu warten. * Optimierungsmöglichkeiten. Die Art und Weise, wie Tasks codiert werden, ermöglicht das System, die Ausführung automatisch zu optimieren, wodurch der Benutzer auf Semantik statt Effizienz konzentriert wird. * Erweiterbarkeit. Benutzer können ihre eigenen Funktionen erstellen, um die Sonderzweckverarbeitung durchzuführen. Was ist neu in dieser Version: · Diese Version enthält Verbesserungen zur Verbesserung der Leistung und des Speichers, fügt die Akkumulatorschnittstelle für UDFs hinzu und enthält viele Fehlerbehebungen. · Diese Version arbeitet mit Hadoop 0.20.

Schwein Zugehörige Software