Pydoop Eine Python-MAPREDUCE- und HDFS-API für Hadoop
Jetzt downloaden

Pydoop Ranking & Zusammenfassung

Pydoop Stichworte

Python-Bibliothek Python Karte verkleinern

Pydoop Beschreibung

Pydoop ist ein Python MapReduce und HDFS-API für Hadoop. Pydoop wurde als Wrapper um die C ++ - API gebaut, ermöglicht es Ihnen, vollwertige MAPREDUCE-Anwendungen mit HDFS-Zugriff zu entwickeln. So schreiben Sie ein grundlegendes Python-Wordcount mit Pydoop: von Pydoop.Pipes Import Mapper, Reduzierer, Fabrik, RuntaskClass WordcountMapper (Mapper): Def-Karte (Selbst, Kontext): Wörter = context.getinputValue (). Split () für W In Worten: context.emit (w, "1") Klasse WordCourtReducer (Reduzierer): Def Reduzieren (Selbst, Kontext): s = 0 während context.nextValue (): S + = Int (context.getinputValue ()) Kontext. emitt (context.getinputkey (), str (s)) Runtask (Factory (WordcountMapper, WordCoungReducer)) oder, für einfache Aufgaben wie Word-Zählungen können Sie das Tool Pydoop_Script ausprobieren. Dann würde Ihr Code werden: Def Mapper (K, Text, Schreibsteller): Für Word in text.split (): writer.emit (word, 1) def Reducer (word, zählen, writer): writer.emit (Wort, Summe (Karte (int, count))) Homepage des Produkts

Pydoop Zugehörige Software