Hadoop Entwickeln Sie einfach Apps, die in der Lage sind, große Datenmengen zu verarbeiten
Jetzt downloaden

Hadoop Ranking & Zusammenfassung

Hadoop Stichworte

Prozess sich entwickeln Datenprozessor Clusterentwicklung Glühbirne. MAPREDUCE-Entwicklung.

Hadoop Beschreibung

Entwickeln Sie leicht Apps, die in der Lage sind, große Datenmengen zu verarbeiten Hadoop ist eine Software-Plattform, mit der man leicht schreiben und Anwendungen ausführen kann, die große Mengen von Data.HADOOP mit dem HADOOP-Distributed-Dateisystem (HDFS) profitieren lassen. MapReduce teilen Ihre Anwendungen in vielen kleinen Arbeitsblöcken. MAPREDUCE kann dann die Daten, in denen er sich befinden, dann verarbeiten.Hadoop wurde auf Clustern mit 2000 Knoten nachgewiesen. Das aktuelle Designziel beträgt 10.000 Knotencluster. Hier sind einige wichtige Funktionen von "Hadoop": · Skalierbar: Hadoop kann Petabytes zuverlässig speichern und verarbeiten. · Wirtschaftlich: Es verteilt die Daten und die Verarbeitung von Clustern von häufig verfügbaren Computern. Diese Cluster können in Tausenden von Knoten nummerieren. · Effizient: Durch den Verteilen der Daten kann Hadoop es parallel an den Knoten verarbeiten, in denen sich die Daten befinden. Dies macht es extrem schnell. · Zuverlässig: HADOOOP setzt automatisch mehrere Kopien von Daten auf und unterstützt automatisch Computeraufgaben auf der Grundlage von Fehlern. Was ist neu in dieser Version: · Unteraufgabe · - Entfernen von Commons-Abhängigkeit von Commons-CLI2 · Insekt · - API-Link im Forrest-Dokument sollte auf dieselbe Version von Hadoop hinweisen. · - Hadoop FS -help sollte detaillierte Hilfsinformationen für folgende Befehle auflisten: Test, Text, Schwanz, Stat und Touchz · - Dokument-JobinitializationPoller-Konfiguration in Kapazitäts-Scheduler Forrest-Dokumentation. · - Dokument TaskTracker-Speicherverwaltungsfunktionalität und Kapazitätsschuldspeicherbasierte Terminplanung. · - Reduzieren Sie den Aufgabenfortschritt> 100%, wenn die Gesamtgröße der Kartenausgänge (für einen einzelnen Reduzierer) hoch ist · - BZIP2CompressionOutputStream NullPounderException · - Wenn die für einen Pfad erforderliche Größe -1 -1, localDirallocator.getLocalpathforwrite ist, fehlschlägt mit einem DisccheCheckerException, wenn die er ausgewählte Festplatte schlecht ist. · - Wiederherstellungsdauer, die auf der Jobtracker-Webseite angezeigt wird, ist ungenau · - O.A.H.MAPRED.MERGER Nicht aufrechterhalten Kartenkomprimierung auf Zwischendateien · - Der Job ist nach einem Killjob in einem laufenden Zustand übrig · - mögliche NPE im SpeicherMatchmatcher von Kapazität · - TestQueueCapacacacacacacacacacies fehlschlägt Hudson-Tests für die letzten paar Builds · - nicht in der Lage, gridmix.jar auf bereits kompilierter Version von Hadoop zu erstellen · - testreplicationPolicy. schlägt auf java.net.bindexception fehl · - TestMrServerports fehlgeschlagen bei java.net.bindexception · - HFTPFILESYSTEM.GETCHECKSUM (..) funktioniert nicht für die Wege mit Schema und Autorität · - org.apache.hadoop.mapReduce.Reducer sollte nicht abstrakt sein. · - Ändern Sie NAMENODE-Datei Close Log in Info · - Kapazitätsplaner sollte nicht nach Anwesenheit der Standardwarteschlange prüfen, während er in Betrieb genommen wird. · - Jobs fehlgeschlagen während der Job-Initalisierung werden niemals aus der Warteliste der Kapazitätsscheiern entfernt · - Aktualisieren Sie die Kapazitätszeitendokumentation, um neueste Änderungen hinzuzuforschen · - Fehler aufgetreten in MROUTPUTTHREAD Nach der letzten Karten- / Reduzierung des Anrufs können Sie nicht erkannt werden · - Die Pipeline von DFS ermittelt in einigen Fällen nicht korrekt defekte Datanode (Hadoop-3339) · - Verwenden Sie den Absolutpfad für den MASTRED.LOCAL.DIR in Minimalcluster · - Karte / Reduzierung leitet keine Jobs mit 0 Karten aus · - Mapred-Metriken zeigen negative Zählung von Warterkarten und reduziert · - testqueuecapaccites.apache.org/jjira/browse/hadoop-op-6017] - Namensode und SecondaryNameNode können aufgrund von abnormalen Dateinamen nicht neu starten. · - Mehrere Bugs mit Hadoop-Archiven · - Die unvollständige Hilfemeldung wird für RM- und RMR-Optionen angezeigt. · - Hadoop 0.20-Zweig "Test-Patch" ist kaputt · - Keine Fehlermeldung zum Löschen der nicht vorhandenen Datei oder des Verzeichnisses. · - Befestigen Sie GenericOptionparer, um mit -d mit "=" im Wert von "=" umzugehen · Verbesserung · - Entfernen Sie die Voreinwirkung von der Kapazitäts-Scheduler-Code-Basis · Neue Funktion · - Neues Binärdateiformat · - Metrisch, um die Anzahl der FS.Exists (oder der Anzahl der GetFileInfo) Anrufe anzuzeigen · - Handhabung von Müll mit Quote

Hadoop Zugehörige Software