Cloudera startet Kudu: Neuer Hadoop-Speicher für schnellere Datenanalyse
Neues Open-Source-Projekt ermöglicht Echtzeitanalyse-Anwendungen in Hadoop - jetzt als öffentliche Beta verfügbar
(pressebox) München/ Palo Alto (Kalifornien), 01.10.2015 - Cloudera hat heute die öffentlichen Beta-Release von Kudu bekannt gegeben, einem revolutionär neuen, spaltenbasierten Speicher für Hadoop, der die leistungsstarke Kombination schneller Analysen von schnellen Daten bietet. Als Ergänzung zu den vorhandenen Hadoop-Speicheroptionen HDFS und Apache HBase ist Kudu das erste native Hadoop-Speichermodul, welches sowohl wahlfreien Zugriff mit niedriger Latenzzeit als auch Analysen mit hohem Durchsatz unterstützt. Damit werden Hadoop-Architekturen für die zunehmend gebräuchlichen Echtzeit-Anwendungsfälle deutlich vereinfacht. Eine öffentliche Beta-Version von Kudu ist ab sofort unter der Apache Open-Source-Lizenz erhältlich und wird in Zukunft in den Inkubator der Apache Software Foundation übergehen.
Bis jetzt waren Entwickler gezwungen, sich zwischen schneller Analyse mit HDFS oder effizienten Updates mit HBase zu entscheiden. Besonders seit der Zunahme an Streaming-Daten ist die Nachfrage nach einer Kombination der beiden Funktionen gewachsen, um damit Echtzeit-Analyseanwendungen für veränderliche Daten zu erstellen. Entwickler programmierten daraufhin komplexe Architekturen, um diese Speicheroptionen verfügbar zu haben. Kudu ergänzt die Kapazitäten von HDFS und HBase, indem es gleichzeitiges schnelles Einfügen und Aktualisieren sowie effiziente spaltenweise Scans bietet. Diese leistungsstarke Kombination ermöglicht analytische Workloads in Echtzeit auf einer einzelnen Speicherebene und macht damit komplexe Architekturen überflüssig.
"Wir haben Hadoop von Anfang an verbessert", sagt Charles Zedlewski, Vice President Products bei Cloudera. "Wir haben eine ehrgeizige Mission: Ständig Innovationen in der Community voranzutreiben, um die nächste Generation der von Hadoop unterstützten Analyse herbeizuführen, damit Unternehmen auf die neuesten Technologien reagieren können. Cloudera hat bereits transformiert, was mit Hadoop möglich ist - interaktive Data Discovery mit Impala und flexible Datenverarbeitung und Datenstreaming-Optionen mit Apache Spark. Kudu führt diesen Trend fort, indem es die Speicherarchitektur von Hadoop revolutioniert, um die Entwicklung von Echtzeitanalyse-Anwendungen besser zu unterstützen, und dient als ein entscheidender Schritt zur Festigung von Hadoop als führender Plattform für moderne Analyse."
Die Architektur von Kudu vereinfacht die Entwicklerarbeit beim Erstellen von Analyseanwendungen, indem sie häufige Anwendungsfälle wie Zeitreihenanalyse, Maschinendatenanalyse und Online-Reporting unterstützt. Zusätzlich wurde Kudu so konzipiert, dass aktuelle Trends bei Hardware und speichergestützter Verarbeitung ausgenutzt werden können. Es liefert ausgezeichnete CPU-Leistung, nutzt RAM und Flash. Außerdem ist Kudu als native, offene Komponente innerhalb von Hadoop mit den leistungsstärksten Analyseframeworks integriert für, die es eine schnellere Abfrageleistung bietet. Nutzer verlassen sich bereits auf viele dieser Frameworks, darunter Impala und Spark, für Ende-zu-Ende-Analyseanwendungen auf einer einzigen Plattform.
Kudu wurde gemeinsam von Cloudera und Intel entwickelt, um der sich verändernden Hardware-Landschaft voraus zu sein. Intel trug aktiv zu Kudu bei, damit es heutige und zukünftige Intel-Prozessoren und Speichertechnologien voll ausnutzen kann. Kudu wurde entwickelt, um Innovationen bei persistenten Speichern (pmem) zu nutzen, die durch Intels pmem-Projekt entwickelt werden.
"Bei der Weiterentwicklung der Hadoop-Analyse ist es wichtig, dass sie mit Blick auf die Hardware der nächsten Generation konzipiert wird", sagt Vin Sharma, Director of Strategy & Products for Big Data Analytics bei Intel. "Kudu ist ein entscheidender Meilenstein für Hadoop, weil es den wachsenden Bedarf nach vereinfachten Echtzeitanwendungen anspricht. Intel hat mit Cloudera und der Community zusammengearbeitet, um sicherzustellen, dass Kudu schon heute für schnelle Analyseleistung optimiert ist: Aber es ist auch so gebaut, dass es Intels Plattform-Weiterentwicklungen bis weit in die Zukunft nutzen kann, wie zum Beispiel Intel DIMMs mit 3D XPoint Speicher."
Als Open-Source-Projekt hat Kudu breite Unterstützung aus der Community erhalten. Xiaomi, einer der größten Smartphone-Entwickler der Welt, war einer der ersten Beta-User von Kudu und trug aktiv zum Projekt bei. Andere Unternehmen, darunter AtScale, Splice Machine und Zoomdata, haben ebenfalls an Kudu mitentwickelt.
Damit Unternehmen weiterhin von datengetriebenen Erkenntnissen profitieren können, muss die Architektur von Hadoop in derselben, sich ständig beschleunigenden Geschwindigkeit arbeiten, in der Daten erstellt und verändert werden. Mit Kudu leitet die Hadoop-Community die nächste Generation von Hadoop-Anwendungen mit Speichern für schnelle Analysen schneller Daten ein.
"Im Zeitalter maschinengenerierter Daten gibt es ein steigendes Bedürfnis, Daten in menschlicher Echtzeit zu analysieren. Das trifft auf ein breites Spektrum analytischer Anwendungsbereiche zu, von Monitoring und Business Intelligence bis zu Vorhersagemodellen und Empfehlungen", sagt Curt Monash, Vorstand bei Monash Research. "Kudu, Spark und der Rest des Hadoop-Stacks bilden einen vielversprechenden Ansatz, um letztlich diese Bedürfnisse zu decken."
Bis jetzt waren Entwickler gezwungen, sich zwischen schneller Analyse mit HDFS oder effizienten Updates mit HBase zu entscheiden. Besonders seit der Zunahme an Streaming-Daten ist die Nachfrage nach einer Kombination der beiden Funktionen gewachsen, um damit Echtzeit-Analyseanwendungen für veränderliche Daten zu erstellen. Entwickler programmierten daraufhin komplexe Architekturen, um diese Speicheroptionen verfügbar zu haben. Kudu ergänzt die Kapazitäten von HDFS und HBase, indem es gleichzeitiges schnelles Einfügen und Aktualisieren sowie effiziente spaltenweise Scans bietet. Diese leistungsstarke Kombination ermöglicht analytische Workloads in Echtzeit auf einer einzelnen Speicherebene und macht damit komplexe Architekturen überflüssig.
"Wir haben Hadoop von Anfang an verbessert", sagt Charles Zedlewski, Vice President Products bei Cloudera. "Wir haben eine ehrgeizige Mission: Ständig Innovationen in der Community voranzutreiben, um die nächste Generation der von Hadoop unterstützten Analyse herbeizuführen, damit Unternehmen auf die neuesten Technologien reagieren können. Cloudera hat bereits transformiert, was mit Hadoop möglich ist - interaktive Data Discovery mit Impala und flexible Datenverarbeitung und Datenstreaming-Optionen mit Apache Spark. Kudu führt diesen Trend fort, indem es die Speicherarchitektur von Hadoop revolutioniert, um die Entwicklung von Echtzeitanalyse-Anwendungen besser zu unterstützen, und dient als ein entscheidender Schritt zur Festigung von Hadoop als führender Plattform für moderne Analyse."
Die Architektur von Kudu vereinfacht die Entwicklerarbeit beim Erstellen von Analyseanwendungen, indem sie häufige Anwendungsfälle wie Zeitreihenanalyse, Maschinendatenanalyse und Online-Reporting unterstützt. Zusätzlich wurde Kudu so konzipiert, dass aktuelle Trends bei Hardware und speichergestützter Verarbeitung ausgenutzt werden können. Es liefert ausgezeichnete CPU-Leistung, nutzt RAM und Flash. Außerdem ist Kudu als native, offene Komponente innerhalb von Hadoop mit den leistungsstärksten Analyseframeworks integriert für, die es eine schnellere Abfrageleistung bietet. Nutzer verlassen sich bereits auf viele dieser Frameworks, darunter Impala und Spark, für Ende-zu-Ende-Analyseanwendungen auf einer einzigen Plattform.
Kudu wurde gemeinsam von Cloudera und Intel entwickelt, um der sich verändernden Hardware-Landschaft voraus zu sein. Intel trug aktiv zu Kudu bei, damit es heutige und zukünftige Intel-Prozessoren und Speichertechnologien voll ausnutzen kann. Kudu wurde entwickelt, um Innovationen bei persistenten Speichern (pmem) zu nutzen, die durch Intels pmem-Projekt entwickelt werden.
"Bei der Weiterentwicklung der Hadoop-Analyse ist es wichtig, dass sie mit Blick auf die Hardware der nächsten Generation konzipiert wird", sagt Vin Sharma, Director of Strategy & Products for Big Data Analytics bei Intel. "Kudu ist ein entscheidender Meilenstein für Hadoop, weil es den wachsenden Bedarf nach vereinfachten Echtzeitanwendungen anspricht. Intel hat mit Cloudera und der Community zusammengearbeitet, um sicherzustellen, dass Kudu schon heute für schnelle Analyseleistung optimiert ist: Aber es ist auch so gebaut, dass es Intels Plattform-Weiterentwicklungen bis weit in die Zukunft nutzen kann, wie zum Beispiel Intel DIMMs mit 3D XPoint Speicher."
Als Open-Source-Projekt hat Kudu breite Unterstützung aus der Community erhalten. Xiaomi, einer der größten Smartphone-Entwickler der Welt, war einer der ersten Beta-User von Kudu und trug aktiv zum Projekt bei. Andere Unternehmen, darunter AtScale, Splice Machine und Zoomdata, haben ebenfalls an Kudu mitentwickelt.
Damit Unternehmen weiterhin von datengetriebenen Erkenntnissen profitieren können, muss die Architektur von Hadoop in derselben, sich ständig beschleunigenden Geschwindigkeit arbeiten, in der Daten erstellt und verändert werden. Mit Kudu leitet die Hadoop-Community die nächste Generation von Hadoop-Anwendungen mit Speichern für schnelle Analysen schneller Daten ein.
"Im Zeitalter maschinengenerierter Daten gibt es ein steigendes Bedürfnis, Daten in menschlicher Echtzeit zu analysieren. Das trifft auf ein breites Spektrum analytischer Anwendungsbereiche zu, von Monitoring und Business Intelligence bis zu Vorhersagemodellen und Empfehlungen", sagt Curt Monash, Vorstand bei Monash Research. "Kudu, Spark und der Rest des Hadoop-Stacks bilden einen vielversprechenden Ansatz, um letztlich diese Bedürfnisse zu decken."
