❌ Pushdown-Optimierung ❌ Unkompliziert Informatica 6x schneller mit CoSort für PDO mit Filter, Sort, Join + Aggregate ❗
PowerCenter: Alle Aufgaben der Datentransformation mit einem einzigen Auftragsskript und in nur einem E/A-Durchlauf ausführen ❗
13. Oktober 2020, 08:00 Uhr · Quelle: Pressebox
Babenhausen, 13.10.2020 (PresseBox) - Informatica Pushdown-Optimierung: Große Datenintegrationsaktivitäten können außerhalb der Datenbank in einer ETL-Umgebung (Extract, Transform, Load) oder innerhalb der Datenbank in ELT stattfinden!
Ein Beispiel für eine ELT-Operation wäre die Option Pushdown-Optimierung von Informatica, bei der Benutzer Daten in einer relationalen Datenbank wie Oracle oder in Teradata transformieren. Laut Informatica ermöglicht dieser Ansatz "den IT-Systemen und ihren Betreibern, auf wechselnde Anforderungen und Spitzenverarbeitungsanforderungen zu reagieren".
Unsere Kunden sind der Meinung, dass die Arbeit der großen Datentransformation nicht in Datenbanken gehört, die für Speicherung und Abruf konzipiert sind. Transformationen in der Datenbankschicht können die Datenbank und das gesamte System belasten, Ressourcen aus der Wartung der Datenspeicherung ziehen und Abfragen verlangsamen.
Die Geschwindigkeit ist unter allen Umständen, ob es sich nun um eine ETL- oder ELT-Operation handelt, immer entscheidend für die Gleichung. Die IRI CoSort Engine und die moderne IRI Voracity-Plattform, die sie (oder Hadoop) verwendet, unterstützen beide das ETL-Paradigma. Sie optimieren die Leistung bei der Integration großer Datenmengen durch überlegene Transformationsalgorithmen, Aufgabenkonsolidierung und Nutzung der Dateisystemressourcen. Weitere Informationen finden Sie hier.
Solche externen Operationen sind effizienter, erschwinglicher und entlasten BI-, Datenbank- und ältere ETL-Tools von der Last der Datenintegration und -bereitstellung, so dass sie stattdessen die Aufgaben erledigen können, die sie am besten können. Teradaten-, Hadoop-, In-Memory- und Spaltendatenbanken sowie ELT-Anwendungen sind ebenfalls viel teurere und kompliziertere "First-Resort"-Optionen als CoSort!
Wie funktioniert das?
Wir werden häufig von Kunden angesprochen, die Plattformen wie Informatica PowerCenter verwenden und Produktionsaufträge beschleunigen müssen, bei denen Aufträge wie Sortieren, Zusammenfügen und Aggregieren getrennt voneinander ausgeführt werden.
Mit CoSort werden alle Datentransformationsaufgaben mit einem einzigen Auftragsskript und E/A-Durchlauf ausgeführt. Zu diesen Aufträgen können auch Filterung und Konvertierung, eine umfangreiche Reihe von Schutzmaßnahmen auf Feldebene, benutzerdefinierte Neuformatierung und Berichterstellung mit mathematischen Funktionen, spezielle Layouts, mehrere Ziele usw. gehören.
6x schneller, die "Push out"-Optimierung von Informatica an CoSort ist unkompliziert!
Alle 6 Schritte zur Push Out Optimierung von Informatica finden Sie hier im Blog-Artikel von IRI.
Zu Ihrer Information: Voracity ist die "totale Datenmanagementplattform", die CoSort- oder Hadoop-Engines verwendet (aber in beiden Fällen die gleichen Metadaten).
Voracity kombiniert:
1. Datenentdeckung (DB & Flat-File-Profiling, Klassifizierung, ERDs, Dark Data)
2. Datenintegration (ETL, CDC, SCD, usw.),
3. Datenmigration (für Datenbanken, Dateiformate, Datentypen usw.) und Replikation
4. Datenverwaltung (Bereinigung, Maskierung, EMM, MDM usw.)
5. Analytik (eingebettete Berichterstattung und Datenaufbereitung)
alle in der gleichen Eclipse-GUI. Voracity ist außerdem kompatibel mit Erwin (vorher: AnalytiX DS) Mapping Manager und CATfx-Vorlagen für die Verwaltung der ETL-Metadatenschichtung, Erstellung, Abstammung und Konvertierung.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Ein Beispiel für eine ELT-Operation wäre die Option Pushdown-Optimierung von Informatica, bei der Benutzer Daten in einer relationalen Datenbank wie Oracle oder in Teradata transformieren. Laut Informatica ermöglicht dieser Ansatz "den IT-Systemen und ihren Betreibern, auf wechselnde Anforderungen und Spitzenverarbeitungsanforderungen zu reagieren".
Unsere Kunden sind der Meinung, dass die Arbeit der großen Datentransformation nicht in Datenbanken gehört, die für Speicherung und Abruf konzipiert sind. Transformationen in der Datenbankschicht können die Datenbank und das gesamte System belasten, Ressourcen aus der Wartung der Datenspeicherung ziehen und Abfragen verlangsamen.
Die Geschwindigkeit ist unter allen Umständen, ob es sich nun um eine ETL- oder ELT-Operation handelt, immer entscheidend für die Gleichung. Die IRI CoSort Engine und die moderne IRI Voracity-Plattform, die sie (oder Hadoop) verwendet, unterstützen beide das ETL-Paradigma. Sie optimieren die Leistung bei der Integration großer Datenmengen durch überlegene Transformationsalgorithmen, Aufgabenkonsolidierung und Nutzung der Dateisystemressourcen. Weitere Informationen finden Sie hier.
Solche externen Operationen sind effizienter, erschwinglicher und entlasten BI-, Datenbank- und ältere ETL-Tools von der Last der Datenintegration und -bereitstellung, so dass sie stattdessen die Aufgaben erledigen können, die sie am besten können. Teradaten-, Hadoop-, In-Memory- und Spaltendatenbanken sowie ELT-Anwendungen sind ebenfalls viel teurere und kompliziertere "First-Resort"-Optionen als CoSort!
Wie funktioniert das?
Wir werden häufig von Kunden angesprochen, die Plattformen wie Informatica PowerCenter verwenden und Produktionsaufträge beschleunigen müssen, bei denen Aufträge wie Sortieren, Zusammenfügen und Aggregieren getrennt voneinander ausgeführt werden.
Mit CoSort werden alle Datentransformationsaufgaben mit einem einzigen Auftragsskript und E/A-Durchlauf ausgeführt. Zu diesen Aufträgen können auch Filterung und Konvertierung, eine umfangreiche Reihe von Schutzmaßnahmen auf Feldebene, benutzerdefinierte Neuformatierung und Berichterstellung mit mathematischen Funktionen, spezielle Layouts, mehrere Ziele usw. gehören.
6x schneller, die "Push out"-Optimierung von Informatica an CoSort ist unkompliziert!
Alle 6 Schritte zur Push Out Optimierung von Informatica finden Sie hier im Blog-Artikel von IRI.
Zu Ihrer Information: Voracity ist die "totale Datenmanagementplattform", die CoSort- oder Hadoop-Engines verwendet (aber in beiden Fällen die gleichen Metadaten).
Voracity kombiniert:
1. Datenentdeckung (DB & Flat-File-Profiling, Klassifizierung, ERDs, Dark Data)
2. Datenintegration (ETL, CDC, SCD, usw.),
3. Datenmigration (für Datenbanken, Dateiformate, Datentypen usw.) und Replikation
4. Datenverwaltung (Bereinigung, Maskierung, EMM, MDM usw.)
5. Analytik (eingebettete Berichterstattung und Datenaufbereitung)
alle in der gleichen Eclipse-GUI. Voracity ist außerdem kompatibel mit Erwin (vorher: AnalytiX DS) Mapping Manager und CATfx-Vorlagen für die Verwaltung der ETL-Metadatenschichtung, Erstellung, Abstammung und Konvertierung.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
