IBM DataStage ❌ Unkompliziert 10x schnellere Datenintegration für legacy ETL-Tool InfoSphere DataStage ❗
Enorme Einsparungen: schnellere Big Data Transformationen, PII einfach(er) schützen/maskieren und synthetische realistische Testdaten genieren❗
20. November 2020, 09:00 Uhr · Quelle: Pressebox
Babenhausen, 20.11.2020 (PresseBox) - Herausforderungen:
Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage.
Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.
Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen.
Lösungen:
DataStage-Transformationen beschleunigen: Beschleunigen Sie das Sortieren, Aggregieren und Zusammenführen in einem einzigen Durchgang mit der CoSort Sort Control Language (SortCL) in einer sequentiellen Dateistufe oder einem Unterprogramm vor der Job-Routine. Führen Sie große Datentransformationen durch, ohne andere Aufträge in DataStage, Ihrer Datenbank oder Ihrem BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungsfunktionen auf Feldebene, benutzerdefinierte Berichte und vorsortierte Ladedateien an.
Verbessern Sie die Leistung der DataStage, indem Sie eine sequentielle Dateistufe vor der Aggregation hinzufügen, ein SortCL-Skript ausführen, um die Datei extern nach Trennschlüsseln vorzusortieren, und dann die sortierten Felder in der Aggregationsstufe definieren.
PII in DataStage maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen.
Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.
DataStage Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten, .dsx-definierten Dateien und allen über JDBC verbundenen RDB-Datenmodellen. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.
DataStage-Jobs neu platzieren: Erleichtern Sie die Migration von DataStage zu einem schnelleren, kostengünstigeren ETL-Betrieb in IRI Voracity mit Erwin Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie sowie die ADS Lite Speed Conversion Services geben ETL-Architekten und der CIO/CFO-Suite schließlich die Möglichkeit, Hunderttausende von Euros sofort einzusparen und in Zukunft auf kostengünstige Betriebskosten umzustellen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage.
Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.
Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen.
Lösungen:
DataStage-Transformationen beschleunigen: Beschleunigen Sie das Sortieren, Aggregieren und Zusammenführen in einem einzigen Durchgang mit der CoSort Sort Control Language (SortCL) in einer sequentiellen Dateistufe oder einem Unterprogramm vor der Job-Routine. Führen Sie große Datentransformationen durch, ohne andere Aufträge in DataStage, Ihrer Datenbank oder Ihrem BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungsfunktionen auf Feldebene, benutzerdefinierte Berichte und vorsortierte Ladedateien an.
Verbessern Sie die Leistung der DataStage, indem Sie eine sequentielle Dateistufe vor der Aggregation hinzufügen, ein SortCL-Skript ausführen, um die Datei extern nach Trennschlüsseln vorzusortieren, und dann die sortierten Felder in der Aggregationsstufe definieren.
PII in DataStage maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen.
Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.
DataStage Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten, .dsx-definierten Dateien und allen über JDBC verbundenen RDB-Datenmodellen. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.
DataStage-Jobs neu platzieren: Erleichtern Sie die Migration von DataStage zu einem schnelleren, kostengünstigeren ETL-Betrieb in IRI Voracity mit Erwin Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie sowie die ADS Lite Speed Conversion Services geben ETL-Architekten und der CIO/CFO-Suite schließlich die Möglichkeit, Hunderttausende von Euros sofort einzusparen und in Zukunft auf kostengünstige Betriebskosten umzustellen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
