Mainframedateireplikation und -synchronisierung in Azure
Lösungsmöglichkeiten
In diesem Artikel ist ein Lösungsvorschlag beschrieben. Ihr Cloudarchitekt kann diesen Leitfaden verwenden, um die Hauptkomponenten einer typischen Implementierung dieser Architektur zu visualisieren. Verwenden Sie diesen Artikel als Ausgangspunkt, um eine gut durchdachte Lösung zu entwerfen, die den spezifischen Anforderungen Ihrer Workload entspricht.
Wenn Sie eine lokale Großrechner- oder Midrange-Anwendung zu Azure migrieren, ist die Datenübertragung ein wichtiger Aspekt. Mehrere Modernisierungsszenarien erfordern, dass Sie Dateien schnell in Azure replizieren oder die Synchronisierung zwischen lokalen Dateien und Azure-Dateien verwalten.
In diesem Artikel werden mehrere Möglichkeiten zum Übertragen von Dateien in Azure beschrieben, Dateidaten konvertiert und transformiert und die Daten lokal und in Azure gespeichert.
Aufbau
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
Der folgende Datenfluss entspricht dem Architekturdiagramm:
Übertragen von Dateien auf Azure:
Die einfachste Möglichkeit, Dateien lokal nach Azure zu übertragen, besteht darin, das File Transfer Protocol (FTP) zu verwenden. Sie können einen FTP-Server auf einem virtuellen Azure-Computer (VM) hosten. Eine einfache FTP Job Control Language (Auftragssteuerungssprache, JCL) sendet Dateien im Binärformat an Azure, was für die Erhaltung von Mainframe- und Midrangeberechnungen und binären Datentypen unerlässlich ist. Sie können übertragene Dateien auf lokalen Datenträgern, im Azure-VM-Dateispeicher oder in Azure Blob Storage speichern.
Sie können auch lokale Dateien auf Blob Storage hochladen, indem Sie Tools wie AzCopy verwenden.
Der Azure Data Factory FTP- oder SFTP-Connector (Secure File Transfer Protocol) kann verwendet werden, um Daten vom Mainframesystem in Blob Storage zu übertragen. Diese Methode erfordert eine zwischengeschaltete VM, auf der eine selbst gehostete Integrationslaufzeit installiert ist.
Sie können auch Nicht-Microsoft-Tools auf Azure Marketplace finden, um Dateien von Mainframes nach Azure zu übertragen.
Orchestrieren, Konvertieren und Transformieren von Daten:
Azure kann keine Dateien im EBCDIC-Codepageformat (Extended Binary Coded Decimal Interchange Code) von IBM in Azure-VM-Datenträger oder Blob Storage lesen. Um diese Dateien mit Azure kompatibel zu machen, werden sie vom Host Integration Server (HIS) vom EBCDIC-Format in das American Standard Code for Information Interchange (ASCII)-Format konvertiert.
Copybooks definieren die Datenstruktur von COBOL-, PL/I- und Assembler-Dateien. HIS konvertiert diese Dateien auf der Grundlage der Copybooklayouts in ASCII.
Die Konvertierung von Daten der Großrechnerdatei kann mithilfe des Azure Logic Apps-Connectors für IBM-Hostdateien erreicht werden.
Bevor Sie Daten in Azure-Datenspeicher übertragen, müssen Sie die Daten möglicherweise transformieren oder für Analysen verwenden. Azure Data Factory kann diese ETL-Aktivitäten (extract-transform-load-load) und extract-load-transform (ELT) verwalten und die Daten direkt in Azure Data Lake Storage speichern. Alternativ können Sie Fabric Data Factory und OneLake-Speicher verwenden.
Für Big Data-Integrationen können Azure Databricks sowie Microsoft Fabric alle Transformationsaktivitäten schnell und effektiv durchführen, indem das Apache Spark-Modul für In-Memory-Berechnungen verwendet wird.
Speichern von Daten:
Je nach Bedarf können Sie übertragene Daten in einem von mehreren verfügbaren persistenten Azure-Speichermodi speichern.
Wenn keine Analysen erforderlich sind, kann Azure Data Factory Daten direkt in einer Vielzahl von Speicheroptionen speichern, z. B. Data Lake Storage, Blob Storage und Microsoft Fabric OneLake.
Azure hostt verschiedene Datenbanken , die unterschiedliche Anforderungen erfüllen:
Relationale Datenbanken umfassen die SQL Server-Familie und Open-Source-Datenbanken wie PostgreSQL und MySQL.
Nichtrelationale Datenbanken umfassen Azure Cosmos DB, ein schnelles, multimodellbasiertes, global verteiltes NoSQL-Datenbank.
Überprüfen Sie Analysen und Business Intelligence. Microsoft Fabric ist eine All-in-One-Analyselösung, die alles von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen und Business Intelligence abdeckt. Es bietet eine Reihe von Diensten, einschließlich Data Lake, Datentechnik und Datenintegration an einem zentralen Ort.
Komponenten
Diese Architektur verwendet die folgenden Komponenten.
Netzwerk
Ein lokales Datengateway ist Brückensoftware, die lokale Datenquellen mit Clouddiensten verbindet. In dieser Architektur ermöglicht sie die Kommunikation zwischen Mainframesystemen und Azure-Diensten für die Dateiübertragung und Integration. Sie können das Gateway auf einer dedizierten lokalen VM installlieren.
Datenintegration und -transformation
Diese Architektur beschreibt verschiedene azure-native Migrationstools, die Sie basierend auf Ihren Mainframe-Quelldaten und der Zieldatenbank verwenden können.
Data Provider for Host Files ist eine Komponente von HIS, die EBCDIC-Codepagedateien in ASCII konvertiert. Der Anbieter kann Datensätze in einer lokalen Binärdatei lesen und offline schreiben. Oder es kann Systems Network Architecture (SNA) oder Transmission Control Protocol/Internet Protocol (TCP/IP) verwenden, um Datensätze in Remote-IBM z/OS-Datasets oder i5/OS physische Dateien zu lesen und zu schreiben. HIS-Connectors sind für BizTalk - und Logic-Apps verfügbar. In dieser Architektur ermöglicht der Datenanbieter für Hostdateien den Zugriff auf Dateiebene und die Transformation von IBM z/OS- und i5/OS-Datasets für die Migration zu Azure.
Azure Data Factory ist ein Hybrid-Datenintegrationsdienst, mit dem Sie ETL- und ELT-Workflows erstellen, planen und koordinieren können. In dieser Architektur überträgt Azure Data Factory Großrechnerdateien über FTP an Blob Storage und verwaltet Transformationspipelinen.
Azure Databricks ist eine Apache Spark-basierte Analyseplattform, die für Azure optimiert ist. In dieser Architektur werden eingehende Mainframedaten mit anderen Datasets für erweiterte Analysen und Transformationen erweitert und korreliert.
Microsoft Fabric ist eine intelligente Datenplattform mit einer Suite von Clouddiensten und Tools für jede Datenlebenszyklusphase, einschließlich Aufnahme, Vorbereitung, Speicher, Analyse und Visualisierung. In dieser Architektur ermöglicht Fabric Organisationen, Datenbewegungen zu untersuchen, mit Data Science zu experimentieren und Echtzeitanalysen und Business Intelligence für transformierte Großrechnerdaten durchzuführen.
Logic Apps ist ein cloudbasierter Dienst, mit dem Sie Workflows automatisieren und Anwendungen, Daten und Dienste in verschiedenen Umgebungen integrieren können. In dieser Architektur verwendet er den IBM Host File Connector, um mit Mainframesystemen zu interagieren und die Dateianalyse und -transformation zu automatisieren.
Datenbanken
Diese Architektur beschreibt den Prozess der Migration von Mainframedateidaten zu Cloudspeicher und verwalteten Datenbanken in Azure. Sie enthält das Konvertieren von Metadaten für Die Groß-/Kleinrechnerdatei, um dem Zielschema in Azure zu entsprechen.
Azure SQL-Datenbank ist ein skalierbarer, relationaler Clouddatenbankdienst. DIE SQL-Datenbank ist immer größer und immer up-to-datum, mit KI-basierten und automatisierten Features, die Leistung und Haltbarkeit optimieren. Serverlose Compute- und Hyperscale-Speicheroptionen skalieren Ressourcen automatisch nach Bedarf. In dieser Architektur speichert SQL-Datenbank transformierte Großrechnerdaten und unterstützt hohe Verfügbarkeit. Sie unterstützt auch die Kosteneffizienz über den Azure-Hybridvorteil , da Sie Ihre vorhandenen lokalen SQL Server-Lizenzen in der Cloud ohne zusätzliche Kosten verwenden können.
Azure SQL Managed Instance ist eine Plattform als Dienst (PaaS), die eine vollständige SQL Server-Kompatibilität mit verwalteter Infrastruktur bietet. In dieser Architektur modernisiert es legacy-Anwendungen, indem migrierte Mainframedaten mit minimalen Codeänderungen gehostet werden.
SQL Server auf virtuellen Azure-Computern ist eine Infrastruktur-as-a-Service-Lösung (IaaS), die SQL Server-Workloads auf Azure aufhebt und verschiebt, was die Flexibilität und hybride Konnektivität von Azure mit SQL Server-Leistung, Sicherheit und Analyse kombiniert. In dieser Architektur bietet sie die Kontrolle über SQL Server-Konfigurationen für das Hosten von Mainframe-abgeleiteten Daten.
Azure Database for PostgreSQL ist ein verwalteter relationaler Open Source-Datenbankdienst. In dieser Architektur dient sie als Ziel für migrierte Mainframedaten, die PostgreSQL-Kompatibilität erfordern.
Azure Database for MySQL ist ein verwalteter MySQL-Datenbankdienst. In dieser Architektur unterstützt es Workloads, die MySQL-basierten Speicher für transformierte Mainframedaten erfordern.
Azure Cosmos DB ist ein global verteilter NoSQL-Datenbankdienst, der unterstützung für mehrere Modelle umfasst. In dieser Architektur speichert es leistungsstarke, skalierbare Anwendungen, die auf transformierten Großrechnerdaten basieren.
Andere Datenspeicher
Blob Storage ist eine cloudbasierte Objektspeicherlösung, die große Mengen unstrukturierter Daten speichert, z. B. Text oder Binärdaten. Sie können von überall aus über HTTP oder HTTPS auf diese Daten zugreifen. Sie können Blob Storage verwenden, um Daten öffentlich zugänglich zu machen, oder um Anwendungsdaten privat zu speichern. In dieser Architektur speichert es binäre und Textdateien, die von Mainframesystemen übertragen werden, und dient als Stagingbereich für die Transformation.
Data Lake Storage ist ein Repository zur Speicherung großer Datenmengen in ihrem nativen Rohformat. Data Lake Storage bietet Skalierung für Big-Data-Analyse-Workloads mit Daten im Terabyte- und Petabyte-Bereich. Die Daten stammen in der Regel aus mehreren heterogenen Quellen und können strukturiert, halbstrukturiert oder unstrukturiert sein. In dieser Architektur speichert sie rohe und transformierte Großrechnerdaten im nativen Format für die Verarbeitung durch Analysedienste.
OneLake in Microsoft Fabric ist ein einzelner, einheitlicher, logischer Datensee. In dieser Architektur dient sie als Speicherziel für Fabric Data Factory-Pipelines. Es bietet einen zentralen Ort zum Speichern transformierter Mainframedaten für Analyse- und Business Intelligence-Workloads.
Szenariodetails
Das Konvertieren von Großrechnerdateien aus dem EBCDIC-codierten Format in das ASCII-Format ist erforderlich, um Daten von Mainframesystemen zu Azure Cloud Storage und Datenbanken zu migrieren. Großrechneranwendungen generieren und verarbeiten täglich große Datenmengen. Diese Daten müssen korrekt für die Verwendung auf anderen Plattformen konvertiert werden.
Während Ihre Organisation Die Daten des Mainframedateisystems überschreibt, sollten Sie Dateimetadaten in cloudneigene Schematik umwandeln. Und entwickeln Sie eine Migrationsstrategie, die effektive Dateikonvertierungstechniken enthält.
Mögliche Anwendungsfälle
Lokale Dateireplikation und Synchronisierung sind für verschiedene Anwendungsfälle unerlässlich:
Nachgelagerte oder upstream-Abhängigkeiten, z. B. wenn Anwendungen, die auf einem Großrechner ausgeführt werden, und Anwendungen, die auf Azure ausgeführt werden, Daten über Dateien austauschen müssen
Paralleles Testen von neu gehosteten oder neu entwickelten Anwendungen in Azure mit lokalen Anwendungen
Eng gekoppelte lokale Anwendungen auf Systemen, die nicht sofort behoben oder modernisiert werden können
Beitragende
Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.
Hauptautoren:
- Nithish Aruldoss | Ingenieurarchitekt
- Ashish Khandelwal | Principal Engineering Architecture Manager
Andere Mitwirkende:
- Gyani Sinha | Senior Cloud Solution Architect
Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.
Nächste Schritte
- Für weitere Informationen wenden Sie sich an das Microsoft SQL Data Engineering-Team.
- Leitfäden zur Azure-Datenbankmigration