End-to-End-Analyse mit Microsoft Fabric

Die Lösung in diesem Artikel kombiniert eine Reihe von Microsoft-Diensten, die Daten und Erkenntnisse aus verschiedenen Quellen aufnehmen, speichern, verarbeiten, anreichern und bereitstellen. Zu diesen Quellen gehören strukturierte, semistrukturierte, unstrukturierte und Streamingformate.

Architecture

Amazon Simple Storage Service (AWS S3), Amazon Web Services (AWS), AWS Kinesis, Google Cloud Storage, Google Cloud, Google Cloud Pub/Sub und Snowflake sind entweder eingetragene Marken oder Marken ihrer jeweiligen Eigentümer. Apache und Apache® Kafka sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Durch die Verwendung dieser Marken wird keine Bestätigung durch die jeweiligen Markeninhaber impliziert.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

In den folgenden Abschnitten wird beschrieben, wie OneLake in verschiedenen Phasen des Datenlebenszyklus als Startseite für Daten dient. OneLake ist der einheitliche, in Microsoft Fabric integrierte Data Lake auf Unternehmensniveau, der als zentrale Speicherebene für alle Datenworkloads dient, einschließlich Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Data Warehouse, Fabric Real-Time Intelligence, Fabric Databases und Power BI.

Lakehouse

Verwenden Sie ein Seehaus , wenn Sie eine einheitliche, skalierbare und flexible Plattform benötigen. Es ist ideal für die Verwaltung strukturierter, semistrukturierter und unstrukturierter Daten zur Unterstützung von Analysen, maschinellem Lernen und Berichterstellung. Organisieren Sie Daten mit der Medallion-Architektur, und verwenden Sie die Bronze- (roh), Silber- (validiert) und Goldschichten (geschäftsbereit) in Ordnern und Dateien, Datenbanken und Tabellen.

Lagerhalle

Verwenden Sie Data Warehouse , wenn Sie eine leistungsfähige, vollständig verwaltete, SQL-basierte Analyselösung benötigen, um strukturierte und semistrukturierte Daten zu verwalten, indem Sie sie in Datenbanken, Schemas und Tabellen organisieren. Sie verfügt über vollständige T-SQL-Unterstützung, einschließlich der Erstellung gespeicherter Prozeduren, Ansichten und Verknüpfungen.

Eventhouse

Verwenden Sie ein Eventhouse zum Verwalten und Analysieren von Echtzeit-Ereignisdaten mit hohem Volumen. Sie unterstützt strukturierte, semistrukturierte und unstrukturierte Daten wie Protokolle und Telemetrie, indem sie in Datenbanken, Schemas und Tabellen organisiert werden.

SQL-Datenbank in Fabric

Verwenden Sie sql-Datenbank in Fabric , wenn Sie transaktions- und analytische Workloads vereinheitlichen müssen. Es wird auf demselben Modul wie Azure SQL-Datenbank ausgeführt, bietet vollständige T-SQL-Unterstützung und ermöglicht die Integration in das breitere Fabric-Ökosystem.

Azure-Datenbanken, externe Datenquellen und relationale Datenbanken

In diesem Abschnitt wird erläutert, wie Daten aus Azure-Datenbanken und -Plattformen wie Azure Databricks sowie Nicht-Microsoft-Plattformen wie Snowflake in Fabric übertragen werden.

Ingest

Fabric bietet mehrere Ansätze zum Aufnehmen von Daten aus relationalen Datenbanken. Verwenden Sie Mirroring, um Ihren vorhandenen Datenbestand in OneLake in nahezu Echtzeit ohne komplexe Extraktions-, Transformations- und Ladeprozesse (ETL) zu replizieren. Weitere Informationen finden Sie unter Unterstützte Spiegelungsdatenquellen.

Sie können Data Factory-Pipelines auch verwenden, um Daten aus einer vielzahl von Datenbanken zu aufnehmen, sowohl lokal als auch in der Cloud. Zum Aufnehmen der Daten können Sie verschiedene Ansätze wie eine Kopieraktivität, einen Kopierauftrag oder Dataflow Gen2 verwenden. Diese Optionen bieten auch Orchestrierungs-, Transformations- und Planungsfunktionen. Weitere Informationen finden Sie unter Unterstützte Konnektoren.

Verwenden Sie für die SQL-basierte Datenaufnahme T-SQL-Funktionen, um Daten in großem Umfang aus Ihren vorhandenen Lakehouses und Warehouses zu laden. Sie können neue Tabellenversionen erstellen, die aggregierte Daten, gefilterte Teilmengen oder Ergebnisse aus komplexen Abfragen enthalten.

Store

Verwenden Sie Spiegelung, um ein schreibgeschütztes Replikat Ihrer Quelldatenbank zu erstellen und synchronisieren Sie es kontinuierlich über nahezu Echtzeitreplikation mit dem Quellsystem. Beim Spiegeln werden die Daten im Delta Lake-Format in OneLake gespeichert.

Sie können auch eine Kopierdaten-Aktivität oder einen Kopierauftrag aus der Data Factory-Pipeline verwenden, um die aus relationalen Datenbanken kopierten Daten in ein Lakehouse oder ein Data Warehouse zu stagen. Die OneLake-Architektur verwendet das Delta Lake-Format, das Flexibilität bietet, Lakehouses mithilfe eines Medallion-Frameworks zu implementieren oder ein Lagermodell zu verwenden, das den Anforderungen Ihrer Organisation entspricht.

Process

Jede gespiegelte Datenbank enthält einen automatisch generierten SQL-Endpunkt für die Abfrage. Der schreibgeschützte SQL-Analyseendpunkt unterstützt den Zugriff über SQL Server Management Studio, Open Database Connectivity (ODBC), jedes Abfragetool mit der SQL-Verbindungszeichenfolge oder die MSSQL-Erweiterung mit Visual Studio Code (VS Code). Führen Sie komplexe Aggregationen mithilfe von T-SQL aus, oder durchsuchen Sie Daten mithilfe von Apache Spark-Notizbüchern. Datenbankübergreifende Abfragen ermöglichen es Ihnen, auf Daten aus replizierten Datenbanken zuzugreifen und sie mit anderen Fabric-Datenquellen wie Lakehouses und Warehouses zu kombinieren. Gespeicherte Prozeduren automatisieren DIE SQL-Logik für Datentransformationen und Aggregationen, wodurch die Wiederverwendbarkeit verbessert und Logik für sich wiederholende Aufgaben zentralisiert wird.

Durch Spiegelung wird eine vollständige Momentaufnahme ausgewählter Tabellen aus der Quelldatenbank erstellt. Nach dem anfänglichen Laden verwendet Fabric die Änderungsdatenerfassung (CDC) der Quelldatenbank, um Einfügungen, Aktualisierungen und Löschungen nachzuverfolgen. Sie repliziert diese Änderungen kontinuierlich in OneLake mit geringer Latenz und nahezu echtzeitbasierter Synchronisierung. Sie können Verknüpfungen zu gespiegelten Tabellen in einem Seehaus erstellen und sie über Spark-Notizbücher abfragen.

Dataflow Gen2 bereinigt und formt analysierte Daten, während dabei Schemainkonsistenzen, Nullwerte oder Ausreißer erkannt werden. Nachdem Sie die Daten profiliert und transformiert haben, speichern Sie die verarbeiteten Daten in Data Warehouse-Tabellen.

Spark-Notizbücher bereichern Daten, indem sie aus Seehäusern oder Lagerhäusern geladen werden. Trainieren oder Laden von Machine Learning-Modellen mithilfe von Bibliotheken wie scikit-learn, XGBoost oder SynapseML. Verwenden Sie MLflow , um Experimente nachzuverfolgen und Modelle zu registrieren. Bewertet Daten mit skalierbaren Batchvorhersagen und Echtzeitvorhersagen.

Serve

Eine gespiegelte Datenbank generiert ein gespiegeltes SQL-Datenbankelement und einen SQL-Analyseendpunkt , mit dem Sie schreibgeschützte Abfragen ausführen können. Zeigen Sie Daten über die Datenvorschau an, oder erkunden Sie direkt in OneLake. Mit dem SQL-Abfrage-Editor können Sie T-SQL-Abfragen für Daten im gespiegelten Datenbankelement erstellen. Sie können auf gespiegelte Daten zugreifen, indem Sie eine Lakehouse-Verknüpfung und Spark-Abfragen verwenden, um Daten zu verarbeiten.

In der Regel möchten Sie diese Daten in Power BI verfügbar machen. Erstellen Sie dazu semantische Modelle , um die Analyse von Geschäftsdaten und Beziehungen zu vereinfachen. Business Analysts verwenden Power BI-Berichte und Dashboards, um Daten zu analysieren und Geschäftseinblicke mithilfe des Direct Lake-Modus für ein Lakehouse oder den SQL-Endpunkt für Data Warehouse abzuleiten. Verwenden Sie den Datenaktivator , um Benachrichtigungen in Power BI-Visualisierungen einzurichten, um häufig geänderte Metriken zu überwachen, Warnungsbedingungen zu definieren und E-Mails oder Microsoft Teams-Benachrichtigungen zu empfangen.

Die externe Datenfreigabe in Fabric ermöglicht es einem Benutzer in einem Fabric-Mandanten (dem Anbieter), Daten für einen Benutzer in einem anderen Fabric-Mandanten (dem Consumer) freizugeben. Dieses Feature unterstützt die organisationsübergreifende Zusammenarbeit und gleichzeitig die Verwaltung von Governance- und Sicherheitsgrenzen. Datenkonsumenten greifen über OneLake-Verknüpfungen in ihren eigenen Lakehouses und Data Warehouses sowie in SQL- und gespiegelten Datenbanken auf schreibgeschützte Daten zu. Die Fabric-API für GraphQL macht Daten aus unterstützten Fabric-Datenquellen über einen einzelnen, flexiblen API-Endpunkt verfügbar. Dieses Feature eignet sich ideal für die Erstellung moderner Anwendungen, die einen effizienten Echtzeitzugriff auf strukturierte Daten erfordern.

Modelle des maschinellen Lernens dienen für Echtzeitvorhersagen von jedem registrierten Modell des maschinellen Lernens mithilfe sicherer, skalierbarer Online-Endpunkte für maschinelles Lernen, die automatisch konfiguriert werden. Bei einer Fabric-nativen Echtzeitbereitstellung sind diese Endpunkte integrierte Eigenschaften der meisten Fabric-Modelle. Sie können sie von anderen Fabric-Engines oder externen Apps aufrufen, um eine breitere und zuverlässigere Nutzung zu ermöglichen. Ein Fabric-Daten-Agent ermöglicht eine konversationsbasierte Schnittstelle mit Daten aus einem Lakehouse oder Warehouse, indem natürliche Sprachabfragen in relevante Abfragen übersetzt werden. Copilot in Fabric wandelt Fragen der natürlichen Sprache in SQL um, behebt Fehler, bietet Erläuterungen für SQL-Abfragen und hilft bei der Codevervollständigung.

Cloudbasierte Datenplattform für Dataverse

In diesem Abschnitt wird erläutert, wie Daten aus Dataverse in Fabric übertragen werden.

Ingest

Dataverse Link to Fabric macht Dynamics 365- und Dataverse-Daten in nahezu Echtzeit in Fabric verfügbar, ohne dass ETL oder Datenkopie erforderlich ist. Mit Dataverse Link to Fabric können Datentechniker Daten mithilfe von SQL abfragen, KI anwenden, Datasets kombinieren, Informationen neu gestalten und Zusammenfassungen direkt in Fabric erstellen.

Store

Wenn Sie Dataverse Link to Fabric verwenden, erstellt Dataverse ein Lakehouse in OneLake mit Verknüpfungen zu Dataverse-Tabellen, ohne dass physische Datenbewegungen erforderlich sind.

Process

Zeigen Sie das Dataverse-generierte Lakehouse an, um Tabellen zu erkunden, die aus Ihrer Dataverse-Umgebung verknüpft sind. Abfragen des dataverse-generierten Lakehouse mithilfe des SQL-Endpunkts, Durchsuchen von Daten mithilfe von Spark-Notizbüchern und Zugreifen auf Daten über SQL Server Management Studio oder den SQL-Editor. Verweisen Sie auf Dataverse-Daten in anderen Lakehouses, indem Sie Verknüpfungen verwenden, um dieselben Daten wiederzuverwenden, ohne sie zu kopieren oder zu duplizieren.

Erweitern Sie Daten mithilfe von Data Wrangler, einem Code-Low-Code- und No-Code-Tool in Fabric-Notizbüchern. Es ermöglicht Ihnen, Daten für explorative Analysen zu untersuchen, vorzubereiten und zu gestalten. Die Vorgänge generieren Code in Pandas oder PySpark, und Sie können den Code im Notizbuch als wiederverwendbare Funktion speichern.

Serve

Die in OneLake erstellten Verknüpfungen zu Dataverse-Tabellen unterstützen das Delta Lake-Format. Sie können diese Daten aus dem Standard-Dataset, das Dataverse im Fabric-Arbeitsbereich generiert, in einem Power BI-Bericht auffüllen.

Sie können die Datenaktivierung auch verwenden, um Benachrichtigungen in Power BI-Visualisierungen einzurichten, häufig geänderte Metriken zu überwachen, Warnungsbedingungen zu definieren und E-Mail- oder Teams-Benachrichtigungen zu empfangen.

Semistrukturierte und unstrukturierte Datenquellen

In diesem Abschnitt wird beschrieben, wie Sie semistrukturierte und unstrukturierte Daten in Fabric aufnehmen.

Ingest

Verwenden Sie Data Factory-Pipelines, um Daten aus einer vielzahl von semistrukturierten Quellen lokal und in der Cloud abzurufen. Um die Daten abzurufen, können Sie verschiedene Ansätze wie eine Kopieraktivität, einen Kopierauftrag, Dataflow Gen2, Spark-Notizbücher oder Lakehouse-Dateiupload verwenden. Berücksichtigen Sie die folgenden unterstützten Quellen:

• Aufgenommene Daten aus dateibasierten Quellen, die CSV- oder JSON-Dateien enthalten

• XML-Dateien aus älteren Systemen

• Parquet-Dateien aus Speicherkonten

• PDF, MP3, Bilder, Protokolle, Dokumente und andere Binärdateien

• Fabric-REST-APIs als Datenquelle für die Pipeline

Verwenden Sie die COPY INTO-Anweisung , um Daten aus einem externen Speicherkonto für SQL-Workloads mit hohem Durchsatz aufzunehmen. Die Anweisung unterstützt die Dateiformate Parquet und CSV. Erstellen Sie Verknüpfungen in OneLake zu externen Quellen, einschließlich Azure Data Lake Storage, Amazon Simple Storage Service (AWS S3)-Speicherkonten, Google Cloud Storage-Konten und anderen unterstützten externen Speicheroptionen , um den Zero-Copy-Zugriff zu ermöglichen und Duplizierung zu vermeiden. Programmgesteuert oder manuell Dateien in den Lakehouse-Ordner hochladen. Lösen Sie Pipelines aus, wenn neue Dateien durch ereignisbasierte Orchestrierung von Fabric eingehen.

Store

Organisieren Sie Ihre Daten im einheitlichen Data Lake von Fabric OneLake. Befolgen Sie bewährte Methoden, für welche Ebenen erstellt werden sollen, welche Ordnerstrukturen in den einzelnen Ebenen verwendet werden sollen und welche Dateiformate für jedes Analyseszenario verwendet werden sollen. Speichern Sie unstrukturierte Daten in der Bronzezone, um unverarbeitete Daten im ursprünglichen Format beizubehalten. Verwenden Sie ein Eventhouse, um Telemetrie-, Protokoll- oder Zeitreihendaten zu speichern.

Process

Spark-Notizbücher analysieren und semistrukturierte Daten transformieren. Sie können z. B. geschachtelte JSON-Strukturen flachten, XML in tabellarische Formate konvertieren oder Schlüsselfelder aus Protokolldateien extrahieren. Spark-Notizbücher extrahieren auch Inhalte und transformieren unstrukturierte Daten über Spark DataFrames.

Die T-SQL-Erfassung lädt Daten aus vorhandenen Tabellen in Fabric Lakehouses oder Warehouses. Dataflow Gen2 bereinigt und formt analysierte Daten, während es Schemainkonsistenzen, Nullwerte oder Ausreißer erkennt. Nachdem Sie die Daten profiliert und transformiert haben, speichern Sie sie in Lakehouse-Tabellen. Interne Verweise in Fabric-Referenzdaten, die in einem Lakehouse gespeichert sind.

Spark-Notizbücher bereichern Daten während der Verarbeitung. Laden Sie Daten aus Seehäusern oder Lagerhäusern, trainieren oder laden Sie dann Machine Learning-Modelle mithilfe von Bibliotheken wie scikit-learn, XGBoost oder SynapseML. MLflow verfolgt Experimente und registriert Modelle. Bewerten Sie Daten durch die Verwendung skalierbarer Stapelvorhersagen oder Echtzeitvorhersagen.

Serve

T-SQL fragt Lakehouse-Tabellen über den Fabric SQL-Analyseendpunkt ab. Der SQL-Analyseendpunkt unterstützt semantische Modelle und Power BI-Berichte. Der Direct Lake-Modus bietet leistungsstarke Analysen. Sie können Benachrichtigungen auch für visuelle Power BI-Elemente einrichten, indem Sie datenaktivator verwenden, um häufig geänderte Metriken zu überwachen, Warnungsbedingungen zu definieren und E-Mail- oder Teams-Benachrichtigungen zu empfangen.

Die externe Datenfreigabe in Fabric ermöglicht es einem Benutzer in einem Fabric-Mandanten (dem Anbieter), Daten für einen Benutzer in einem anderen Fabric-Mandanten (dem Consumer) freizugeben. Dieses Feature unterstützt die organisationsübergreifende Zusammenarbeit, während die Governance- und Sicherheitsgrenzen beibehalten werden. Datenkonsumenten greifen auf schreibgeschützte Daten mithilfe von OneLake-Tastenkombinationen in ihren eigenen Seehäusern zu.

Die Fabric-API für GraphQL macht Daten aus unterstützten Fabric-Datenquellen über einen einzelnen, flexiblen API-Endpunkt verfügbar. Dieser Ansatz eignet sich ideal für die Erstellung moderner Anwendungen, die effizienten Echtzeitzugriff auf strukturierte Daten benötigen.

Echtzeitvorhersagen aus allen registrierten Modellen für maschinelles Lernen können über sicher konfiguriere und skalierbare Online-Endpunkte bereitgestellt werden. Verwenden Sie für die Fabric-native Echtzeitbereitstellung diese Endpunkte als integrierte Eigenschaften der meisten Fabric-Modelle. Rufen Sie sie von anderen Fabric-Engines oder externen Apps für eine zuverlässige und breite Nutzung auf. Erstellen Sie ein semantisches Modell aus Vorhersagedaten und visualisieren Sie Ergebnisse in einem Power BI-Bericht.

Ein Fabric-Daten-Agent ist eine anpassbare KI-basierte Unterhaltungsschnittstelle, die Abfragen natürlicher Sprachen in umsetzbare Einblicke für Ihre OneLake-Daten übersetzt. Copilot vereinfacht Datenanalyse- und Visualisierungsaufgaben. Stellen Sie Fragen zu Lakehouse-Tabellen, Pandas und Spark-DataFrames direkt in Notizbüchern. Copilot reagiert mit Erklärungen in natürlicher Sprache. Geschäftsbenutzer können den Bereich "Copilot" verwenden, um Fragen zu Berichtsinhalten zu stellen und wichtige Erkenntnisse schnell zusammenzufassen. Sie können auch den Copilot-Abschnitt verwenden, um Informationen zu ermitteln, auf die sie bereits Zugriff haben.

Streaming

In diesem Abschnitt wird erläutert, wie Sie Zeitreihenstreamingdaten mit hohem Volumen in Fabric integrieren.

Ingest

Verwenden Sie Real-Time Intelligence, um Daten für die Erfassung in Echtzeit über einen Ereignisstream zu sammeln. Rufen Sie die Daten aus einer Vielzahl von Datenquellen wie Internet of Things (IoT)-Geräten, Anwendungen, externen Event Hubs und Fabric-Ereignissen wie Arbeitsbereichselementereignissen, OneLake-Ereignissen und Auftragsereignissen ab. Wenn Sie in Real-Time Intelligence auf eine Kusto Query Language (KQL)-Quelldatenbank wie eine vorhandene Azure Data Explorer-Datenbank verweisen müssen, können Sie eine Datenbankverknüpfung erstellen, um auf die Daten zuzugreifen, ohne sie zu duplizieren oder erneut aufzunehmen.

Store

Eventstream unterstützt Routingdaten an verschiedene Ziele. Speichern Sie große Datenmengen in einem Eventhouse, bei dem es sich um eine leistungsstarke, optimierte und skalierbare Speicherlösung handelt. Sie können eine KQL-Datenbank in einem Eventhouse erstellen, das eine spezielle Datenbank ist, die für die ereignisgesteuerte Datenanalyse mithilfe von KQL entwickelt wurde.

Process

Verwenden Sie ein KQL-Abfrageset zum Schreiben, Ausführen und Verwalten von KQL-Abfragen in verschiedenen Echtzeitdatenquellen. Ein KQL-Abfrageset ist ein zentrales Tool in der Real-Time Intelligence-Erfahrung. Sie ermöglicht Es Benutzern, Streaming- oder Zeitreihendaten zu erkunden, zu analysieren und zu visualisieren. Sie können T-SQL in Real-Time Intelligence verwenden, um Streamingdaten abzufragen, die in KQL-Datenbanken gespeichert sind. KQL ist die primäre Sprache für Echtzeitanalysen, aber Fabric unterstützt auch T-SQL für Benutzer, die mit SQL-basierten Analysen vertraut sind.

Aktivieren Sie für die modulübergreifende Verarbeitung die Verfügbarkeit von OneLake , um eine logische Kopie von KQL-Datenbankdaten zu erstellen. Sie können die Daten im Delta Lake-Format von anderen Fabric-Engines wie dem Direct Lake-Modus in Power BI, Lagerhäusern, Lakehouses und Notizbüchern abfragen.

Serve

Business Analysts können ein Real-Time Intelligence-Dashboard erstellen, bei dem es sich um eine Sammlung von Kacheln handelt, die von KQL-Abfragen gesteuert werden. Sie können Kacheln in Seiten organisieren und mit Datenquellen verbinden. Das Dashboard wird automatisch aktualisiert, was einen nahezu sofortigen Einblick in Daten bietet, während es durch das System fließt. Sie können einer Dashboardkachel auch Datenaktivator hinzufügen, um häufig geänderte Metriken zu überwachen, Warnungsbedingungen zu definieren und E-Mails oder Teams-Benachrichtigungen zu empfangen. Erstellen Sie einen Power BI-Bericht, um Berichte aus semantischen Modellen zu generieren, die aus der KQL-Datenbank als Quelle erstellt wurden.

Mit der externen Fabric-Datenfreigabe kann ein Benutzer in einem Fabric-Mandanten (dem Anbieter) Daten für einen Benutzer in einem anderen Fabric-Mandanten (dem Consumer) freigeben. Es unterstützt die organisationsübergreifende Zusammenarbeit, während die Governance- und Sicherheitsgrenzen gewahrt werden. Datenkonsumenten greifen über OneLake-Verknüpfungen in ihren eigenen KQL-Datenbanken auf schreibgeschützte Daten zu.

Ein Fabric-Daten-Agent kann mit KQL-Datenbanken arbeiten, damit Benutzer Fragen stellen können, wodurch Echtzeitdaten für nicht technische Benutzer einfach verwendet werden können. Copilot kann Abfragen mit natürlicher Sprache in KQL übersetzen, die Sie ausführen können.

Components

Diese Architektur verwendet die folgenden Fabric- und Azure-Dienste:

• Copilot in Fabric ist ein generativer KI-Assistent, der auf der Fabric-Plattform eingebettet ist. In dieser Architektur hilft es beim Erstellen skalierbarer Datenpipelines, Erstellen von Spark-Code für Datentransformationen, Generieren von optimierten SQL-Abfragen für Data Warehouse, Schreiben von KQL-Abfragen für Echtzeit-Intelligenz und Erstellen semantischer Modelle und DAX-Kennzahlen (Data Analysis Expressions) für die Berichterstellung.

• Ein Fabric-Daten-Agent ist ein KI-gesteuertes Feature, mit dem Benutzer mithilfe natürlicher Sprache mit Organisationsdaten interagieren können. In dieser Architektur dienen Datenagenten als konversationelle Schnittstelle, um Fragen in natürlicher Sprache in strukturierte Abfragen wie SQL, DAX oder KQL zu übersetzen.

• Microsoft Purview ist eine einheitliche Plattform für Datengovernance, Sicherheit und Compliance. In dieser Architektur verwaltet Microsoft Purview Ihren gesamten Datenbestand und die Datenherkunft von der Datenquelle bis zum Power BI-Bericht.

• Die externe Fabric-Datenfreigabe ist ein Feature, das eine sichere, mandantenübergreifende Zusammenarbeit ermöglicht, indem Benutzer Daten aus ihrer Fabric-Umgebung für Benutzer in einem anderen Fabric-Mandanten freigeben können. In dieser Architektur können Organisationen über Mandantengrenzen hinweg zusammenarbeiten, ohne Daten zu duplizieren.

• Die Fabric-API für GraphQL ist ein Feature, mit dem Entwickler Daten mithilfe der GraphQL-Abfragesprache verfügbar machen und mit ihnen interagieren können. In dieser Architektur können Benutzer Datenanwendungen entwickeln.

• Real-Time Intelligence ist eine ereignisgesteuerte Analyselösung zum Verarbeiten, Analysieren und Reagieren auf Streamingdaten. In dieser Architektur werden hochvolumige Streamingdaten verarbeitet und Echtzeitdashboards bereitgestellt, die aus Kacheln zusammengesetzt sind, die zugrunde liegende Abfragen visualisieren.

• Power BI ist eine Business Intelligence(BI)- und Datenvisualisierungsplattform. In dieser Architektur wird eine Verbindung mit OneLake hergestellt, um Dashboards und Berichte zu erstellen.

• Microsoft Foundry ist eine einheitliche Plattform als Dienst (PaaS) zum Erstellen, Bereitstellen und Verwalten von KI-Anwendungen und Agents im Unternehmensmaßstab. In dieser Architektur bereichern Foundry-Agents mehrere Agentensysteme und Fabric-Datenagenten dienen als Domänenexperten zusammen mit anderen Agenten.

• Azure Machine Learning ist ein Clouddienst auf Unternehmensniveau für die Verwaltung des gesamten Machine Learning-Lebenszyklus, von der Datenvorbereitung und -experimentierung bis hin zum Modellieren von Schulungen, Bereitstellung und Überwachung. In dieser Architektur können Sie Benutzern das Ausführen von Machine Learning-Modellen mithilfe von Batchendpunkten ermöglichen. OneLake-Tastenkombinationen ermöglichen Machine Learning und Fabric die gleiche zugrunde liegende Data Lake Storage-Instanz, sodass beide Dienste ohne Duplizieren von Daten lesen und schreiben können.

• Microsoft Cost Management ist ein Dienst, der Ihnen hilft, Ihre Microsoft Azure-Ressourcenrechnungen nachzuverfolgen, zu analysieren und zu optimieren. In dieser Architektur zeigen Ihre Kostenanalyse und Rechnung in Cost Management mehrere Meter an, die Ihrer Fabric-Kapazitätsressource zugeordnet sind.

• Azure Key Vault ist ein cloudbasierter Dienst zum sicheren Speichern und Verwalten vertraulicher Informationen wie Geheimschlüssel, Schlüssel und Zertifikate. In dieser Architektur werden anmeldeinformationen verwaltet, die in Fabric-Verbindungen und Gateways verwendet werden.

• Azure Policy ist ein Governancetool, das Governanceregeln in Azure-Ressourcen erzwingt. In dieser Architektur werden Compliance, Data Governance und Kostenkontrolle über die Fabric-Datenplattform hinweg sichergestellt.

• Microsoft Entra ID ist eine cloudbasierte Identitäts- und Zugriffsverwaltungslösung, die sicheren Zugriff für Benutzer, Geräte und Workloads gewährleistet. In dieser Architektur können Benutzer sich bei Fabric anmelden, indem sie ihre Microsoft Entra-Anmeldeinformationen verwenden und gleichzeitig Zero Trust-Zugriffssteuerungen erzwingen.

• Azure DevOps ist eine Suite von Entwicklungstools und -diensten, die Microsoft bereitstellt, um den gesamten Lebenszyklus der Softwareentwicklung zu unterstützen. In dieser Architektur ist Azure DevOps in Fabric-Arbeitsbereiche integriert, um den Lebenszyklus zu verwalten und Quellcodeverwaltung bereitzustellen.

• GitHub ist eine cloudbasierte Plattform für Versionssteuerung und Zusammenarbeit, mit der Entwickler Änderungen an ihrem Code speichern, verwalten und nachverfolgen können. In dieser Architektur ist GitHub in Fabric-Arbeitsbereiche integriert, um die Lebenszyklusverwaltung und Quellcodeverwaltung zu unterstützen.

• Mit der Arbeitsbereichsüberwachung in Fabric können Sie Protokolle und Metriken aus Fabric-Elementen innerhalb eines Arbeitsbereichs sammeln, analysieren und visualisieren. In dieser Architektur hilft es bei der Abfragediagnose in Ihrer Fabric-Umgebung, beim Identifizieren von Problemen, beim Erstellen von angepassten Überwachungsdashboards und beim Festlegen von Warnungen.

Alternatives

Fabric bietet eine Reihe von Tools zum effizienten Verwalten von Daten- und Analyseworkloads. Mit so vielen verfügbaren Optionen kann die Auswahl des richtigen Tools eine Herausforderung darstellen. Diese Entscheidungsleitfäden bieten eine Roadmap, mit der Sie die Entscheidungen bewerten und die effektivste Strategie ermitteln können.

• Vergleiche anderer Alternativen finden Sie in den folgenden Ressourcen:

  • Auswählen eines Typs der Aufnahme in Fabric
  • Auswählen einer Datenintegrationsstrategie in Fabric
  • Auswählen einer Datenbewegungsstrategie in Fabric
  • Auswählen eines Datenspeichers in Fabric
  • Wählen Sie zwischen einem Lagerhaus und einem Seehaus in Fabric

Szenariodetails

Dieses Beispielszenario zeigt, wie Fabric Unternehmen bei der Erstellung einer einheitlichen, modernen Datenplattform erleichtert, die Integration vereinfacht, Einblicke beschleunigt und die Betriebskomplexität reduziert. Sie hilft Organisationen dabei, allgemeine Datenprobleme zu überwinden und gleichzeitig Skalierbarkeit, Governance und Kosteneffizienz zu steigern.

Mögliche Anwendungsfälle

• Modernisieren Sie die Unternehmensdatenplattform, indem Sie fragmentierte Tools durch eine einheitliche Lösung ersetzen.

• Richten Sie eine Medaillenseearchitektur mithilfe von Fabric Lakehouses ein, mit einer Bronzeschicht für die Erfassung von Rohdaten, einer Silberschicht für gereinigte und transformierte Daten und eine Goldschicht für geschäftsfähige Daten, die in Analysen und KI verwendet werden. Erstellen Sie Lagerhäuser als themen- oder domänenspezifische Lösungen, die für Themen entwickelt wurden, die angepasste Analysen erfordern.

• Integrieren Sie relationale Datenquellen mit unstrukturierten Datasets mithilfe von Fabric-Computemodulen.

• Bereitstellen von Echtzeit-Betriebsanalysen zum Überwachen und Reagieren auf Streamingdaten mit Echtzeitintelligenz.

• Generieren Sie KI-gestützte Kundeneinblicke, um Daten zu bereichern und den Geschäftswert zu steigern.

• Bereitstellen von Unternehmensberichten und Self-Service BI durch semantische Modellierung und erweiterte Visualisierungstools.

• Aktivieren Sie die mandantenübergreifende Datenfreigabe über OneLake-Verknüpfungen und externe Datenfreigabe.

• Integrieren Sie Fabric-Daten-Agents in Azure AI Foundry oder Microsoft Copilot Studio , um intelligente, unterhaltungsbezogene und kontextabhängige KI-Lösungen für Geschäftsbenutzer und -anwendungen zu erstellen.

Recommendations

Beachten Sie die folgenden Empfehlungen.

Entdecken und Steuern

Data Governance stellt eine häufige Herausforderung in großen Unternehmensumgebungen dar. Business Analysts müssen Datenressourcen ermitteln und verstehen, um Geschäftsprobleme zu lösen, während Chief Data Officer Einblicke in den Datenschutz und die Sicherheit von Geschäftsdaten suchen.

Microsoft Purview

Microsoft Purview Data Governance besteht aus zwei Lösungen. Der Unified Catalog und die Data Map bieten eine moderne Governance-Erfahrung, indem sie Metadaten aus verschiedenen Katalogen und Quellen konsolidieren. Diese Integration ermöglicht Sichtbarkeit, stärkt das Vertrauen der Daten und unterstützt verantwortungsvolle Innovationen im gesamten Unternehmen.

Verwalten Sie Glossarbegriffe mit der spezifischen Geschäftsterminologie, die Benutzer benötigen, um die Datasetsemantik und -verwendung in der gesamten Organisation zu verstehen. Registrieren Sie Datenquellen , und organisieren Sie sie in Sammlungen, die auch als Sicherheitsgrenzen für Metadaten dienen. Richten Sie regelmäßige Scans ein, um relevante Metadaten zu Organisationsdatenressourcen automatisch zu katalogisieren und zu aktualisieren. Wenn ein Fabric-Mandant gescannt wird, werden Metadaten und Linien aus Fabric-Ressourcen, einschließlich Power BI, automatisch in den einheitlichen Microsoft Purview-Datenkatalog aufgenommen. Weisen Sie Datenklassifizierungen und Datensensibilitätsetiketten automatisch Datenbeständen basierend auf vorkonfigurierten oder benutzerdefinierten Regeln während der Scans zu.

Verwenden Sie die Einheitliche Katalogintegritätsverwaltung , um den Gesamtzustand der Datenlandschaft zu überwachen und die Organisation vor Sicherheits- und Datenschutzrisiken zu schützen. Ein integrierter Microsoft Purview-Hub in Fabric bietet Einblicke in die Dateninventur, Vertraulichkeitsbezeichnungen und Bestätigungen. Es dient als Gateway, um eine Verbindung mit breiteren Microsoft Purview-Funktionen herzustellen.

Plattformdienste

Fabric unterstützt mehrere Bereitstellungsmuster , mit denen Organisationen ihre Datenarchitektur an Geschäftsanforderungen, Governancemodelle und Leistungsanforderungen ausrichten können. Diese Muster werden auf Mandanten-, Kapazitäts-, Arbeitsbereichs- und Elementebene der Bereitstellung definiert. Jedes Muster bietet unterschiedliche Kompromisse bei Skalierbarkeit, Isolation, Kosten und betriebstechnischer Komplexität.

Das Design umfasst mehrere grundlegende Azure-Dienste. Microsoft Entra ID stellt Identitätsdienste, einmaliges Anmelden (Single Sign-On, SSO) und mehrstufige Authentifizierung über Azure-Workloads bereit. Kostenverwaltung bietet Finanzgovernance für Ihre Azure-Workloads. Key Vault verwaltet Anmeldeinformationen und Zertifikate sicher. Wenn Sie einen Schlüsseltresor in Fabric konfigurieren, können Sie Anmeldeinformationen und Zertifikate aus dem Schlüsseltresor-Dienst beziehen. Verwenden Sie diese Anmeldeinformationen, um auf Datenspeicher zuzugreifen, die keine integrierte Authentifizierung unterstützen, z. B. lokale oder externe Quellen.

Azure Monitor sammelt, analysiert und wirkt auf Telemetrie aus Azure-Ressourcen, um Probleme proaktiv zu identifizieren und Leistung und Zuverlässigkeit zu maximieren. Azure DevOps und GitHub Enterprise implementieren Entwicklungsvorgänge (DevOps), um Automatisierung und Compliance in Fabric-Workload-Entwicklungs- und Bereitstellungspipelines zu erzwingen. Dieser Ansatz ermöglicht die Versionssteuerung, Zusammenarbeit und Lebenszyklusverwaltung. Azure Policy erzwingt Organisationsstandards und -governance, um die Ressourcenkonsistenz, behördliche Compliance, Sicherheit, Kostenkontrolle und Verwaltung sicherzustellen.

Considerations

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie in der Prüfliste für die Entwurfsüberprüfung für die Kostenoptimierung.

Informationen zum Schätzen der Kosten finden Sie unter "Preise". Das ideale Preisniveau und die Gesamtkosten der einzelnen Dienste in der Architektur hängen von der Menge der verarbeiteten und gespeicherten Daten und dem erwarteten Leistungsniveau ab. Verwenden Sie den folgenden Leitfaden, um die wichtigsten Kostenoptimierungsstrategien für Fabric zu untersuchen:

• Die Fabric-Kapazität ist ein gemeinsamer Pool, der alle Fabric-Funktionen unterstützt, von Data Engineering und Data Warehouse bis hin zu Datenmodellierung, BI und KI-Erfahrungen. Microsoft berechnet Kapazitätseinheiten (CUs) pro Stunde mit Pay-as-you-go- oder Reservierungsoptionen. Das Modell "Zahlen nach Verbrauch" bietet die Flexibilität, nur für die Stunden zu zahlen, in denen Sie die Fabric-Kapazität nutzen. Sie können Kapazitäten anhalten, wenn sie nicht verwendet werden, um Kosten zu verwalten, ohne eine monatliche oder jährliche Verpflichtung zu benötigen. Reservierungen bieten eine vorhersehbare Abrechnung und bieten in der Regel Einsparungen für stabile Workloads. OneLake-Speicher stellt eine einzelne Kopie von Daten in allen Analysemodulen bereit, ohne dass Daten verschoben oder dupliziert werden müssen.

• Das Fabric-Kapazitätsschätzungstool hilft bei der Schätzung des Kapazitätsbedarfs und bei der Ermittlung der entsprechenden SKU- und Speicheranforderungen basierend auf Workloadmerkmalen. Überwachen Sie die Nutzung und den Verbrauch, indem Sie die Fabric-Kapazitätsmetriken-App verwenden, um die Kapazitätsauslastung anzuzeigen. Kostenverwaltung verfolgt die Nutzung und legt Budgetwarnungen fest. Weitere Informationen finden Sie unter Grundlegendes zu Ihrer Azure-Rechnung für eine Fabric-Kapazität. Die Fabric-Kapazitätsbehandlungsleitfäden stellen Ressourcen bereit, um die Kapazitätsauslastung zu überwachen und proaktiv zu optimieren.

• Die Fabric Chargeback-App (Vorschau) hilft Organisationen beim Nachverfolgen, Analysieren und Zuordnen von Kapazitätsnutzungskosten für Geschäftseinheiten, Benutzer und Workloads, die Fabric verwenden. Es unterstützt Chargeback- und Showbackmodelle, um eine transparente und faire Kostenverteilung basierend auf dem tatsächlichen Verbrauch zu ermöglichen. Die Preise für Microsoft Purview hängen von der Anzahl der Datenressourcen im Katalog und der zum Scannen erforderlichen Berechnungsleistung ab.

Operative Exzellenz

„Optimaler Betrieb“ deckt die Betriebsprozesse ab, die für die Bereitstellung einer Anwendung und deren Ausführung in der Produktion sorgen. Weitere Informationen finden Sie unter Checkliste für die Designüberprüfung zur betrieblichen Exzellenz.

• Übernehmen Sie eine konsistente Infrastruktur-als-Code-Methodik (IaC) für die Bereitstellung von Fabric-Kapazitäten mithilfe von Bicep, Azure Resource Manager-Vorlagen (ARM-Vorlagen) und Terraform. Integrieren Sie Fabric-Arbeitsbereiche in Git für die Lebenszyklusverwaltung von Fabric-Anwendungen und verwenden Sie Bereitstellungspipelinen für kontinuierliche Integration und kontinuierliche Bereitstellung (CI/CD).

• Verwenden Sie den Monitoring Hub , um Fabric-Aktivitäten zu überwachen. Der Administratorüberwachungsarbeitsbereich bietet einen dedizierten Arbeitsbereich für Fabric-Administratoren, um Mandantenvorgänge zu überwachen und zu verwalten. Es bietet integrierte Berichte für aktivitätsübersicht, Aktivitätsdetails und Governance, mit denen Administratoren Workloads und Nutzung effektiv überwachen können. Senden Sie Teams-Nachrichten in Gruppenchats oder Kanälen, um den Pipelinestatus zu benachrichtigen. Verwenden Sie für E-Mail-Benachrichtigungen die Office 365 Outlook-Aktivität.

• Wenden Sie Governancerichtlinien über Microsoft Purview an. Planen Sie regelmäßige Well-Architected Überprüfungen und Optimierungs-Sprints. Weitere Informationen zu neuen Features in Fabric und wann sie erwartet werden, finden Sie in der Fabric-Roadmap. Implementieren Sie eine ähnliche Architektur in Vorproduktionsumgebungen, in denen Sie Ihre Plattform entwickeln und testen. Berücksichtigen Sie die spezifischen Anforderungen Ihrer Plattform und die Funktionen der einzelnen Dienste, um eine kostengünstige Vorproduktionsumgebung zu erstellen.

Contributors

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

• Kevin Lee | Cloud-Lösungsarchitekt
• Lavanya Sreedhar | Senior Cloud Solution Architect

Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte

• Roadmap für die Fabric-Einführung
• Erste Schritte mit Fabric