Kursüberblick
In diesem Kurs lernen die Teilnehmer Data Engineering im Hinblick auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien kennen. Die Teilnehmer beginnen mit Grundlagen der wichtigsten Computer- und Speichertechnologien, die zum Erstellen einer analytischen Lösung verwendet werden. Zunächst lernen sie, wie sie Daten, die in Dateien in einem Data Lake gespeichert sind, interaktiv untersuchen. Sie lernen die verschiedenen Aufnahmetechniken kennen, die verwendet werden können, um Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks zu laden, oder wie sie mit Azure Data Factory oder Azure Synapse-Pipelines aufnehmen. Die Kursteilnehmer lernen auch die verschiedenen Möglichkeiten kennen, wie sie die Daten mit denselben Technologien umwandeln können, die zur Datenerfassung verwendet werden. Sie werden verstehen, wie wichtig es ist, Sicherheit zu implementieren, um sicherzustellen, dass die Daten im Ruhezustand oder während der Übertragung geschützt sind. Teilnehmer zeigen dann, wie ein Echtzeit-Analysesystem erstellt wird, um Echtzeit-Analyselösungen zu erstellen.
Kursinhalt
Modul 1: Untersuchen von Rechen- und Speicheroptionen für Daten-Engineering-Workloads
Dieses Modul bietet einen Überblick über die Azure-Rechen- und Speichertechnologieoptionen, die Dateningenieuren zur Verfügung stehen, die analytische Workloads erstellen. In diesem Modul lernen die Kursteilnehmer, wie sie den Data Lake strukturieren und die Dateien für Exploration-, Streaming- und Batch-Workloads optimieren. Die Teilnehmer lernen, wie sie den Data Lake in Ebenen der Datenverfeinerung organisieren, während sie Dateien durch Batch- und Stream-Verarbeitung umwandeln. Anschließend lernen sie, wie sie Indizes für ihre Datensätze erstellen, z. B. CSV-, JSON- und Parquet-Dateien, und sie für eine potenzielle Beschleunigung von Abfragen und Workloads verwenden.
Lektion
- Einführung in Azure Synapse Analytics
- Beschreiben von Azure Databricks
- Einführung in Azure Data Lake Storage
- Die Delta Lake-Architektur beschreiben
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
Lab: Untersuchen von Rechen- und Speicheroptionen für Data-Engineering-Workloads
- Kombinieren von Streaming und Stapelverarbeitung mit einer einzigen Pipeline
- Organisieren von Data Lake in Ebenen der Dateitransformation
- Indizieren von Data Lake Storage für Abfrage- und Workload-Beschleunigung
Nach Abschluss dieses Moduls sind die Kursteilnehmer in der Lage:
- Azure Synapse Analytics zu beschreiben
- Azure Databricks zu beschreiben
- Azure Data Lake-Speicher zu beschreiben
- Delta Lake-Architektur zu beschreiben
- Azure Stream Analytics zu beschreiben
Modul 2: Ausführen interaktiver Abfragen mit serverlosen SQL-Pools von Azure Synapse Analytics
In diesem Modul lernen die Teilnehmer, wie sie mit Dateien arbeiten, die im Data Lake und in externen Dateiquellen gespeichert sind, und zwar über T-SQL-Anweisungen, die von einem serverlosen SQL-Pool in Azure Synapse Analytics ausgeführt werden. Die Teilnehmer fragen Parquet-Dateien ab, die in einem Data Lake gespeichert sind, sowie CSV-Dateien, die in einem externen Datenspeicher gespeichert sind. Als Nächstes erstellen sie Azure Active Directory-Sicherheitsgruppen und erzwingen den Zugriff auf Dateien im Data Lake durch rollenbasierte Role-Based Access Control (RBAC) und Access Control Lists (ACLs).
Lektion
- Erkunden von serverloser SQL-Pool-Funktionen von Azure Synapse
- Abfragen von Daten im Lake mit serverlosen SQL-Pools von Azure Synapse
- Erstellen der Metadatenobjekte in serverlosen SQL-Pools von Azure Synapse
- Sichern von Daten und Verwaltung von Benutzer in serverlosen SQL-Pools von Azure Synapse
Lab: Ausführen interaktiver Abfragen mit serverlosen SQL-Pools
- Abfragen von Parquet-Daten mit serverlosen SQL-Pools
- Erstellen von externen Tabellen für Parquet- und CSV-Dateien
- Erstellen von Ansichten mit serverlosen SQL-Pools
- Sicherer Zugriff auf Daten in einem Data Lake bei Verwendung von serverlosen SQL-Pools
- Konfigurieren von der Data Lake-Sicherheit mit Role-Based Access Control (RBAC) und Access Control List
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- sich mit den serverlosen SQL-Poolfunktionen von Azure Synapse vertraut machen
- Daten im Lake mit serverlosen SQL-Pools von Azure Synapse abfragen
- Metadatenobjekte in serverlosen SQL-Pools von Azure Synapse erstellen
- Daten sichern und Benutzer in serverlosen SQL-Pools von Azure Synapse verwalten
Modul 3: Datenexploration und -transformation in Azure Databricks
In diesem Modul lernen die Kursteilnehmer, wie sie verschiedene Apache Spark DataFrame-Methoden verwenden, um Daten in Azure Databricks zu untersuchen und zu transformieren. Sie lernen auch, wie sie Standard-DataFrame-Methoden zum Untersuchen und Transformieren von Daten ausführen. Es wird anschließen gezeigt, wie sie erweiterte Aufgaben ausführen, wie z. B. das Entfernen doppelter Daten, das Bearbeiten von Datums-/Uhrzeitwerten, das Umbenennen von Spalten und das Aggregieren von Daten.
Lektion
- Beschreiben von Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit DataFrames in Azure Databricks
- Arbeiten mit erweiterten DataFrames-Methoden in Azure Databricks
Lab: Data Exploration und Transformation in Azure Databricks
- Verwenden von DataFrames in Azure Databricks, um Daten zu untersuchen und zu filtern
- Cachen von DataFrame für schnellere nachfolgende Abfragen
- Entfernen von doppelten Daten
- Datums-/Uhrzeitwerte bearbeiten
- Entfernen und Umbenennen von DataFrame-Spalten
- Aggregieren Daten, die in einem DataFrame gespeichert sind
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- Azure Databricks beschreiben
- Daten in Azure Databricks lesen und schreiben
- mit DataFrames in Azure Databricks arbeiten
- mit erweiterten DataFrames-Methoden in Azure Databricks arbeiten
Modul 4: Untersuchen, Transformieren und Laden von Daten mit Apache Spark in das Data Warehouse
In diesem Modul lernen die Kursteilnehmer, wie sie in einem Data Lake gespeicherte Daten untersuchen, die Daten transformieren und Daten in einen relationalen Datenspeicher laden. Die Kursteilnehmer werden Parquet- und JSON-Dateien untersuchen und Techniken verwenden zum Abfragen und Transformieren von JSON-Dateien mit hierarchischen Strukturen. Anschließend werden die Teilnehmer Apache Spark verwenden, um Daten in das Data Warehouse zu laden und Parquet-Daten im Data Lake mit Daten im dedizierten SQL-Pool zu verknüpfen.
Lektion
- Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
- Erfassen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
- Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
- Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics
Lab : Untersuchen, Transformieren und Laden von Daten mit Apache Spark in das Data Warehouse
- Eine Datenexploration in Synapse Studio durchführen
- Daten mit Spark-Notebooks in Azure Synapse Analytics erfassen
- Daten mit DataFrames in Spark-Pools in Azure Synapse Analytics transformieren
- SQL- und Spark-Pools in Azure Synapse Analytics integrieren
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- Big Data Engineering mit Apache Spark in Azure Synapse Analytics beschreiben
- Daten mit Apache Spark-Notebooks in Azure Synapse Analytics erfassen
- Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics transformieren
- SQL- und Apache Spark-Pools in Azure Synapse Analytics integrieren
Modul 5: Daten aufnehmen und in das Data Warehouse laden
In diesem Modul lernen die Teilnehmer, wie sie Daten über T-SQL-Skripts und Synapse Analytics-Integrationspipelines in das Data Warehouse aufnehmen. Die Teilnehmer lernen außerdem, wie sie Daten mit PolyBase und COPY unter Verwendung von T-SQL in dedizierte Synapse-SQL-Pools laden. Es wird auch gezeigt, wie sie das Workload-Management zusammen mit einer Kopieraktivität in einer Azure Synapse-Pipeline für die Datenaufnahme im Petabyte-Maßstab verwenden.
Lektion
- Verwenden Sie bewährte Methoden zum Laden von Daten in Azure Synapse Analytics
- Erfassung im Petabyte-Maßstab mit Azure Data Factory
Lab: Daten aufnehmen und in das Data Warehouse laden
- Mit Azure Synapse Pipelines eine Erfassung im Petabyte-Maßstab durchführen
- Daten mit PolyBase und COPY mit T-SQL importieren
- Bewährte Methoden zum Laden von Daten in Azure Synapse Analytics verwenden
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- bewährte Methoden zum Laden von Daten in Azure Synapse Analytics verwenden
- im Petabyte-Maßstab mit Azure Data Factory erfassen
Modul 6: Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
In diesem Modul lernen die Teilnehmer, wie sie Datenintegrationspipelines erstellen, um Daten aus mehreren Datenquellen aufzunehmen, Daten mithilfe von Mapping-Data-Flow umzuwandeln und Daten in eine oder mehrere Datensenken zu verschieben.
Lektion
- Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
- Code-freie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
Lab: Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
- Code-freie Transformationen in großem Maßstab mit Azure Synapse Pipelines ausführen
- Eine Datenpipeline erstellen, um schlecht formatierte CSV-Dateien zu importieren
- Mapping-Data Folows erstellen
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- die Datenintegration mit Azure Data Factory durchführen
- mit Azure Data Factory eine skalierbare Transformation ohne Code durchführen
Modul 7: Orchestrieren von Datenverschiebung und -transformation in Azure Synapse Pipelines
In diesem Modul lernen die Kursteilnehmer, wie sie die verknüpften Dienste erstellen und die Datenverschiebung und -transformation mithilfe von Notebooks in Azure Synapse Pipelines orchestrieren.
Lektion
- Orchestrieren von Datenverschiebung und -transformation in Azure Data Factory
Lab: Orchestrieren der Datenverschiebung und -transformation in Azure Synapse Pipelines
- Integrieren Sie Daten aus Notebooks mit Azure Data Factory oder Azure Synapse Pipelines
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- die Datenverschiebung und -transformation in Azure Synapse Pipelines orchestrieren
Modul 8: End-to-End-Sicherheit mit Azure Synapse Analytics
In diesem Modul lernen die Teilnehmer, wie sie einen Synapse Analytics-Arbeitsbereich und seine unterstützende Infrastruktur sichern. Sie werden den SQL Active Directory-Administrator beobachten, IP-Firewallregeln verwalten, Geheimnisse mit Azure Key Vault verwalten und über einen mit Key Vault verknüpften Dienst und Pipelineaktivitäten auf diese Geheimnisse zugreifen. Die Kursteilnehmer werden verstehen, wie Sicherheit auf Spaltenebene, Sicherheit auf Zeilenebene und dynamische Datenmaskierung implementiert werden, wenn dedizierte SQL-Pools verwendet werden.
Lektion
- Sichern von Data Warehouse in Azure Synapse Analytics
- Konfigurieren und Verwalten von Geheimnissen in Azure Key Vault
- Implementieren von Compliance-Kontrollen für sensible Daten
Lab: End-to-End-Sicherheit mit Azure Synapse Analytics
- Sichern von Infrastruktur zur Unterstützung von Azure Synapse Analytics
- Sichern von Azure Synapse Analytics-Arbeitsbereich und den verwalteten Dienste
- Sichern von Azure Synapse Analytics-Arbeitsbereichsdaten
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- ein Data Warehouse in Azure Synapse Analytics sichern
- Geheimnisse in Azure Key Vault konfigurieren und verwalten
- Compliance-Kontrollen für sensible Daten implementieren
Modul 9: Unterstützen von Hybrid Transactional Analytical Processing (HTAP) mit Azure Synapse Link
In diesem Modul erfahren die Teilnehmer, wie Azure Synapse Link die nahtlose Konnektivität eines Azure Cosmos DB-Kontos mit einem Synapse-Arbeitsbereich ermöglicht. Die Kursteilnehmer werden verstehen, wie Synapse-Link aktiviert und konfiguriert wird, und dann wie sie den Analysespeicher von Azure Cosmos DB mit Apache Spark und serverlosem SQL abfragen.
Lektion
- Entwerfen von hybrider Transaktions- und Analyseverarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfragen von Azure Cosmos DB mit Apache Spark-Pools
- Abfragen von Azure Cosmos DB mit serverlosen SQL-Pools
Lab: Hybrid Transactional Analytical Processing (HTAP) mit Azure Synapse Link unterstützen
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfragen von Azure Cosmos DB mit Apache Spark für Synapse Analytics
- Abfragen von Azure Cosmos DB mit einem serverlosen SQL-Pool für Azure Synapse Analytics
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- hybride Transaktions- und Analyseverarbeitung mit Azure Synapse Analytics entwerfen
- Azure Synapse Link mit Azure Cosmos DB konfigurieren
- Azure Cosmos DB mit Apache Spark für Azure Synapse Analytics abfragen
- Azure Cosmos DB mit serverlosem SQL für Azure Synapse Analytics abfragen
Modul 10: Echtzeit-Stream-Verarbeitung mit Stream Analytics
In diesem Modul lernen die Teilnehmer, wie sie Streamingdaten mit Azure Stream Analytics verarbeiten. Sie werden Fahrzeugtelemetriedaten in Event Hubs aufnehmen und diese Daten dann in Echtzeit verarbeiten, indem sie verschiedene Windowing-Funktionen in Azure Stream Analytics verwenden. Sie werden die Daten an Azure Synapse Analytics ausgeben. Schließlich lernen sie, wie der Stream Analytics-Auftrag skaliert wird, um den Durchsatz zu erhöhen.
Lektion
- Aktivieren von zuverlässigem Messaging für Big-Data-Anwendungen mithilfe von Azure Event Hubs
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
- Erfassen von Datenströme mit Azure Stream Analytics
Lab: Echtzeit-Stream-Verarbeitung mit Stream Analytics
- Verwenden von Stream Analytics, um Echtzeitdaten von Event Hubs zu verarbeiten
- Verwenden von Windowing-Funktionen von Stream Analytics, um Aggregate zu erstellen und an Synapse Analytics auszugeben
- Skalieren von Azure Stream Analytics-Auftrag, um den Durchsatz durch Partitionierung zu erhöhen
- Partitionieren von Stream-Eingabe neu, um die Parallelisierung zu optimieren
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- mithilfe von Azure Event Hubs zuverlässiges Messaging für Big-Data-Anwendungen aktivieren
- mit Datenströmen mithilfe von Azure Stream Analytics arbeiten
- Datenströme mit Azure St Ries Analytics erfassen
Modul 11: Erstellen einer Stream Processing Solution mit Event Hubs und Azure Databricks
In diesem Modul lernen die Teilnehmer, wie sie Streamingdaten in großem Maßstab mit Event Hubs und Spark Structured Streaming in Azure Databricks erfassen und verarbeiten. Sie werden die wichtigsten Funktionen und Anwendungen von Structured Streaming lernen. Sie werden auch Gleitfenster implementieren, um Datenblöcke zu aggregieren, und wendet Wasserzeichen an, um veraltete Daten zu entfernen. Schließlich werden sie eine Verbindung zu Event Hubs herstellen, um Streams zu lesen und zu schreiben.
Lektion
- Verarbeiten von Streamingdaten mit strukturiertem Azure Databricks-Streaming
Lab: Erstellen einer Streamverarbeitungslösung mit Event Hubs und Azure Databricks
- Erkunden von wichtigsten Funktionen und Verwendungen von Structured Streaming
- Streamen von Daten aus einer Datei und Schreiben von Datei ein verteiltes Dateisystem
- Verwenden von gleitendem Fenster, um nicht alle Daten, sondern Datenblöcke zu aggregieren
- Anwenden von Wasserzeichen, um veraltete Daten zu entfernen
- Herstellen einer Verbindung zu Lese- und Schreibstreams von Event Hubs
Nach Abschluss dieses Moduls können die Kursteilnehmer:
- Verarbeiten von Streamingdaten mit strukturiertem Azure Databricks-Streaming
DP-203T00: Data Engineering on Microsoft Azure
Erfahrungsbericht
Es gibt noch keine Bewertungen.