Open source Technologien
(Last updated: 2025-03-28 23:29:59.507585)
Hier finden Sie die wichtigsten Tools und Technologien für Data Engineering auf den Plattformen Microsoft Azure, AWS und Google Cloud Platform.
Microsoft Azure
- Azure Data Factory: Orchestrierung und Automatisierung von Datenpipelines.
- Azure Databricks: Big Data Verarbeitung mit Apache Spark.
- Azure Synapse Analytics: Integriertes Tool für Data Warehousing und Analysen.
- Azure SQL Database: Verwaltete relationale Datenbank.
- Azure Blob Storage: Skalierbarer Speicher für unstrukturierte Daten.
- Power BI: Datenvisualisierung für Business Intelligence.
Amazon Web Services (AWS)
- AWS Glue: Serverloses ETL-Tool für Datenintegration.
- Amazon Redshift: Data Warehouse für umfangreiche Analysen.
- AWS Lambda: Serverlose Berechnungen für Workflows.
- Amazon S3: Objektspeicher für Data Lakes.
- Amazon Athena: SQL-Abfragen direkt in S3.
- AWS Kinesis: Echtzeit-Datenstreaming.
Google Cloud Platform (GCP)
- Google BigQuery: Serverloses Data Warehouse für schnelle Abfragen.
- Cloud Dataflow: Verarbeitung von Streaming- und Batch-Daten.
- Cloud Dataproc: Verwalteter Spark- und Hadoop-Dienst.
- Google Cloud Storage: Einheitlicher Objektspeicher.
- Cloud Pub/Sub: Messaging für Echtzeit-Daten.
- Looker Studio: Tool für Datenvisualisierung.