Tools
(Last updated: 2025-03-28 23:33:36.735517)
Data Engineering Tools
als Data Engineer nutzen wir zahlreiche Tools für Datenmanagement und -verarbeitung.
Datenintegration und ETL
- Apache Airflow: Workflow-Management und Scheduling.
- Talend: Plattform für Datenintegration.
- Informatica PowerCenter: Unternehmenslösung für ETL.
- AWS Glue: Serverloses ETL-Tool.
- Azure Data Factory: Orchestrierung in der Cloud.
- Google Cloud Data Fusion: Visuelle Datenintegration.
- Stitch: Einfaches ETL-Tool.
- Pentaho Data Integration: Open-Source ETL.
- Fivetran: Automatisierte Datenintegration.
- Matillion: Cloud-native ETL.
Datenbanken und Speicher
- PostgreSQL: Open-Source relationale Datenbank.
- MongoDB: NoSQL-Datenbank.
- Apache Hadoop: Verteilte Speicherung.
- MySQL: Beliebte relationale Datenbank.
- Cassandra: Verteilte NoSQL-Datenbank.
- Amazon S3: Skalierbarer Objektspeicher.
- Google Cloud Storage: Einheitlicher Cloud-Speicher.
- Azure Blob Storage: Objektspeicher.
- Redis: In-Memory-Datenbank.
- Snowflake: Cloud-Datenplattform.
Big Data Verarbeitung
- Apache Spark: Schnelle Big Data Verarbeitung.
- Apache Kafka: Echtzeit-Datenstreaming.
- Apache Flink: Stream- und Batch-Verarbeitung.
- Apache Storm: Echtzeit-Datenverarbeitung.
- Hadoop MapReduce: Verteilte Verarbeitung.
- AWS Kinesis: Echtzeit-Streaming.
- Google Cloud Dataflow: Streaming und Batch.
- Azure Stream Analytics: Echtzeit-Analysen.
- Elasticsearch: Such- und Analyse-Engine.
- Presto: Distributed SQL Query Engine.
Cloud-Plattformen
- AWS S3: Objektspeicher.
- Google BigQuery: Serverloses Data Warehouse.
- Azure Data Lake: Big Data Speicher.
- Amazon Redshift: Cloud-Data Warehouse.
- AWS Lambda: Serverlose Berechnungen.
- Google Cloud Pub/Sub: Echtzeit-Messaging.
- Azure Synapse Analytics: Integriertes Analysetool.
- AWS Athena: SQL-Abfragen in S3.
- Google Cloud Dataproc: Verwalteter Spark-Dienst.
- Azure Databricks: Big Data mit Spark.
Programmierung und Skripting
- Python: Hauptsprache für Datenverarbeitung.
- SQL: Standardabfragesprache.
- Bash: Skripting für Automatisierung.
- Java: Für Big Data Frameworks.
- Scala: Oft mit Spark verwendet.
- R: Statistische Programmierung.
- PowerShell: Skripting für Windows.
- Go: Performante Sprache.
- Ruby: Skripting für Prototypen.
- Perl: Datenmanipulation.