Ingenieros de datos

Over de functie

Accenture zoekt Data Engineers in Colombia om data‑pipelines en -producten op AWS te ontwerpen, ontwikkelen en implementeren. Je werkt aan de bouw van Data Lake‑ en Data Mesh‑architecturen met hoge kwaliteit en schaalbaarheid.

Belangrijkste verantwoordelijkheden

• Ontwerpen, ontwikkelen en onderhouden van ETL/ELT‑processen en data‑pipelines op AWS.
• Bouwen en optimaliseren van data‑verwerkingsoplossingen met AWS Glue, Python, PySpark, Spark SQL, Redshift en Athena.
• Ontwikkelen van pipelines van gestructureerde, semi‑gestructureerde bronnen en bestanden naar Amazon S3.
• Schrijven van SQL‑queries voor transformatie, validatie en data‑exploitatie.
• Optimaliseren van data‑laden en gedistribueerde verwerking met Apache Spark.
• Beheren van metadata en catalogus met AWS Glue Data Catalog.
• Orchestreren van pipelines met Apache Airflow / MWAA.
• Implementeren van unit‑tests en datakwaliteitscontroles.
• Werken met versiebeheer in Git en bijdragen aan data‑productontwerp.

Gewenst profiel

• Ervaring met data‑engineering of ETL/ELT‑projecten (junior, semi‑senior of senior).
• Bekendheid met AWS‑diensten, met name Glue, Redshift, Athena en S3.
• Ervaring met Python, PySpark, Spark SQL en SQL‑ontwikkeling.
• Kennis van Data Lake‑ en Data Mesh‑concepten.
• Ervaring met workflow‑orchestratie (Airflow/MWAA) en Git.

Vereiste vaardigheden

• AWS Glue
• Python
• PySpark
• Spark SQL
• Amazon Redshift
• Amazon Athena
• Amazon S3
• SQL
• Apache Spark
• AWS Glue Data Catalog
• Apache Airflow / MWAA
• Git