Data Engineer Pleno | Plataforma de Dados

Sobre nós ​ A XP Inc. é uma das maiores instituições financeiras independente do Brasil, dona das marcas XP, Rico, Clear, XP Educação, InfoMoney, entre outras. Com mais de 4,6 milhões de clientes ativos e um valor superior a R$ 1,1 trilhão de ativos sob custódia, há 24 anos vem transformando o mercado financeiro para melhorar a vida das pessoas. Com uma cultura marcante guiada por quatro valores - Sonho Grande, Espírito Empreendedor, Foco no Cliente e Mente Aberta - a XP Inc. está sempre em busca dos melhores talentos que tem ambição de fazer o impossível. 🚀 Sobre a Oportunidade Essa oportunidade é para o time de Plataforma de Dados, que tem a missão de prover as capacidades para ganharmos escala, eficiência e qualidade nas etapas de busca, processamento e uso de dados. É um time apaixonado por desafios, que atua na implementação de soluções de natureza transversal, com objetivo de habilitar e maximizar a entrega de valor, de forma inteligente e contínua, para o negócio e para o nosso cliente através de dados. Saiba mais sobre nosso dia a dia n o Instagram e no LinkedIn . Confira nossas avaliações no Glassdoor . 🔍 O Que Procuramos Pré-requisitos Essenciais: Linguagens de Programação: Experiência em linguagens de programação relevantes para engenharia de dados, como Apache Spark, Python, Pyspark ou SQL, para manipular, analisar e transformar dados. ETL e Pipelines de Dados: Conhecimento em processos de extração, transformação e carga (ETL) e experiência na construção e manutenção de pipelines de dados eficientes e escaláveis (batch e streaming). Bancos de Dados e Armazenamento de Dados: Familiaridade com diferentes tipos de bancos de dados (relacionais e não relacionais) e soluções de armazenamento de dados (como Data Lakes), compreendendo as melhores práticas e técnicas para gerenciamento e acesso aos dados. Conhecimento em Cloud Azure: Familiaridade com a plataforma de nuvem da Microsoft Azure, incluindo serviços e recursos relacionados ao gerenciamento de dados e análises. Experiência com Databricks: Habilidade para trabalhar com o ambiente de análise de dados unificado do Databricks, utilizando suas funcionalidades para processamento e análise de grandes volumes de dados. Conceitos e práticas de CI/CD; Residir em São Paulo e possuir disponibilidade para atuar no modelo híbrido (2x na semana) Diferenciais: Tiver conhecimento em princípios e práticas de governança e qualidade de dados, incluindo gerenciamento de metadados, segurança de dados; Tiver experiência com Data Mesh; Tiver experiência com o uso de Delta Lake; Tiver amplo conhecimento nas soluções Azure voltadas para dados analíticos; Tiver experiência com Apache Airflow; Tiver experiência no uso e criação de esteiras de CI/CD no Azure DevOps; 🎯 Desafios e Impacto Implementar políticas, processos e ferramentas para definição, responsabilização e democratização dos dados; Participar ativamente de decisões arquiteturais chaves de forma corporativa, estabelecendo comunicação clara com arquitetos e demais engenheiros de software e dados; Elaborar e conduzir discussões sobre a arquitetura de dados e ferramentas a serem adotadas através de ADRs e RFCs, buscando a melhor solução para o ecossistema XP; Disseminar cultura de qualidade em dados provendo capacidades técnicas, definindo processos para tratamento de problemas e orientando implementação de controles nos dados atuais; Evoluir as capacidades de captura e ingestão de dados, garantindo segurança, governança, escalabilidade e monitoria dos processos; Evoluir as capacidades da plataforma de dados para que as aplicações orquestrem e processem dados em batching e streaming de maneira segura, escalável e monitorada; Habilitar o consumo de informações por outras aplicações de tecnologia e por usuários garantindo segurança e escalabilidade e monitoria; Garantir e evoluir, em conjunto com times de engenharia e arquitetura, a estratégia de Data Mesh dentro da empresa; Participar em melhores práticas de governança de dados ju...