Engenheiro(a) de Dados Junior (Google Cloud)

Sobre a vaga

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagas!Responsabilidades e atribuições Buscamos um Engenheiro(a) de Dados Junior para atuar de forma presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento, em 9 meses de migração por ondas mensais, seguidos de 3 meses de pós implantação. Principais responsabilidades Operar os aceleradores da Leega no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências. Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud. Garantir a comparação automática entre legado e destino e conduzir o reprocessamento de ondas quando necessário. Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente.Definir e manter padrões de código, revisão em pares e es

Habilidades

O que você vai fazer

• Operar aceleradores Leega com IA e regras.
• Converter e implantar jobs Spark/PySpark no Google Cloud.
• Garantir comparação automática entre legado e destino.
• Resolver casos técnicos complexos.
• Adaptar frameworks proprietários do cliente.

O que você precisa ter

• Experiência com migração de plataforma de dados.
• Conhecimento em Cloudera na AWS.
• Experiência com Google Cloud.
• Conhecimento em Spark e PySpark.
• Experiência com streaming e CDC.

Perguntas frequentes