Data Engineer - Observability & Platform

A IDW é uma empresa Portuguesa, reconhecida pela qualidade dos seus serviços e recursos humanos, focada em apresentar aos seus clientes as melhores soluções de negócio, baseadas em tecnologias de Informação. Na IDW desenhamos e implementamos soluções e serviços em algumas das maiores empresas a operar em Portugal e a nível internacional.

Estamos à procura de um Data Engineer - Observability & Platform para integrar um projeto em Lisboa, em modelo híbrido.

Perfil:

• Conhecimentos sólidos de sistemas operativos (Linux), arquitetura e linguagem Shell Scripting;
• Bons conhecimentos de infraestrutura clusters Kubernates (nativo ou vendor-specific) e Docker/Containers;
• Conhecimentos de tecnologias de coleta, armazenamento e disponibilização de métricas: ELK, Grafana, Prometheus, Collectd, Vector, Beats, Fluentd;
• Conhecimentos de tecnologias de streaming and Messaging (Streamsets, Kafka, rabbitMQ, Pulsar);
• Conhecimentos de programação (Shell scripting, Perl, Python, Go, Sql);
• Conhecimentos de base de dados, data warehousing, ETL;
• Conhecimentos de desenvolvimento de pipelines de dados, modelagem de dados, criação de visualizações e dashboards de Kibana e Grafana.

Tarefas:

• Deter dados de diferentes fontes, como bases de dados e APIs, de forma automática e contínua;
• Gerir e otimizar o uso de data warehouses na nuvem, como Snowflake, BigQuery e Redshift, para armazenar grandes volumes de dados;
• Realizar a limpeza, normalização e agregação de dados, combinando informações de diversas fontes para criar um conjunto de dados unificado e pronto para análise;
• Automatizar e gerenciar fluxos de trabalho complexos de dados, garantindo a execução eficiente e no tempo certo das operações;
• Aplicar técnicas de ciência de dados e aprendizado de máquina para construir modelos preditivos e identificar padrões nos dados;
• Desenvolver dashboards e relatórios com ferramentas de Business Intelligence, como Tableau, Power BI e Looker;
• Garantir que os dados sejam bem documentados, acessíveis e de alta qualidade, mantendo a conformidade e a segurança;
• Acompanhar tecnologias emergentes e otimizar processos para garantir que o data stack atenda às necessidades atuais e futuras do negócio