Engenharia de Dados: uma abordagem menos técnica

Afinal o que vem a mente em um primeiro momento quando pensamos em Engenharia de Dados?

A ideia deste post é trazer um pouco mais da Engenharia de Dados (do Inglês, Data Engineering, ou simplesmente DE), porém com um toque menos técnico, facilitando assim o aprendizado para aqueles que ainda estão migrando para esta área ou não tem DE como foco principal.

Esta será uma série de posts em que pretendo trazer um pouco mais de detalhe para cada tópico abaixo, desde menções técnicas, trechos de código, exemplos de ferramenta e até casos de uso.

Como toda carreira em dados, temos alguns conceitos chave que estão envolvidos na grande parte dos projetos de Engenharia de Dados, sendo eles:

• Pipelines de Dados e o Processo de Engenharia de Dados
• Armazenamento e Processamento Distribuído
• Data Warehouse, Data Lake e Data Lakehouse
• Modelagem de Dados
• Uso da linguagem Python na Engenharia de Dados
• Data Quality, Data Lineage e Data Observability
• DevOps para Engenharia de Dados
• Segurança dos Dados
• Catalogo de Dados
• Computação em Nuvem

Organizar os dados, é preciso?

Antes de entrarmos em cada conceito dentro do universo de DE, como podemos definir em poucas palavras a Engenharia de Dados? Podemos definir como a área que é responsável por transformar e organizar os dados brutos da empresa, seja processando em diferentes camadas de tratamento ou organizando-os da melhor maneira possível para á área que irá utilizar os dados.

Os processos de engenharia se iniciam na coleta de dados, passando pelo armazenamento de dados e, por fim, a distribuição desses dados para as áreas responsáveis. Porém, temos que lembrar da dimensão que esses dados podem ter, devido a isso vemos a evolução dos ambientes on-premises para ambientes de Cloud. Onde os profissionais podem ter mais liberdade para lidar com grandes volumes de dados que antes não eram possíveis.

Então, como podemos definir o dia a dia do profissional que terá que lidar com essas tecnologias e como pode ser definido o seu papel em vista da amplitude e variação de tarefas que podem existir diante de cada cenário do projeto?

Um papel importante

Para exemplificarmos de uma maneira mais detalhada iremos utilizar as definições da Microsoft Azure, hoje um dos três maiores Cloud Providers (provedor de serviços em nuvem), que também tem uma presença bem forte quando falamos de Engenharia de Dados.

Vejamos abaixo como a Microsoft Azure descreve o papel do Engenheiro de dados.

Um engenheiro de dados do Azure ajuda a garantir que os pipelines e armazenamentos de dados sejam de alto desempenho, eficientes, organizados e confiáveis, considerando um conjunto específico de requisitos e restrições de negócios. 

Este profissional lida com problemas imprevistos rapidamente e minimiza a perda de dados. Um engenheiro de dados do Azure também projeta, implementa, monitora e otimiza plataformas de dados para atender às necessidades do pipeline de dados.

Papeis do Engenheiro de dados – Certificação de Engenheiro de dados Azure – DP 203
https://learn.microsoft.com/en-us/certifications/azure-data-engineer/

Seria a nova profissão mais sexy do momento?

https://exame.com/carreira/profissao-mais-sexy-do-seculo-21-segue-em-alta-no-brasil/

O tom de comédia surge um pouco pois antes muitos sites e revistas famosos chamavam, e ainda continuam chamando, o Cientista de Dados como a profissão mais “sexy” do século XXI. Isto se deu por conta de uma publicação da Harvard Business Review em Outubro de 2012, com o título “Data Scientist: The Sexiest Job of the 21st Century“.

Sabemos que a demanda por Cientistas ainda está bem longe de acabar mas seria uma brecha para os engenheiros de dados entrarem em alta agora? Rsrs

Diante dos pontos apresentados, vemos um grande destaque para o Engenheiro de Dados que, neste ano, obteve o terceiro lugar da profissão mais procuradas para os profissionais de TI. Isso mostra uma crescente demanda exponencial por estes profissionais que são responsáveis por definir origem e dar destinos aos dados corporativos.

Demanda de profissionais

Mesmo pequenas empresas, que antes utilizavam o antigo BI (do Inglês, Business Intelligence, ou Inteligência de Negócios), agora estão entrando na onda e migrando sua estrutura para arquiteturas de dados modernas, dando mais espaço para melhores analises e cada vez mais as decisões podem ser tomadas baseadas em dados.

3ª Profissão em alta: Engenheiro(a) de Dados 

O Data Engineer é o responsável por garantir o fluxo de informações de forma correta. Em geral, é o profissional que tem a tarefa de gerenciar, organizar dados e resolver problemas, ou seja, desenvolve e mantém a arquitetura e infraestrutura de uma plataforma. 

Cidades que mais contratam: São Paulo, Rio de Janeiro e Belo Horizonte (MG)

Salário médio: R$ 7.429 por mês 

Fonte: https://www.seudinheiro.com/2022/empresas/profissoes-em-alta-em-2022-salarios-linkedin-tecnologia-lils/

Fazendo algumas buscas no LinkedIn e outras plataformas de vagas ou candidaturas, podemos tomar parâmetros das tecnologias mais solicitadas no mercado. Claro, tudo depende da senioridade exigida porém deixamos aqui algumas das tecnologias que estão bastante em alta neste ano de 2022.

• SQL
• Python
• Linux e Redes
• Inglês técnico
• ETL x ELT
• Apache Airflow
• Azure Data Factory
• Databricks
• AWS, GCP e Azure

Conclusão

A área de Engenharia de Dados vem a cada ano tomando mais força, vendo que muitas empresas começaram apenas com times de Cientista de Dados. Hoje estamos caminhando talvez para uma mudança de quem seria o profissionais mais quente do momento.

Abaixo estão alguns dados do dia 10 de Dezembro de 2022 apenas para o Brasil, onde vemos que nos últimos 5 anos a busca pelo termo “Engenheiro de dados” vem aumentando mais a cada ano e nos mostra que neste ano teve uma procura muito similar ao termo “Cientista de dados”.

Se você tem interesse na área, é um bom momento para começar a estudar e planejar sua migração para a mesma. Espero ter atendido as expectativa durante a leitura e nos vemos no próximo post, onde irei continuar falando dos demais tópicos de Engenharia de Dados.

E se você já está na área, seja trabalhando ou apenas estudando, você pode colaborar com a nossa comunidade. Conheça mais sobre o BRAINS – Brazilian AI Networks e saiba como colaborar com a gente e com milhares de estudantes brasileiros.

#NoBrains #NoGains 🧠