A gestão de dados é uma das principais preocupações das empresas em todo o mundo, mas muitas vezes essa tarefa é complexa e pode se tornar um gargalo para os times de engenharia de dados.
É nesse cenário que surge o conceito de Data Mesh, que propõe tratar os dados em escala como produtos finalizados, não apenas como um recurso técnico isolado. Neste artigo, vamos entender arranhar a superfície do conceito de Data Mesh e como uma aplicação pode ser iniciada na prática, para uma gestão mais eficiente de dados.
O que é Data Mesh?
data-mesh
O Data Mesh é um modelo de arquitetura de dados que propõe uma nova forma de organizar e gerenciar dados, tornando-os mais acessíveis, ágeis e confiáveis. O objetivo principal do Data Mesh é tratar os dados como produtos, componentes mínimos implementáveis com alta coesão funcional, contém nele mesmo todos os elementos para seu funcionamento.
Neste cenário cada subconjunto de dados tem seu próprio proprietário (Owner), que de preferência possa evoluí-lo como um produto.
De acordo com o modelo proposto pelo Data Mesh, cada fonte de dados tem uma equipe focada em uma oferta autônoma, construindo uma arquitetura distribuída orientada ao domínio.
Cada domínio deve ser descoberto, endereçável, auto descritivo, seguro (governado pelo controle de acesso global), confiável e interoperável (governado por um padrão aberto) e ter um valor por si só (como um produto finalizado). Cada domínio poderá armazenar seus dados em um data lake/warehouse e, em muitos casos, também terá uma cópia de alguns dos dados em um banco de dados relacional transacional.
Para garantir que a arquitetura de Data Mesh gera valor em escala em grandes organizações, deve garantir entre outros atributos, que:
- Responde bem as mudanças essenciais do negócio (dinamismo, complexidade, volatilidade, incerteza, ambiguidades e etc.);
- Garantir a capacidade de resposta ágil frente ao crescimento e;
- Aumentar a relação de valor x investimento.
Principais benefícios do Data Mesh
beneficios
A implementação do Data Mesh pode trazer uma série de benefícios para a gestão de dados em uma empresa, incluindo:
Maior autonomia dos times de engenharia de negócio: cada equipe pode gerenciar seus próprios dados e oferecer soluções mais personalizadas. Melhor qualidade dos dados: com um proprietário (OWNER) do produto de dados responsável por garantir a qualidade dos dados, as entregas serão mais confiáveis e satisfatórias para todos os usuários. Maior agilidade na entrega de produtos de dados: com cada equipe gerenciando seus próprios contextos de dados, o tempo de espera para o consumo de dados pode ser reduzido, aumentando a agilidade e a eficiência dos processos. Melhor interface com os usuários: com um conhecimento profundo dos usuários dos dados, os proprietários dos produtos podem projetar interfaces de produtos de dados que atendam às necessidades das áreas consumidoras.
Como implementar um Data Mesh?
implementar
Se você está pensando em implementar o Data Mesh, aqui estão alguns passos para começar:
-
Identifique os domínios de negócios: identifique as áreas de negócio que serão as fontes de dados autônomas e com proprietários (Owners) dedicados. Lembre que o modelo foi feito para atender ao dinamismo e complexidade dos negócios atuais, então crie estruturas para que sejam flexíveis e evoluam.
-
Defina os responsáveis por esses domínios ou produtos:
-
Os Proprietários (Owners) devem entender suas responsabilidades com os dados, que envolvem, entre outras atribuições:
- garantir a evolução do dado,
- mantê-los adaptáveis às mudanças,
- gerir as restrições de acesso e distribuição,
- manter os metadados padronizados e atualizados,
- cuidar da qualidade do dado.
-
Direcionar as dúvidas dos consumidores através da companhia.
-
Capacite os proprietários de produtos de dados: os proprietários de produtos de dados devem ser capacitados para compreender as necessidades dos usuários e projetar interfaces de produtos de dados que atendam a essas necessidades. Isso envolve a compreensão de quem são os usuários de dados, como eles usam os dados e quais são os métodos nativos que eles usam para consumir dados.
-
Estabeleça padrões e diretrizes: estabeleça padrões e diretrizes que as equipes devem seguir para garantir a interoperabilidade e a segurança dos dados. Isso inclui definir como os dados são descobertos, como são acessados, quais são os formato e requisitos de qualidade de dados.
-
Crie uma arquitetura orientada ao domínio: cada domínio deve ter sua própria arquitetura de dados distribuída, idealmente com sua própria infraestrutura de armazenamento e processamento de dados. As equipes do domínio podem ter a liberdade de escolher as tecnologias que melhor atendem às suas necessidades de acordo com a maturidade e dinâmica organizacional da arquitetura de dados.
-
Promova a cultura de dados: promova uma cultura de dados na empresa, onde a colaboração entre as equipes seja incentivada e onde a transparência e a comunicação sejam valorizadas. As equipes de dados devem ser incentivadas a compartilhar seus conhecimentos e experiências com outras equipes.
Conclusão
O Data Mesh é uma abordagem revolucionária para gerenciamento de dados que tem como objetivo empoderar os proprietários dos dados, para que eles possam gerar mais valor com esses ativos. Ao adotar o Data Mesh, as empresas podem aumentar a flexibilidade e escalabilidade de sua arquitetura de dados, melhorar a qualidade e a segurança dos dados e, o mais importante, tornar os dados mais claros e valiosos para toda a companhia. Se você está pensando em implementar o Data Mesh, esperamos que este guia possa ajudá-lo a dar os primeiros passos em direção a uma gestão de dados mais eficiente e orientada ao negócio.
\
Fica aqui uma referência bibliográfica importante sobre tudo que foi falado.
\
Data Mesh (https://www.oreilly.com/library/view/data-mesh/9781492092384/)
Zhamak Dehghani (https://learning.oreilly.com/search/?query=author%3A%22Zhamak%20Dehghani%22&sort=relevance&highlight=true)
Published by O’Reilly Media, Inc. Software Architecture