A transformação digital pela qual todas as empresas passam atualmente é um movimento impulsionado pela quarta revolução industrial, a revolução da inteligência – que permite o desenvolvimento de economias completamente baseadas em dados e em inteligência artificial.

Entre as diversas mudanças que ela traz para a sociedade, há uma muito importante para as empresas que querem evoluir suas operações nesse sentido: o novo paradigma de arquitetura de dados permitido pela nuvem.

Até recentemente, o processamento de dados ainda estava muito baseado na terceira revolução industrial, a da computação – na qual os processos ganharam automação com base em quantidades de informações transacionais.

Um paradigma de arquitetura no qual todas as informações eram consolidadas em grandes servidores, com uma capacidade muito limitada de uso – a chamada arquitetura monolítica, complexa e centralizada, com uma grande limitação para escalar e acompanhar o ritmo de crescimento de integrações e inovações, além de uma capacidade analítica restrita.

No modelo de Data Lake, tradicionalmente usado para Big Data, os dados ficam centralizados em um mesmo ambiente, e sua ingestão, transformação e disponibilização são feitas também por uma área central. Um dos maiores problemas dessa arquitetura é que todas as demandas dos produtores e consumidores de dados ficam concentradas em um único time, que acaba se tornando superespecializado nesta tecnologia – mas longe das necessidades do negócio e do cliente final.

A computação em nuvem chega com recursos que permitem uma mudança essencial: a expansão da capacidade de produzir e usar dados em alta escala sem as limitações das arquiteturas anteriores. Com ela, é possível “quebrar” esse monolito em vários domínios de dados, permitindo o desenvolvimento de soluções de analytics e inteligência artificial mais ágeis e dinâmicas.

Entretanto, a transposição desse formato não é tão simples, e vem cercada de questões – que para mim, estão concentradas em quatro dilemas para o arquiteto de dados. O primeiro deles está relacionado à segurança do dado versus a sua democratização: qual a melhor abordagem para garantir o uso seguro de dados por mais pessoas? A segurança deve ser o primeiro componente do design, e quanto antes for possível automatizar esse processo, mais rápido ocorre a inovação.

Garantir a privacidade dos clientes e ao mesmo tempo usar dados massivamente como diferencial competitivo é o segundo dilema. Importante lembrar que todas as regulações de privacidade ao redor do mundo, incluindo a Lei Geral de Proteção de Dados (LGPD) brasileira, partem do mesmo princípio: cada indivíduo é dono de seus dados. Consequentemente, é preciso dar transparência, além de ter consentimento. Nesse sentido, preparar a infraestrutura para ter o privacy by design em larga escala é essencial.

Estabelecer uma governança robusta o suficiente sem prejudicar a agilidade no uso dos dados é o terceiro dilema. É necessário envolver todas as áreas de negócio e torná-las também responsáveis pelo processo de definição de metadados e de sua governança. Desenvolver um fluxo de gestão deste processo que possa ser federado dentro da organização, sem perder de vista a gestão eficaz dos ativos de dados, é um passo essencial para inovar a partir de analytics.

Por último está o impacto que a centralização (no modelo até então existente de Data Lakes) tem na capacidade de escalar seu uso. Neste ponto, o Data Mesh – viabilizado pela nuvem – traz uma grande evolução para a arquitetura, habilitando a transformação digital de modo a utilizar a inteligência artificial de forma massiva. Os dados passam a ser tratados como produtos, e sua arquitetura é descentralizada e orientada ao domínio de negócio.

Com isso, tanto os produtores quanto os consumidores de dados ganham novas responsabilidades e mais autonomia para executar os trabalhos relacionados a eles – sem perder segurança, privacidade e governança, e com uma possibilidade de escalar infinita.

Mas qual o impacto nas empresas? Na prática, isso significa que agora é possível trabalhar soluções baseadas em análise de dados com a mesma agilidade das transacionais. O que facilita a customização de serviços para diferentes perfis de usuários, a descoberta de novos produtos e o desenvolvimento de soluções mais inovadoras muito mais rápido – respondendo às necessidades dos clientes com ciclos mais curtos de aprendizados e evoluções, além de trazer uma maior segurança para suas informações.

Os dados são responsabilidade e uma necessidade das organizações que querem ser digitais e competir no novo cenário global. E estabelecer uma governança para seu uso é algo estratégico das grandes corporações. No Itaú Unibanco, essa dinâmica já é uma realidade.

Os times já estão desenvolvendo novos produtos e serviços – e inovando – nesse novo paradigma baseado em dados e analytics, que torna as aplicações mais ágeis, dinâmicas e integradas de forma mais inteligente. Criamos esferas de dados em todas os produtos, porque é no negócio, na ponta, que se inova de fato para o cliente.

Em um projeto recente, conseguimos acelerar em 10 vezes o tempo de processamento de dados utilizados para direcionar os investimentos em mídia de performance para abertura de contas. Uma agilidade que significa mais facilidade para renovar os modelos e adaptá-los às mudanças de comportamento do cliente e do mercado – além de possibilitar ferramentas que tornam o processo simples e intuitivo, permitindo que qualquer pessoa possa operar as campanhas em tempo real.

Com esse novo modelo, indústrias tradicionais podem desenvolver aplicações que aprendam com seus clientes e evoluam junto com eles, personalizando sua experiência de acordo com seu uso. Tenho uma grande paixão pela arquitetura de dados, e acredito que o Data Mesh terá no mundo analítico o mesmo impacto que os micro serviços tiveram no mundo transacional – trazendo um novo universo de possibilidades.

*Moisés Nascimento é diretor de Dados e Analytics do Itaú Unibanco, passou mais de uma década no Vale do Silício, na Califórnia, nos EUA, trabalhando como arquiteto, engenheiro e executivo de Tecnologia, especializando-se em plataformas digitais centradas em clientes e dados