Marcelo Costa, head of IT Cia Hering, realizou uma palestra no segundo dia do Fórum E-Commerce Brasil 2023. Na oportunidade, ele detalhou a estratégia de data driven da empresa que movimenta milhões de dados diariamente.
“Criamos uma estratégia de digital decoupling, permitindo que sistemas antigos conversem naturalmente com novas tecnologias, além de alimentar o Datalake para tomada de decisões”, explica Costa.
O executivo revela que em 2021 construíram um Datalake dentro do Google, onde movimentavam poucos dados: 18 tabelas e 50 milhões de registros. Entre os produtos digitais que integram diariamente na companhia estão: B2B, marketplace, logística, compras, dashboard e relatórios.
“Em 2022, entendemos o desafio tecnológico que seria interligar todos os sistemas. Com isso, foi aplicado uma técnica de desacoplamento dos legados com o Apache Kafka e o seu ecossistema como habilitador. Foi realizado o desacoplamento dos dados, capaz de integrar sistemas legados, como SAP ECC e sistemas de indústrias constituídos sob Oracle Forms, como novos sistemas construídos em nuvem”, conta o palestrante.
Segundo o executivo, sistemas antigos existem em todas as empresas, não sendo possível mudar tudo de uma hora para outra. “Entregamos uma arquitetura que chamamos de Integration hub. No início plantamos em Blumenau, que está um dos principais data centers da empresa. Integramos com SAP o sistema de varejo e da indústria. Criamos uma estratégia de recuperação em caso de algum problema nessa integração. Toda a arquitetura fala com Blumenau e Google Cloud. Além disso, criamos um portal de reposicionamento de mensagem, interface essa que olhas as mensagens e reprocessa quando faz sentido”.
Componentes do Integration Hubs
– Kafka Broker
– Kafka Connect (Debezium, JDBC)
– Mirror Maker
– Java jCo (SAP)
– RFC HTTP SYNC (SAP)
– API Gateway (Kong no Core)
– Esteira DevOps
– Observability (Elastic, LogStash, Beats)
– Portal Integration Hub (React, DLQ, Retry)
– Processo de FallBack (MongoDB, Go Lang)
Infraestrutura On-Premises em Blumenau
Kafka Broker
– Cluster com 3 nós
– 39 GB de memória em cada nó
– 8 vCPU em cada nó
– 1 Tera de Storage para o Cluster
Kafka Connect
– Cluster com 5 nós
– 35 GB de memória em cada nó
– 4 vCPU em cada nó
– 300 GB de Storage para o Cluster
Infraestrutura no Google Cloud
Kafka Broker
– Cluster com 3 nós
– 16 GB de memória em cada nó
– 8 vCPU em cada nó
– 1 Tera de Storage para o Cluster
Kafka Connect
– Cluster com 5 nós
– 8 GB de memória em cada nó
– 2 vCPU em cada nó
– 300 GB de Storage para o Cluster
Os domínios impactados
– B2C
– B2B
– Indústria
– Sistemas Corporativos
– Inteligência Comercial
Os benefícios alcançados
– Segurança da informação: isolamento dos sistemas importantes por meio de camadas
– Velocidade na entrega: componentes térmicos que aceleram a entrega de valor para o negócio
– Conectividade com parceiros: uma estratégia de API que nos permite acoplar facilmente
– Desacoplamento: regras de negócio do grupo em poder do grupo sem depender de terceiro
– Reuso: uma estrutura que permite o uso e reuso atendendo várias abordagens
FONTE: https://www.ecommercebrasil.com.br/noticias/hering-transforma-tomada-de-decisoes-ao-apostar-em-estrategia-data-driven