Na era da transformação dos sistemas desenvolvidos na arquitetura monolítica para a arquitetura de microsserviços, temos visto um movimento cada vez maior das empresas interessadas em adotar a tecnologia Kafka
Isso se deve, principalmente, pelas vantagens que ela gera aos negócios, como:
Para te ajudar a entender mais sobre essa tecnologia, preparamos um post completo sobre o que é Kafka, como ele funciona e por que utilizá-la no seu negócio.
Vamos lá?
O Kafka é uma plataforma de eventos em streaming que possibilita a publicação, subscrição, armazenamento e o processamento do fluxo de eventos em tempo real.
Além de Open Source, ela realiza a transmissão de dados de forma extremamente ágil e versátil.
A tecnologia Kafka, também conhecida como Apache Kafka, é baseada em log, que funciona de forma assíncrona e desacoplada, assim como processa os dados de forma distribuída.
Em outras palavras, a escrita (producer) e a leitura (consumer) ocorrem de forma independente.
As mensagens, por sua vez, são gravadas em tópicos nos brokers de forma particionada para assegurar a segurança e a performance.
O Kafka simplifica a ingestão de dados de fontes externas através de conectores, o que facilita a integração dos dados.
Além disso, ele possibilita a realização da transformações de dados, ou seja, a agregação, junção, filtros e consultas de eventos em tempo real.
Dessa forma, elas podem ser consumidas conforme a regra do negócio.
A tecnologia também conta com recursos de governança de dados, como, por exemplo, gestão dos schemas, segurança, criptografia dos dados no Broker, e ACL para o acessos) para a melhor gestão do ambiente.
Agora que entendemos como funciona a tecnologia Kafka, chegou a hora de conhecer os principais componentes, que são:
Os 5 motivos para a adoção da tecnologia Kafka são:
Sabe por que empresas como Airbnb, Uber, Netflix, Instacart, Nubank, Yelp, Tinder, Twitter entre diversas outras empresas com a necessidade de escalar rapidamente adotaram o Kafka?
Pela capacidade de processar grande volume de dados com baixa latência de forma eficiente.
Com a necessidade crescente de integração com várias fontes de dados, o Kafka possibilita a conexão, de forma flexível e simples, através de conectores que agilizam o processo de integração.
A tecnologia Kafka possui mecanismos para reduzir riscos de perda de dados e acessos indesejados ao ambiente, como o Access Control List (ACL), além da possibilidade de integrar com o Active Directory (AD).
Vale lembrar que o Kafka contempla os mecanismos ACID (Atomicidade, Consistência, Isolamento e Durabilidade).
Em um cenário em que dados são gerados de diversas fontes e formatos, ter um recurso que realize a transformação (leia-se ETL ou ELT) no menor tempo possível, pode fazer uma grande diferença, dependendo do caso de uso.
Isso porque a tecnologia Kafka permite que o processo seja feito através do KsqlDB de forma fácil e sem a necessidade de escrever nenhuma linha de código para executar join, agregation, filter, query, etc.
Com o volume crescente dos dados e a necessidade da democratização do acesso, o tema de governança tem ganhado uma atenção especial nas empresas.
Em se tratando do Kafka, existem mecanismos para administrar os schemas de dados, acessos de forma granular via Role Based Access Control (RBac) além de determinar regras para a nomenclatura de tópicos, ciclo de vida, tamanho das mensagens, etc.
Na TechRom, tivemos a oportunidade de apoiar uma implantação de tecnologia Kafka em uma empresa do segmento de saúde.
Quando um usuário, que era segurado pela empresa de saúde, precisava realizar um procedimento médico, a abertura da solicitação era feita através de um hospital ou clínica, que submetia o processo para que a empresa de saúde realizasse a análise (se o plano do usuário cobria, custos envolvidos, etc.) para a aprovação ou não da requisição.
Antes de implantar o Kafka, o processo de aprovação levava 24hs devido ao grande olume de solicitações, formatos distintos enviados pelas credenciados e capacidade de processamento.
Após a adoção do Kafka, o processo passou a levar 3 minutos!
Além do processamento próximo do tempo real, a empresa ganhou outros benefícios operacionais, como:
Gostou de entender mais sobre o poder do Kafka e como ele pode ser implementado em diferentes negócios?
Então, que tal se aprofundar ainda mais no assunto?
No dia 13/09, às 19h, a TechRom irá realizar um Kafka Meetup no espaço da iugu!
O evento irá contar com diversos especialistas sobre a tecnologia e as vantagens da utilização do Kafka!
Garanta seu ingresso gratuito e vem aprender mais!