Home / BIG DATA / Usando Kafka com Ubuntu

Usando Kafka com Ubuntu

Neste post usaremos o Ubuntu como sistema operacional para rodar nossas aplicações.

Em um post anterior, vimos como criar um cluster Kafka utilizando os serviços da AWS.  Desta vez faremos tudo em um ambiente local Linux.

Vamos la!

Instalando o Kafka

  • Realize o download do Kafka – https://kafka.apache.org/downloads
  • Procure pelos Binary downloads e copie o endereço do link.
  • descompacte o arquivo
  • Instale o Java na máquina

O comando abaixo fará tudo isso:

Agora temos tudo do que precisamos para rodar o Kafka
Obs: O Kafka precisa do Zookeeper para rodar, porém ele já vem no pacote original do Kafka, com algumas limitações. Mas para para objeto de estudo, sem problemas.

Antes de iniciar seu servidor Kafka, edite o arquivo server.properties, dentro da pasta config:

cd config/
vi server.properties

Com as setas do teclado, vá até a linha com a palavra listeners, aperte a tecla i e descomente a linha
Aperte ESC
Digite dois pontos “:”, digite “x” e de ENTER

Iniciando o Zookeeper

Entre na pasta descompactada do kafka e digite o comando abaixo:

Iniciando o servidor Kafka

Dentro da pasta do Kafka, digite o comando

Estamos prontos agora para criar nosso tópico com o Producer e consumirmos os dados com nosso Consumer

Criando um tópico

Após a criação do tópico, digite algumas linhas e aperte ENTER. Elas serão as mensagens que serão consumidas ao ler o tópico

Consumindo o tópico

Check Also

Criando o requirements.txt de forma automática

Uma boa prática em todo projeto é criar o arquivo “requirements.txt”. Nele consta todas as …

Leave a Reply

Your email address will not be published. Required fields are marked *

PortugueseEnglishFrenchSpanishGerman