Home / BIG DATA / Usando Kafka com Ubuntu

Usando Kafka com Ubuntu

Neste post usaremos o Ubuntu como sistema operacional para rodar nossas aplicações.

Em um post anterior, vimos como criar um cluster Kafka utilizando os serviços da AWS.  Desta vez faremos tudo em um ambiente local Linux.

Vamos la!

Instalando o Kafka

  • Realize o download do Kafka – https://kafka.apache.org/downloads
  • Procure pelos Binary downloads e copie o endereço do link.
  • descompacte o arquivo
  • Instale o Java na máquina

O comando abaixo fará tudo isso:

Agora temos tudo do que precisamos para rodar o Kafka
Obs: O Kafka precisa do Zookeeper para rodar, porém ele já vem no pacote original do Kafka, com algumas limitações. Mas para para objeto de estudo, sem problemas.

Antes de iniciar seu servidor Kafka, edite o arquivo server.properties, dentro da pasta config:

cd config/
vi server.properties

Com as setas do teclado, vá até a linha com a palavra listeners, aperte a tecla i e descomente a linha
Aperte ESC
Digite dois pontos “:”, digite “x” e de ENTER

Iniciando o Zookeeper

Entre na pasta descompactada do kafka e digite o comando abaixo:

Iniciando o servidor Kafka

Dentro da pasta do Kafka, digite o comando

Estamos prontos agora para criar nosso tópico com o Producer e consumirmos os dados com nosso Consumer

Criando um tópico

Após a criação do tópico, digite algumas linhas e aperte ENTER. Elas serão as mensagens que serão consumidas ao ler o tópico

Consumindo o tópico

Check Also

MAD vs RMSE vs MAE vs MSLE vs R²: When to use which?

Well actually these can give you different insights into your models errors. If yy is your target, pp your …

Leave a Reply

Your email address will not be published. Required fields are marked *