Home / BIG DATA

BIG DATA

Criando o requirements.txt de forma automática

Uma boa prática em todo projeto é criar o arquivo “requirements.txt”. Nele consta todas as dependências que o projeto possui juntamente com suas versões. A biblioteca pipreqs tem a capacidade de criar automaticamente este arquivo de forma fácil: Instalação: [crayon-66057fae9dea1032906443/] Em seguida basta informar o path do seu projeto: [crayon-66057fae9deb4666555073/]

Read More »

MAD vs RMSE vs MAE vs MSLE vs R²: When to use which?

Well actually these can give you different insights into your models errors. If yy is your target, pp your prediction and e=p−ye=p−y the errors: Mean Error: ME=mean(e)ME=mean(e) In (-∞,∞), the closer to 0 the better. Measures additive bias in the error. Unbiased estimates should have the same mean as your target thus ME should be close to …

Read More »

Importando dados do MySQL para o Hbase e realizando consultas com o hive

O Apache HBase é um banco de dados não relacional (NoSQL) de código aberto, distribuído, baseado no paper do Google Bigtable: A Distributed Storage System for Structured Data / sistema de armazenamento distribuído para dados estruturados Google O objetivo do projeto é conseguir realizar o armazenamento de tabelas realmente grandes …

Read More »

Drops: VirtualBox erro E_FAIL (0x80004005) com IBM Rapport instalado

Algumas vezes quando temos VMs com o VirtualBox com o IBM Rapport (aplicativo de proteção geralmente instalado com os sistemas de proteção de internet banking), ocorre um erro. Para contorná-lo: Reinicie o seu PC para entrar no modo de segurança automaticamente. Faça logon no seu computador com uma conta de …

Read More »

Hadoop: copiando dados de um banco relacional MySQL para o HDFS utilizando Sqoop e consultando dados utilizando Hive

Neste post utilizaremos um banco de dados Mysql aonde copiaremos dados de tabelas e salvaremos no HDFS do Hadoop. Em seguida listaremos estas informações utilizando o Hive. Utilizarei a VM da Cloudera aonde contém tudo oque precisaremos para este exemplo.  A base de dados será a Employees Sample Database, encontrada …

Read More »
PortugueseEnglishFrenchSpanishGerman
Open chat
Precisa de ajuda?