Malum Big Data Big Data & Data Science Stuff!

Linear regression é um método estatístico para encontrar relacionamentos entre variáveis. Neste exemplo usaremos alguns conceitos básicos, como feature selection utilizando correlação, colinearidade e variação para prever o valor de uma casa. Utilizaremos também o conceito de ordinary least squares estimation (OLS). Porém ele é executado de forma automática quando …

Em machine learning, uma das partes mais importantes é a feature engineering. Este post tratará da conversão de categorias com classes string para numérico (colunas texto para números inteiros), já que os algoritmos de ML trabalham com números. Para cada classe da feature (ou a cada categoria de uma coluna), …

Quando trabalhamos com algoritmos de machine learning, existe sempre a recomendação de que todos os dados a serem trabalhados sejam numéricos. Porém no mundo real isto raramente acontece, pois nossos dados muitas vezes possuem categorias descritivas (string).  Neste exemplo vemos que o atributo neighborhood é um texto, logo precisamos converte-lo …

Abra o Anaconda Navigator e vá até a sessão Environments. Em seguida crie um virtual environment. Acesse http://www.github.com e faça seu cadastro. Após logar-se, clique no botão verde para criar um novo repositório De o nome que preferir e clique em create repository Voltando ao Anaconda Navigator, vamos iniciar o …

O Apache HBase é um banco de dados não relacional (NoSQL) de código aberto, distribuído, baseado no paper do Google Bigtable: A Distributed Storage System for Structured Data / sistema de armazenamento distribuído para dados estruturados Google O objetivo do projeto é conseguir realizar o armazenamento de tabelas realmente grandes …

Algumas vezes quando temos VMs com o VirtualBox com o IBM Rapport (aplicativo de proteção geralmente instalado com os sistemas de proteção de internet banking), ocorre um erro. Para contorná-lo: Reinicie o seu PC para entrar no modo de segurança automaticamente. Faça logon no seu computador com uma conta de …

Neste post utilizaremos um banco de dados Mysql aonde copiaremos dados de tabelas e salvaremos no HDFS do Hadoop. Em seguida listaremos estas informações utilizando o Hive. Utilizarei a VM da Cloudera aonde contém tudo oque precisaremos para este exemplo.  A base de dados será a Employees Sample Database, encontrada …

O Avro é um sistema de serialização de dados de software livre que ajuda na troca de dados entre sistemas, linguagens de programação e estruturas de processamento. O Avro ajuda a definir um formato binário para seus dados, bem como mapeá-lo para a linguagem de programação de sua escolha. Um …

Com o pandas é possível trabalhar de forma muito facilitada com as mais diversas formas de dados e formatos. Uma delas é carregar dados de um json para um dataframe: [crayon-5e4bc77e2296b639790978/] Porém quando estamos trabalhando com json aninhados / nested json, não fica mais tão simples (mas ainda sim, simples) …