Últimos posts

Pandas profiling

conda install -c conda-forge pandas-profiling conda install matplotlib=2 !jupyter nbextension enable –py widgetsnbextension   from pandas_profiling import ProfileReportprofile = ProfileReport(dataframe)# profileprofile.to_file(‘data – profiling.html’)

Read More »

Instalando cx_Oracle no Python com Ubuntu

wget https://download.oracle.com/otn_software/linux/instantclient/19600/instantclient-basic-linux.x64-19.6.0.0.0dbru.zip sudo apt install unzip unzip instantclient-basic-linux.x64-19.6.0.0.0dbru.zip sudo apt-get install libaio1 libaio-dev conda install cx_Oracle export LD_LIBRARY_PATH=/home/ubuntu/instantclient_19_6:$LD_LIBRARY_PATH  

Read More »

Pandas get_dummies x Sklearn DictVectorizer

Em machine learning, uma das partes mais importantes é a feature engineering. Este post tratará da conversão de categorias com classes string para numérico (colunas texto para números inteiros), já que os algoritmos de ML trabalham com números. Para cada classe da feature (ou a cada categoria de uma coluna), …

Read More »

Normalizando dados com sklearn

Quando trabalhamos com algoritmos de machine learning, existe sempre a recomendação de que todos os dados a serem trabalhados sejam numéricos. Porém no mundo real isto raramente acontece, pois nossos dados muitas vezes possuem categorias descritivas (string).  Neste exemplo vemos que o atributo neighborhood é um texto, logo precisamos converte-lo …

Read More »

Usando Anaconda com Github

Abra o Anaconda Navigator e vá até a sessão Environments. Em seguida crie um virtual environment. Acesse http://www.github.com e faça seu cadastro. Após logar-se, clique no botão verde para criar um novo repositório De o nome que preferir e clique em create repository Voltando ao Anaconda Navigator, vamos iniciar o …

Read More »

Hadoop: copiando dados de um banco relacional MySQL para o HDFS utilizando Sqoop e consultando dados utilizando Hive

Neste post utilizaremos um banco de dados Mysql aonde copiaremos dados de tabelas e salvaremos no HDFS do Hadoop. Em seguida listaremos estas informações utilizando o Hive. Utilizarei a VM da Cloudera aonde contém tudo oque precisaremos para este exemplo.  A base de dados será a Employees Sample Database, encontrada …

Read More »

Avro

O Avro é um sistema de serialização de dados de software livre que ajuda na troca de dados entre sistemas, linguagens de programação e estruturas de processamento. O Avro ajuda a definir um formato binário para seus dados, bem como mapeá-lo para a linguagem de programação de sua escolha. Um …

Read More »