Postagens

Estatística descritiva: Organizar e descrever conjuntos de dados

Imagem
                     Continuando com os estudos em estatística, estou compartilhando este estudo sobre estatística descritiva. O objetivo agora é facilitar o entendimento dos dados descrevendo tendências, médias e variações. Algumas características importantes a serem consideradas são o centro, a variabilidade (ou amplitude) e a forma. Algumas definições de acordo com Larson e Faber (2010) são:          A distribuição de frequência é uma tabela que mostra classes ou intervalos das entradas de dados com uma contagem do número de entradas em cada classe. A frequência f de uma classe é o número de entrada de dados em uma classe. O ponto médio de uma classe é a soma dos limites inferiores e superiores da classe dividida por dois. O ponto médio é, às vezes, chamado de marca da classe. A frequência relativa de uma classe é a porção ou porcentagem de dados que está em determinada classe. Para encontrar ...

Boas práticas de programação: desenvolvendo códigos

Imagem
             Recentemente tenho trabalhado no desenvolvimento de um sistema de automação para gerenciamento de produção. Conforme fui trabalhando dia após dia, vi o sistema crescendo. Percebi também que a complexidade do código cresceu junto e surgiu inicialmente a necessidade de criar padrões de organização, separar interfaces, scripts, tabelas, tags e outros por funcionalidade ou por tema, por exemplo separar os códigos de cadastros de produtos dos códigos de pedidos. Em seguida, comecei a perceber que os códigos mais antigos eram bem diferentes dos códigos mais novos, percebi que conforme ganhava habilidade, escrevia códigos que eu classificava como melhores que os anteriores ou por serem mais legíveis ou por serem mais organizados ou ainda por dividir funções grandes em menores, meu chefe e meus colegas me tranquilizaram e disseram que isso é perfeitamente normal, que eles também percebem isso e refazem muitos códigos, ufa!    ...

TUTORIAL: Tratamento de dados utilizando Python

Imagem
Extraindo dados utilizando a biblioteca Python Pandas Na Indústria 4.0, muito se fala em transferir os dados de produção da planta para a nuvem, armazená-los em bancos de dados e utilizá-los para obter 'insights' e gerar valor. Porém, como se dá essa transformação das informações em valor? Existem várias formas de extrair informações úteis. Uma delas é utilizando Python que atualmente é a linguagem preferida para trabalhar com dados devido às bibliotecas que oferece aos usuários, simplicidade da linguagem entre outros. Neste tutorial utilizarei uma base de dados disponível no Kaggle referente aos países do mundo para exemplificar como é possível extrair facilmente várias informações. As linhas iniciadas em "In [ ]:" indicam o código que solicita a informação. As linhas iniciadas em "Out[ ]:" indicam as respostas obtidas. Importar a biblioteca pandas Importar a biblioteca Numpy e Matplotlib para auxiliar na manipulação e exibção dos dados. ...

Entendendo os termos em Estatística

Imagem
               Iniciando meus estudos em Data Science utilizando python, percebi a necessidade de estudar melhor a Estatística. Acredito que seja algo comum para todos que estejam iniciando os estudos na área. Sendo assim, resolvi realizar um resumo dos estudos para servir de consulta posterior e para melhor entendimento dos conceitos envolvidos. Estou compartilhando aqui pois acredito que pode ser útil para outras pessoas que também estejam estudando este tema, seja a trabalho, pesquisa ou apenas curiosidade.                 A estatística começou a ser utilizada para realização de censos na antiga Babilônia, no Egito e, mais tarde, no Império Romano onde os dados referentes a assuntos relacionados ao Estado, tais como nascimentos e óbitos eram coletados. A palavra estatística é derivada da palavra latina “status”, que significa “estado”.  Portanto, a Estatística...

Qual a diferença entre Big Data e Data Science?

Imagem
À primeira vista, ambos parecem sinônimos, pois possuem a palavra “data” no nome, mas são bastante distintos. Neste post, tento deixar clara a diferença. Prontos? Vamos lá! O termo Big Data se refere a um grande volume de dados que não podem ser processados efetivamente pelos métodos tradicionais de processamento e que portanto possuem as próprias tecnologias para tratar esses dados. Alguns definem o Big Data como uma quantidade de dados que não podem ser armazenados na memória de um único computador, mas essa não é uma definição única e definitiva.            De acordo com a empresa de consultoria Gartner, em uma tradução livre, o Big Data é: “Grande volume de dados, gerados em alta velocidade e variedade, que necessitam de formas inovadoras e econômicas para processá-los, organizá-los e armazená-los, a fim de se permitir melhor compreensão para a tomada de decisão e automação de processos.” (GARTNER, 2018)       ...

TUTORIAL: Exemplo básico de utilização de MQTT com Node-RED

Imagem
         Este tutorial complementa a postagem anterior sobre protocolo MQTT. Neste exemplo, demostro uma aplicação básica para configuração de comunicação utilizando o protocolo MQTT. Os passos básicos são: Montagem de circuito com sensor LDR; Leitura dos dados na forma serial e envio para o computador utilizando Arduino; Geração de UI (User Interface) para exibição dos dados em tempo real; Utilização do Node-RED para enviar dados para MQTT Broker; Ler dados do MQTT Broker por meio de outro computador com outro acesso à internet; O Node-RED é uma ferramenta de programação para conectar dispositivos de hardware, APIs e serviços online de maneiras novas, interessantes e bastante simples. Trata-se de uma ferramenta gratuita disponível para download através da página oficial:  https://nodered.org . Nesta página é possível encontrar as instruções para instalação, documentação, exemplos de “flows” e muito mais. Figura 1: Página oficial no Node-...