Analytics, Data Science & Machine Learning

Analytics

Decisões baseadas em grandes quantidades de dados estão se tornando cada vez mais
frequentes e melhoram a competitividade de empresas que as fazem. Métodos de Analytics
podem ser utilizados para apoiar o processo na Jornada Data Driven.

Analytics na tomada de decisão

Descritiva

O que aconteceu?

  • Busca entender quais foram os resultados passados;
  • Busca insights para uma maior assertividade no futuro: as coisas continuarão como estão.

Quando usar: Necessidade de sumarizar resultados ou comparar dois métodos para ver qual é o melhor.

Técnicas: Mineração, agregação de dados e testes A/B.

preditiva

O que vai acontecer no futuro?

  • Gerar o que é provável de ocorrer no futuro;
  • Com uma visão assertiva do futuro, é possível tomar decisões corretas.

Quando usar: Necessidade de estimar valores futuros.

Técnicas: Estatística, modelagem e Machine Learning.

prescritiva

O que fazer quando acontecer?

  • Muito poderosa se unida com a análise preditiva;
  • Fazer a prescrição de ações a se tomar dado os eventos que ocorreram ou irão ocorrer.

Quando usar: Quando se deseja realizar decisões complexas e tomar ações.

Técnicas: Otimização, heurísticas e estimação de causalidade.

Com o uso dessas técnicas, é possível obter ganhos de:

::    Agilidade na tomada de decisão
::    Decisões mais acuradas
::    Economia de dinheiro e recursos
::    Aumentar a competitividade

Os primeiros passos não precisam de um grande investimento para acontecer. Com o uso ferramentas open source (sem custos) e computação em nuvem, se tornar uma empresa data-driven deixou de ser caro.  

Como a Tenbu é agnóstica à ferramentas, podemos elaborar a solução que melhor se encaixe na maturidade da empresa, infraestrutura e planejamentos futuros.

Ciência de Dados

Nas empresas, ciência de dados tende a não funcionar tão bem…

:: Área é imatura e desorganizada
:: Dificuldade em escalar soluções
:: Muito trabalho manual
:: Demora para os modelos chegarem em produção
:: Resultados não monitorados
:: Falta de governança
:: Vieses escondidos e perigosos

Esses fatores fazem com que projetos de ciência de dados não tenham o retorno esperado, mas a Tenbu pode ajudar:

Seguimos as melhores práticas de desenvolvimento, operacionalização e acompanhamento de modelos em produção (MLOps)

Somos ágeis: garantimos entregas de valor frequentes e grande visibilidade

Personalizamos os algoritmos para a sua necessidade, sem soluções caixa-preta ou licenciamentos caros!

 

metodologia ágil

Entregas frequentes

Maior visibilidade

personalização

Algoritmos personalizados

Inteligência fica com o
cliente

Agnóstico à ferramenta

Melhores ferramentas

Aproveitar recursos

Os primeiros passos não precisam de um grande investimento para acontecer. Com o uso
de  ferramentas open source (sem custos) e computação em nuvem, se tornar uma empresa
que implementa ciência de dados deixou de ser caro.

Como funciona um projeto tenbu?

1

Definição de Escopo e Premissas

PoC, MVP ou Projeto

Entendimento do problema de negócio

Definição dos entregáveis

2

entrega e análise dos dados

Assinatura do NDA (Non-disclosure Agreement)

Entrega dos dados

Entendimento e tratamento dos dados

3

modelagem

Processo de ciência de dados

Entregáveis

Operacionalização

4

Documentação e acompanhamento

Documentação final do projeto

Acompanhamento do modelo em produção

Machine Learning

Machine Learning está se provando um poder disruptivo enorme. Capaz de analisar quantidades massivas de dados de maneira rápida, tem sido uma ferramenta que garante tomadas de decisão orientadas à dados, o que gera um diferencial competitivo para as empresas, desde que implementada de maneira correta.

Para ver mais sobre casos de uso e como implementá-los, acesse

Como avaliar casos de uso de Ciência de Dados e ML

Machine Learning e Data Science possuem diversas aplicações em setores distintos da economia.
Podemos separar algumas soluções pelas perguntas que respondem:
  • “Quando devo fazer a manutenção dessa máquina?” 
  • “Quanto tempo essa máquina pode funcionar até quebrar?”
  • “Minha máquina está operando em sua normalidade?”
  • “Quanto tempo vai demorar a manutenção nos equipamentos?”
  • “Esse comportamento é fraudulento?”
  • “Esse comportamento foge do padrão?”
  • “Que atitudes tomar para melhorar a eficiência dessa máquina nesse momento?”
  • “Qual variável influenciou essa baixa na eficiência?”
  • “Como reduzir os custos de ar-condicionado/equipamentos que possam ser ligados e desligados a qualquer momento?
  • “Como estimar uma variável que não é medida no processo?”
  • “Os resultados das análises laboratoriais são caros e demoram. Como substituí-los?”
  • “Meus modelos demoram para chegar em produção”
  • “Não tenho visibilidade do desempenho e impacto do modelo”
  • “Meus modelos não são governados”
  • “Não tenho um processo padrão para desenvolver modelos de Machine Learning”
  • “Que produtos devo recomendar para clientes específicos?”
  • “Como aumentar minhas vendas?”
  • “Quais são os perfis dos meus clientes?”
  • “Qual o perfil dos meus transportadores?”
  • “Quanto espero vender mês que vem de cada SKU em cada PDV?”
  • “Quanto desconto devo colocar no produto para aumentar meu lucro?”
  • “Como funciona a curva de demanda para o preço do meu produto?”
  • “Quanto cobrar pelo meu produto?”
  • “Quando minhas entregas vão chegar no cliente final?”
  • – “Quando meus pedidos chegarão?”
  • “Como controlar meu supply chain?”
  • “Quais clientes estão perto de sair da empresa?”
  • “Que atitudes tomar para esse cliente não sair da empresa?”
  • “Quantas pessoas estão na minha loja?”
  • “Qual o perfil dessas pessoas? (idade, sexo etc.)”
  • “Como extrair automaticamente características de fotos e vídeos?”
  • Monitoramento de câmeras:  
    “Como posso detectar itens”
    “Como detectar atividades suspeitas?”

Grandes decisões demandam
análises mais inteligentes

Implementamos soluções para o apoio à tomada de decisão
com base em análise de dados.

MLOps

A área de ciência de dados e machine learning nasceu na academia e precisa encontrar meios de ser operacionalizada em ambientes empresariais.
Com isso, alguns problemas surgiram durante essa transição:

:: Área é imatura e desorganizada;
:: Dificuldade em escalar soluções;
:: Muito trabalho manual;
:: Demora para os modelos chegarem em produção;
:: Resultados não monitorados;
:: Falta de governança;
:: Vieses escondidos e perigosos;

Para resolver esses problemas, nasce MLOps, que consiste em boas práticas e ferramentas para o gerenciamento das soluções de machine learning em ambientes de produção.

Governança dos Modelos

Garantir ordem, responsabilidades e compliance

Operacionalização de Modelos

Automatizar de forma confiável a passagem de modelos do desenvolvimento à produção

Gerenciamento do Ciclo de Vida

Colaborar, retreinar e fazer a atualização dos modelos de Machine Learning

Governança dos Modelos

Garantir ordem, responsabilidades e compliance

Operacionalização de Modelos

Automatizar de forma confiável a passagem de modelos do desenvolvimento à produção

Gerenciamento do Ciclo de Vida

Colaborar, retreinar e fazer a atualização dos modelos de Machine Learning

Como chegar lá?

Treinamento do Modelo

 
    • Infraestrutura
    • Programar triggers/agendamentos

    • Processo de Ciência de Dados

Operacionalização


  • Infraestrutura para modelos em batch e real time

  • ETL

  • Testes A/B

  • Estrutura de logs

Monitoramento

 
  • Desenvolvimento de Dashboards

  • Alarmes

  • Métricas

Governança


  • Inventários de modelos e deployment

  • Mudanças nas fontes de dados

  • Controle de informação

  • Monitoramento de execuções

Para esse fim, a Guará (nossa biblioteca em Python e estruturação de projetos) ajuda a implementar modelos de machine learning com mais facilidade e governança, seja on-premise ou na nuvem, aumentando seu grau de maturidade nas implementações de soluções de ciência de dados e machine learning.
Veja o diagrama abaixo para entender onde a sua empresa se encontra:

Diagrama de Maturidade

Apático

Treinamento:
Cada cientista de dados produz sua própria estrutura. Não há versionamento de bibliotecas/códigos

Operacionalização: Operacionalização inexistente ou manual. Modelos demoram meses entre estarem prontos e operacionalizados

Monitoramento:
Não há monitoramento

Governança: Não há governança

Consciente

Treinamento:
É criado versionamento de bibliotecas/códigos. Experimentos não estruturados

Operacionalização: Operacionalização manual. Modelos demoram semanas entre estarem prontos e operacionalizados

Monitoramento: Monitoramento é realizado pelo cientista de tempos em tempos. Não padronizado

Governança:
Modelos possuem responsáveis

Estruturado

Treinamento:
Códigos e procedimentos padronizados. Experimentos estruturados

Operacionalização: Operacionalização semiautomatizada. Modelos demoram dias para irem à produção. Uso de containers

Monitoramento: Monitoramento das respostas do modelo disponível em dashboards

Governança:
Modelos são monitorados e foram revisados

Excelência

Treinamento: Rastreabilidade dos dados, treinamentos reproduzíveis e testes unitários

Operacionalização: Operacionalização automatizada. Modelos demoram horas para irem à produção. Integração contínua

Monitoramento: Monitoramento das respostas e variáveis de entrada do modelo disponível em dashboards com alertas

Governança:
Todo processo de operacionalização possui governança

Indústria Inteligente

No mundo industrial, os líderes estão definindo sua jornada para a fabricação autônoma. Os fabricantes estão se concentrando em estratégias de digitalização que ajudarão a impulsionar a eficiência de suas plantas. À medida que mais dados são gerados a partir de diversas fontes nas linhas de fabricação, a implantação de softwares de Machine Learning se torna necessária, factível e provavelmente será alcançada nos próximos anos. 

Na área industrial, podemos levantar alguns casos:

Manutenção preditiva: Estimar quanto tempo uma máquina pode ficar em operação antes de quebrar é uma tarefa difícil, mas com o uso de algoritmos de machine learning é possível.

Estimação do tempo de manutenção: Para planejamentos de operação é importante saber quanto tempo as manutenções vão durar. Podemos estimar esses tempos e ter cada vez mais controle sobre manutenções.

Detecção de anomalias: Em um processo, centenas ou milhares de variáveis estão envolvidas. Com isso, é difícil investigar anomalias que estão acontecendo. Algoritmos de Machine Learning são capazes de identificar essas anomalias e mostrar de forma objetiva e clara quais são as anomalias detectadas.

Medição indireta de variáveis: Na indústria, algumas variáveis de processo demoram para serem medidas ou não são medidas. Em alguns casos, as medições dependem de análises laboratoriais, que demoram para serem feitas e muitas vezes são caras. Essas variáveis podem ser estimadas a partir de outras variáveis, com o uso de modelos de Machine Learning.

Eficiência energética: É possível utilizar algoritmos de machine learning para melhorar a eficiência energética de máquinas e operação, sugerindo valores ótimos para variáveis manipuláveis.

Digitalização de dados: Muitas vezes, os dados de operação não estão digitalizados, o que compromete a quantidade de dados disponíveis para dashboards e modelos. Para resolver esse problema, é possível aplicar soluções que digitalizem fotos de documentos anotados à mão.

Realidade Aumentada: A realidade aumentada é um método interativo altamente visual de apresentar informações digitais relevantes no contexto do ambiente físico — conectando os funcionários e aprimorando os resultados comerciais. Para saber mais acesse:

 

Para saber mais, acesse o link para o material de indústria inteligente 

Grandes decisões demandam
análises mais inteligentes

Implementamos soluções para o apoio à tomada de decisão
com base em análise de dados.

IoT

Dispositivos de Internet das Coisas (IoT) não são apenas sensores conectados. É possível interagir com esses dispositivos e comandá-los à distância. Manter soluções IoT funcionando corretamente e em segurança exige uma estrutura tão suficiente quanto a própria funcionalidade da solução. Essa tecnologia vem se mostrando um marco decisivo na maneira que indústrias enxergam seus negócios e o futuro. 

Unidos com ferramentas da PTC, somos capazes de implementar soluções de Internet das Coisas utilizando as melhores tecnologias do mercado. Seja no mapeamento global dos ativos em tempo real ou no seu controle direto com aplicações de machine learning, é possível diminuir erros e prejuízos, com automação que acompanhará uma revolução completa das indústrias.

As soluções de IoT, unidas com o grande poder de processamento e inferência de modelos de Machine Learning, transforma indústrias tradicionais em Indústrias 4.0, permitindo aos responsáveis pela tomada de decisão uma melhor visibilidade de situações cotidianas e insights positivos a serem usados para garantir o pleno crescimento do negócio.

Guara – um framework para ciência de dados de alto desempenho

Desenvolvido dentro da Tenbu, o projeto Guará conta com diversas frentes:

Guará Project: Estrutura de projeto padrão para ciência de dados, de acordo com as melhores práticas do MLOps. Com essa estruturação de projeto, o desenvolvimento é feito em ambientes isolados (contêineres Docker) e fica pronto para a operacionalização.

Guará MLOps: conjunto de melhores práticas e processos para uma implementação mais rápida, segura e governada de soluções em ciência de dados.

Guará Feature Engineering: Nesse módulo, escrito em Python, é possível criar pipelines de transformação dos dados para transformar o dado cru em dados prontos para serem consumidos por modelos de Machine Learning. As principais transformações do mercado já estão implementadas e é possível desenvolver qualquer transformação customizada. Esses pipelines podem ser versionados e governados.

Guara Modeling: a biblioteca de modelagem desenvolvida pela Tenbu. Os principais modelos, algoritmos de otimização e explicabilidade já estão implementados.

A Guará diminuiu 50% do tempo para elaboração e implementação de modelos de Machine Learning em produção nos projetos da Tenbu, além de deixar o processo padronizado e de acordo com as melhores práticas do mercado.

Posts Relacionados

Artigos Relacionados

Como te ajudamos

Implementamos soluções para o apoio à tomada de decisão
com base em análise de dados.

jornada Data Driven

Business Analytics

Tenbu Self Services Analytics

Data Storytelling

Ciência de Dados

Modelos de Machine Learning

Machine Learning para Supply Chain

jornada Cloud Computing

Azure

AWS

IBM

Indústria inteligente

Eficiência Energética

Redução de falhas

Manutenção Preditiva

IoT

Governança de dados e LGPD

LGPD OneTrust

Visão Integrada de Produtos e Clientes