SlideShare uma empresa Scribd logo
1 de 45
Estruturando time, infra e processos para tomar decisões
de produto com 1+ bilhão de data points
Bernardo Srulzon
bernardo@getninjas.com.br
COMO FUNCIONA?
OVERVIEW
2,000,000
serviços solicitados por ano
(run-rate de Maio/17)
220,000
profissionais cadastrados
R$270M+
em transações realizadas por ano
(run-rate de Maio/17)
100+
categorias, de eletricista a professor de
inglês
OVERVIEW
Cada ponto é um
“Mini GetNinjas”,
com 100 categorias
300 cidades
100 categorias
x
30k combinações
para as quais devemos manter o
balanço entre oferta e demanda
#1
Neste cenário, qual deve ser o
papel de Business Intelligence?
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Estamos conseguindo manter o equilíbrio entre oferta e demanda?
Quais canais de marketing devemos utilizar para gerar liquidez?
Pirate Metrics by Dave McLure @ 500 Startups
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Estamos conseguindo indicar bons profissionais?
Os profissionais conseguem fechar um serviço na primeira semana?
Pirate Metrics by Dave McLure @ 500 Startups
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Clientes voltam a fazer pedidos em outra categoria nas semanas seguintes?
Profissionais continuam interagindo com clientes e fechando serviços?
Pirate Metrics by Dave McLure @ 500 Startups
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Clientes compartilham a experiência e trazem novos clientes?
Profissionais bem sucedidos indicam seus colegas?
Pirate Metrics by Dave McLure @ 500 Startups
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
O preço das leads (pedidos) está justo e traz retorno para o profissional?
Conseguimos extrair o máximo valor de cada profissional?
Pirate Metrics by Dave McLure @ 500 Startups
Se o papel de BI é responder a estas perguntas complexas, a abordagem
tradicional não funciona muito bem
Uma visão tradicional de BI...
Coleta dados
Gera relatórios
Envia para o tomador de decisão
Sentimento de dono Impacto no negócio Autonomia Pensamento fora da caixa
Nosso papel é transformar dados em insights e ações; na prática, partimos de
uma hipótese e participamos de todo o processo de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Hipótese Exploração & Validação Decisão
Time parte de uma hipótese
Devemos ajustar nossos planos de
forma que um profissional consiga
fechar ao menos um pedido. Isto
deve aumentar nossa retenção.
Elabora um plano para validá-la
Analisando o histórico de serviços
contratados e aplicando um
modelo estatístico, devemos
conseguir determinar o valor do
plano
Participam da tomada de decisão
Chegamos a conclusão que o
plano mais básico deve permitir a
compra de 30 leads. Vamos
avançar com a implementação e
analisar o impacto em retenção
#2
De 20mil a 120 mil pedidos. Como foi
essa evolução?
Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em
que o negócio se encontrava
2014
Foco
Product-market-fit: garantir que
nosso produto realmente resolve
uma dor do mercado
2
• Setup completo do Google
Analytics
• Primeira versão do algoritmo
de distribuição
• Análises focadas em dados
transacionais
Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em
que o negócio se encontrava
2014 2015
Foco
Product-market-fit: garantir que
nosso produto realmente resolve
uma dor do mercado
Foco
Entender a fundo como os clientes
e profissionais interagem com a
plataforma. Questionar os detalhes.
2 4
• Setup completo do Google
Analytics
• Primeira versão do algoritmo
de distribuição
• Análises focadas em dados
transacionais
• Esbarramos nas limitações do
GA, e seguimos com
Snowplow
• Treinamento do time
• Divisão do trabalho em
aquisição e fechamento
Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em
que o negócio se encontrava
2014 2015 2016
Foco
Product-market-fit: garantir que
nosso produto realmente resolve
uma dor do mercado
Foco
Entender a fundo como os clientes
e profissionais interagem com a
plataforma. Questionar os detalhes.
Foco
Ter uma visão completa do
usuário, e democratizar o acesso
aos dados
2 4 7
• Setup completo do Google
Analytics
• Primeira versão do algoritmo
de distribuição
• Análises focadas em dados
transacionais
• Esbarramos nas limitações do
GA, e seguimos com
Snowplow
• Treinamento do time
• Divisão do trabalho em
aquisição e fechamento
• Integração com sistemas de
atendimento e vendas
• Divisão do time em squads
multidisciplinares
• Algoritmos mais complexos de
distribuição e marketing
#3
Web analytics +
Data warehousing
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades
do interior
convertem menos?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades
do interior
convertem menos?
Qual % dos
usuários carrega
em menos de 5s?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Quantos tem falhas
na validação?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Quantos tem falhas
na validação?
O comportamento
dos recorrentes é
diferente?
Para responder estas perguntas, precisamos de uma estrutura de web analytics
que permita uma segmentação fina dos dados
Canal
Tipo de
Página
Device Teste A/B
Categoria Funil
Load TimeCidade
Segmentação é fundamental!
SP RJ MG RS
Qual é a taxa de conversão do site?
WiFi/3GRecorrente
All data in aggregate is crap
Avinash Kaushik
Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Onde estão ocorrendo os
maiores atritos e quais
são as hipóteses?
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Como o funil está
evoluindo ao longo do
tempo?
Qual é o comportamento do grupo?
Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Onde estão ocorrendo os
maiores atritos e quais
são as hipóteses?
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Como o funil está
evoluindo ao longo do
tempo?
Qual é o comportamento do grupo?
Sign-up (SEO)
Recebeu pedido
Recebeu avaliação
Baixou app
Comprou plano
Ligação onboarding
E-mail marketing
D+0
D+1
D+5
D+7
D+20
D+20
D+30
Planejar ações de
(re)marketing
Comunicação com base
em eventos
Quais ações fazem
antes de baixar o app?
Mais informações para
os vendedores
Qual é o comportamento de um usuário?
Debugging
Estas perguntas complexas acabaram nos fazendo esbarrar em diversas
limitações do Google Analytics, e saímos para buscar alternativas
Difícil segmentar corretamente os
dados
Sem tracking de formulários Difícil identificar usuários
Cross-device limitado Difícil integrar com outras fontes
Difícil aplicar nossa lógica de
negócios
Algumas das limitações...
Estas perguntas complexas acabaram nos fazendo esbarrar em diversas
limitações do Google Analytics, e saímos para buscar alternativas
SEM SEO Direto Direto Direto Direto Direto
SEM SEO SEO SEO SEO SEO SEO
Visita #1 #2 #3 #4 #5 #6 #7
Atribuição de canais
Realidade
GA estava reportando 50% menos
tráfego direto do que esperávamos
Difícil segmentar corretamente os
dados
Sem tracking de formulários Difícil identificar usuários
Cross-device limitado Difícil integrar com outras fontes
Difícil aplicar nossa lógica de
negócios
Algumas das limitações...
Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Identifica os usuários e monitora o
comportamento no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Queremos ser donos dos nossos dados Queremos trackear o usuários na web e no app
Queremos ter uma visão completa do usuário Queremos responder a qualquer pergunta!
Por quê?
Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Identifica os usuários e monitora o
comportamento no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Beanstalk EMR Redshift Redshift
Um detalhe: a um custo muito menor que qualquer alternativa no mercado SaaS
Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Apps
SMS
CRM/Sales
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Support
Server-side events
via Snowplow
Integrações externas
via Stitch
DATA MODEL
300M eventos
por mês
Transforma dados “atômicos” em modelos mais
simples, com lógica de negócios
Email
ANTES
Visão Google Analytics
DEPOIS
Visão Snowplow
Redshift e Tableau são melhores amigos - as análises são muito rápidas e
permitem todo o tipo de segmentação/visualização
Milhões de dados do Redshift
disponíveis para análises
drag&drop
Integração com outras fontes de
dados (CSV, Excel, MySQL, etc)
Diversas formas de visualização
dos dados
Flexibilidade para
cálculos/fórmulas customizados
Metabase | Online dashboards
https://github.com/metabase/metabase
#4
Estrutura e perfil do time
Estrutura e perfil do time
Decision Science
2014-2015 2016
Time centralizado
Product-market-fit: garantir que nosso produto realmente
resolve uma dor do mercado
Time dividido em squads multidisciplinares
Ter uma visão completa do usuário, e democratizar o
acesso aos dados
Foco em tomar decisões de negócios com base em dados.
Função parecida com um product manager.
Skills
Business + SQL + Excel + Tableau + Programação básica
Perfil
Estagiário/recém-formado em faculdades top de exatas
6 Data Science5
Foco em desenvolver sistemas/algoritmos para oferecer
uma melhor experiência
Skills
Business + Modelagem + Programação
Perfil
Mestrado/Doutorado + alguns anos de experiência
Estrutura e perfil do time
Tech
Produto
Design
BI
Conteúdo
Alinhamento dos
“especialistas” a
cada 2 semanas
Times
multidisciplinares
e autosuficientes
Focados em OKRs
específicos
#5
E no futuro?
Devemos empoderar cada vez mais outras áreas/pessoas a gerar hipóteses,
explorar dados e tomarem decisões de produto
Business Intelligence
Construir e manter a infra-estrutura de dados
Fazer a modelagem aplicando a lógica de negócios aos
dados
Oferecer treinamento e coaching Continuar criando e explorando hipóteses
Produto Marketing Tech Suporte & Vendas
Decisões focadas na
experiência do cliente e
profissional
Alocação de budget,
escolha dos canais de
marketing, modelo de
atribuição
Tempo de carregamento
das páginas, identificação
de possíveis bugs e
pontos de melhoria
Perfomance do time,
modelo de comissão, lead
scoring para vendas
Workshop BI @ NEU
Bernardo Srulzon
bernardo@getninjas.com.br

Mais conteúdo relacionado

Semelhante a [GetNinjas] Business Intelligence Workshop @ Google Campus SP

Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoEdileusa Estéfani Prado
 
Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2Marcelo Azeredo
 
Best2bee Business Model
Best2bee Business ModelBest2bee Business Model
Best2bee Business ModelMiguel Vilaca
 
Web Analytics - Planejamento e Processo
Web Analytics - Planejamento e ProcessoWeb Analytics - Planejamento e Processo
Web Analytics - Planejamento e ProcessoRafael Comin
 
Definindo métricas para seu produto
Definindo métricas para seu produtoDefinindo métricas para seu produto
Definindo métricas para seu produtoAugusto Rückert
 
TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...
TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...
TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...tdc-globalcode
 
Business Case: Fintech (Product Manager)
Business Case: Fintech (Product Manager)Business Case: Fintech (Product Manager)
Business Case: Fintech (Product Manager)Tiago Ferreira
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxSyllasChaves
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxssuser5c3c28
 
Destrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com WiseminerDestrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com WiseminerLeonardo Couto
 
Otimizando seu e-Commerce - ACIL
Otimizando seu e-Commerce - ACILOtimizando seu e-Commerce - ACIL
Otimizando seu e-Commerce - ACILLuiz Tardelli
 
Marketing Online - Muito mais que medir, analisar
Marketing Online - Muito mais que medir, analisarMarketing Online - Muito mais que medir, analisar
Marketing Online - Muito mais que medir, analisardp6
 
Apresentaof5 tiagoturini-090928125456-phpapp01
Apresentaof5 tiagoturini-090928125456-phpapp01Apresentaof5 tiagoturini-090928125456-phpapp01
Apresentaof5 tiagoturini-090928125456-phpapp01dp6
 
Marketplace Conference - Você está preparado para as novas regras de performa...
Marketplace Conference - Você está preparado para as novas regras de performa...Marketplace Conference - Você está preparado para as novas regras de performa...
Marketplace Conference - Você está preparado para as novas regras de performa...E-Commerce Brasil
 
Agilidade em escala - Agile Brazil 2018
Agilidade em escala  - Agile Brazil 2018Agilidade em escala  - Agile Brazil 2018
Agilidade em escala - Agile Brazil 2018Ewerton Santos (Ton)
 
SEMINCO FURB 2018 Analise de Dados em Plataformas Digitais
SEMINCO FURB 2018   Analise de Dados em Plataformas DigitaisSEMINCO FURB 2018   Analise de Dados em Plataformas Digitais
SEMINCO FURB 2018 Analise de Dados em Plataformas DigitaisRafael Targino
 

Semelhante a [GetNinjas] Business Intelligence Workshop @ Google Campus SP (20)

Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
 
Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2
 
Webanalytics uma visao_brasileira_2
Webanalytics uma visao_brasileira_2Webanalytics uma visao_brasileira_2
Webanalytics uma visao_brasileira_2
 
Web Analytics: uma visão brasileira 2
Web Analytics: uma visão brasileira 2Web Analytics: uma visão brasileira 2
Web Analytics: uma visão brasileira 2
 
Web Analytics (SEO) - Uma Visão Brasileira
Web Analytics (SEO) - Uma Visão BrasileiraWeb Analytics (SEO) - Uma Visão Brasileira
Web Analytics (SEO) - Uma Visão Brasileira
 
Best2bee Business Model
Best2bee Business ModelBest2bee Business Model
Best2bee Business Model
 
Web Analytics - Planejamento e Processo
Web Analytics - Planejamento e ProcessoWeb Analytics - Planejamento e Processo
Web Analytics - Planejamento e Processo
 
Definindo métricas para seu produto
Definindo métricas para seu produtoDefinindo métricas para seu produto
Definindo métricas para seu produto
 
TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...
TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...
TDC2016SP - Do clique ao cliente: Google Analytics, Data Warehousing e BI apl...
 
Business Case: Fintech (Product Manager)
Business Case: Fintech (Product Manager)Business Case: Fintech (Product Manager)
Business Case: Fintech (Product Manager)
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptx
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptx
 
Destrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com WiseminerDestrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com Wiseminer
 
Otimizando seu e-Commerce - ACIL
Otimizando seu e-Commerce - ACILOtimizando seu e-Commerce - ACIL
Otimizando seu e-Commerce - ACIL
 
Marketing Online - Muito mais que medir, analisar
Marketing Online - Muito mais que medir, analisarMarketing Online - Muito mais que medir, analisar
Marketing Online - Muito mais que medir, analisar
 
Apresentaof5 tiagoturini-090928125456-phpapp01
Apresentaof5 tiagoturini-090928125456-phpapp01Apresentaof5 tiagoturini-090928125456-phpapp01
Apresentaof5 tiagoturini-090928125456-phpapp01
 
Marketplace Conference - Você está preparado para as novas regras de performa...
Marketplace Conference - Você está preparado para as novas regras de performa...Marketplace Conference - Você está preparado para as novas regras de performa...
Marketplace Conference - Você está preparado para as novas regras de performa...
 
Agilidade em escala - Agile Brazil 2018
Agilidade em escala  - Agile Brazil 2018Agilidade em escala  - Agile Brazil 2018
Agilidade em escala - Agile Brazil 2018
 
SEMINCO FURB 2018 Analise de Dados em Plataformas Digitais
SEMINCO FURB 2018   Analise de Dados em Plataformas DigitaisSEMINCO FURB 2018   Analise de Dados em Plataformas Digitais
SEMINCO FURB 2018 Analise de Dados em Plataformas Digitais
 
Back Log User Stories
Back Log User StoriesBack Log User Stories
Back Log User Stories
 

[GetNinjas] Business Intelligence Workshop @ Google Campus SP

  • 1. Estruturando time, infra e processos para tomar decisões de produto com 1+ bilhão de data points Bernardo Srulzon bernardo@getninjas.com.br
  • 3. OVERVIEW 2,000,000 serviços solicitados por ano (run-rate de Maio/17) 220,000 profissionais cadastrados R$270M+ em transações realizadas por ano (run-rate de Maio/17) 100+ categorias, de eletricista a professor de inglês
  • 4. OVERVIEW Cada ponto é um “Mini GetNinjas”, com 100 categorias 300 cidades 100 categorias x 30k combinações para as quais devemos manter o balanço entre oferta e demanda
  • 5. #1 Neste cenário, qual deve ser o papel de Business Intelligence?
  • 6. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups
  • 7. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Estamos conseguindo manter o equilíbrio entre oferta e demanda? Quais canais de marketing devemos utilizar para gerar liquidez? Pirate Metrics by Dave McLure @ 500 Startups
  • 8. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Estamos conseguindo indicar bons profissionais? Os profissionais conseguem fechar um serviço na primeira semana? Pirate Metrics by Dave McLure @ 500 Startups
  • 9. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Clientes voltam a fazer pedidos em outra categoria nas semanas seguintes? Profissionais continuam interagindo com clientes e fechando serviços? Pirate Metrics by Dave McLure @ 500 Startups
  • 10. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Clientes compartilham a experiência e trazem novos clientes? Profissionais bem sucedidos indicam seus colegas? Pirate Metrics by Dave McLure @ 500 Startups
  • 11. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics O preço das leads (pedidos) está justo e traz retorno para o profissional? Conseguimos extrair o máximo valor de cada profissional? Pirate Metrics by Dave McLure @ 500 Startups
  • 12. Se o papel de BI é responder a estas perguntas complexas, a abordagem tradicional não funciona muito bem Uma visão tradicional de BI... Coleta dados Gera relatórios Envia para o tomador de decisão Sentimento de dono Impacto no negócio Autonomia Pensamento fora da caixa
  • 13. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma hipótese e participamos de todo o processo de decisão Data science only matters if data drives action Jeremy Stanley, VP Data Science @ Instacart Hipótese Exploração & Validação Decisão Time parte de uma hipótese Devemos ajustar nossos planos de forma que um profissional consiga fechar ao menos um pedido. Isto deve aumentar nossa retenção. Elabora um plano para validá-la Analisando o histórico de serviços contratados e aplicando um modelo estatístico, devemos conseguir determinar o valor do plano Participam da tomada de decisão Chegamos a conclusão que o plano mais básico deve permitir a compra de 30 leads. Vamos avançar com a implementação e analisar o impacto em retenção
  • 14. #2 De 20mil a 120 mil pedidos. Como foi essa evolução?
  • 15. Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado 2 • Setup completo do Google Analytics • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais
  • 16. Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 2015 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado Foco Entender a fundo como os clientes e profissionais interagem com a plataforma. Questionar os detalhes. 2 4 • Setup completo do Google Analytics • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais • Esbarramos nas limitações do GA, e seguimos com Snowplow • Treinamento do time • Divisão do trabalho em aquisição e fechamento
  • 17. Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 2015 2016 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado Foco Entender a fundo como os clientes e profissionais interagem com a plataforma. Questionar os detalhes. Foco Ter uma visão completa do usuário, e democratizar o acesso aos dados 2 4 7 • Setup completo do Google Analytics • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais • Esbarramos nas limitações do GA, e seguimos com Snowplow • Treinamento do time • Divisão do trabalho em aquisição e fechamento • Integração com sistemas de atendimento e vendas • Divisão do time em squads multidisciplinares • Algoritmos mais complexos de distribuição e marketing
  • 18. #3 Web analytics + Data warehousing
  • 19. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Qual é a taxa de conversão desta página?
  • 20. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Qual é a taxa de conversão desta página? Desktop converte mais que mobile?
  • 21. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Qual é a taxa de conversão desta página? Desktop converte mais que mobile? Será que cidades do interior convertem menos?
  • 22. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Qual é a taxa de conversão desta página? Desktop converte mais que mobile? Será que cidades do interior convertem menos? Qual % dos usuários carrega em menos de 5s?
  • 23. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Quantos usuários interagem com o formulário?
  • 24. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Quantos usuários interagem com o formulário? Quanto tempo demoram?
  • 25. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Quantos usuários interagem com o formulário? Quanto tempo demoram? Quantos tem falhas na validação?
  • 26. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Quantos usuários interagem com o formulário? Quanto tempo demoram? Quantos tem falhas na validação? O comportamento dos recorrentes é diferente?
  • 27. Para responder estas perguntas, precisamos de uma estrutura de web analytics que permita uma segmentação fina dos dados Canal Tipo de Página Device Teste A/B Categoria Funil Load TimeCidade Segmentação é fundamental! SP RJ MG RS Qual é a taxa de conversão do site? WiFi/3GRecorrente All data in aggregate is crap Avinash Kaushik
  • 28. Trackings geram insights sobre o comportamento de cada usuário e sobre o comportamento do grupo Onde estão ocorrendo os maiores atritos e quais são as hipóteses? Visita Interação com formulário 2º step 100% Interação no 2º step Conversão! 50% 40% 20% 30% Como o funil está evoluindo ao longo do tempo? Qual é o comportamento do grupo?
  • 29. Trackings geram insights sobre o comportamento de cada usuário e sobre o comportamento do grupo Onde estão ocorrendo os maiores atritos e quais são as hipóteses? Visita Interação com formulário 2º step 100% Interação no 2º step Conversão! 50% 40% 20% 30% Como o funil está evoluindo ao longo do tempo? Qual é o comportamento do grupo? Sign-up (SEO) Recebeu pedido Recebeu avaliação Baixou app Comprou plano Ligação onboarding E-mail marketing D+0 D+1 D+5 D+7 D+20 D+20 D+30 Planejar ações de (re)marketing Comunicação com base em eventos Quais ações fazem antes de baixar o app? Mais informações para os vendedores Qual é o comportamento de um usuário? Debugging
  • 30. Estas perguntas complexas acabaram nos fazendo esbarrar em diversas limitações do Google Analytics, e saímos para buscar alternativas Difícil segmentar corretamente os dados Sem tracking de formulários Difícil identificar usuários Cross-device limitado Difícil integrar com outras fontes Difícil aplicar nossa lógica de negócios Algumas das limitações...
  • 31. Estas perguntas complexas acabaram nos fazendo esbarrar em diversas limitações do Google Analytics, e saímos para buscar alternativas SEM SEO Direto Direto Direto Direto Direto SEM SEO SEO SEO SEO SEO SEO Visita #1 #2 #3 #4 #5 #6 #7 Atribuição de canais Realidade GA estava reportando 50% menos tráfego direto do que esperávamos Difícil segmentar corretamente os dados Sem tracking de formulários Difícil identificar usuários Cross-device limitado Difícil integrar com outras fontes Difícil aplicar nossa lógica de negócios Algumas das limitações...
  • 32. Decidimos implementar o Snowplow, uma plataforma open-source de product analytics Snowplow is an enterprise-strength marketing and product analytics platform https://github.com/snowplow/snowplow Identifica os usuários e monitora o comportamento no site/app Armazena as informações brutas em um data warehouse (Redshift) Facilita a análise em ferramentas de BI: Tableau, R, Looker, Python Queremos ser donos dos nossos dados Queremos trackear o usuários na web e no app Queremos ter uma visão completa do usuário Queremos responder a qualquer pergunta! Por quê?
  • 33. Decidimos implementar o Snowplow, uma plataforma open-source de product analytics Snowplow is an enterprise-strength marketing and product analytics platform https://github.com/snowplow/snowplow Identifica os usuários e monitora o comportamento no site/app Armazena as informações brutas em um data warehouse (Redshift) Facilita a análise em ferramentas de BI: Tableau, R, Looker, Python Beanstalk EMR Redshift Redshift
  • 34. Um detalhe: a um custo muito menor que qualquer alternativa no mercado SaaS
  • 35. Decidimos implementar o Snowplow, uma plataforma open-source de product analytics Apps SMS CRM/Sales Pagamentos + Base transacional Sync MySQL -> Redshift via Amazon DMS Web Web/App analytics via Snowplow Push Support Server-side events via Snowplow Integrações externas via Stitch DATA MODEL 300M eventos por mês Transforma dados “atômicos” em modelos mais simples, com lógica de negócios Email
  • 38. Redshift e Tableau são melhores amigos - as análises são muito rápidas e permitem todo o tipo de segmentação/visualização Milhões de dados do Redshift disponíveis para análises drag&drop Integração com outras fontes de dados (CSV, Excel, MySQL, etc) Diversas formas de visualização dos dados Flexibilidade para cálculos/fórmulas customizados
  • 39. Metabase | Online dashboards https://github.com/metabase/metabase
  • 41. Estrutura e perfil do time Decision Science 2014-2015 2016 Time centralizado Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado Time dividido em squads multidisciplinares Ter uma visão completa do usuário, e democratizar o acesso aos dados Foco em tomar decisões de negócios com base em dados. Função parecida com um product manager. Skills Business + SQL + Excel + Tableau + Programação básica Perfil Estagiário/recém-formado em faculdades top de exatas 6 Data Science5 Foco em desenvolver sistemas/algoritmos para oferecer uma melhor experiência Skills Business + Modelagem + Programação Perfil Mestrado/Doutorado + alguns anos de experiência
  • 42. Estrutura e perfil do time Tech Produto Design BI Conteúdo Alinhamento dos “especialistas” a cada 2 semanas Times multidisciplinares e autosuficientes Focados em OKRs específicos
  • 44. Devemos empoderar cada vez mais outras áreas/pessoas a gerar hipóteses, explorar dados e tomarem decisões de produto Business Intelligence Construir e manter a infra-estrutura de dados Fazer a modelagem aplicando a lógica de negócios aos dados Oferecer treinamento e coaching Continuar criando e explorando hipóteses Produto Marketing Tech Suporte & Vendas Decisões focadas na experiência do cliente e profissional Alocação de budget, escolha dos canais de marketing, modelo de atribuição Tempo de carregamento das páginas, identificação de possíveis bugs e pontos de melhoria Perfomance do time, modelo de comissão, lead scoring para vendas
  • 45. Workshop BI @ NEU Bernardo Srulzon bernardo@getninjas.com.br