O documento descreve a jornada da Globo.com em big data e machine learning, desde começar sem experiência até hoje ter 100 algoritmos rodando. Detalha os desafios iniciais como falta de estrutura para grandes volumes de dados e métricas limitadas, e como evoluiu para arquiteturas escaláveis, análises avançadas e 300 experimentos semanais com bandits multibraços. A empresa agora usa dados para segmentar usuários, recomendar conteúdo de forma personalizada e dirigir crescimento com testes A/B em larga escala.

1. BIG DATA
to MACHINE LEARNING
@renan_oliveira

2. CARA QUE
GOSTA DE
DADOS NA
GLOBO.COM
@renan_oliveira

3. Líderemaudiênciaeumadasprincipais
empresasdetecnologiadoBrasil

4. 70 MILHÕESDE USUÁRIOS ÚNICOS POR MÊS

5. 10milhõesde usuários únicos por dia
2milhõesde conexões simultâneas
4bilhõesde eventos diários
100mil novos conteúdos por mês

6. Como aprendemosos
interesses dos usuários
dado a sua navegação.
desde2012

7. COMEÇAMOS

8. Começamos com
nenhuma
experiência em
BigData

9. CENÁRIO
Processargrande volume de dados
Frameworkstotalmente novos
Recomendaçãoem foco
Semcache
Cientistasdedados?Nãotem!

10. PIXEL
TRACKER

12. DESAFIOS
Algoritmosescritos em pig
CTRcomo única métrica
Logem text como fonte
ABnão escalável para todo pv
Desconfiançase era bom mesmo

14. Cenário inicial
para um vendedor

15. event tracker by globo.com
Melhoramos o processo de
capturadeeventos

16. YARN

17. Novastack

18. CENÁRIO
Controlesobre a execução dos jobs
Parquetcomo formato padrão
Streaming simplificado
Scalapara API e Jobs
Amadurecimentoda área

19. ArquiteturaLambda

20. data culture/ab

21. NÚMEROS
+2000experimentos
Scala com VM < 2gb
5ms de tempo médio de resposta
Visuaise deAlgoritmos
100 rodando hoje

22. A/B
80%daaudiência 20%daaudiência
vs

23. 80%daaudiência 20%daaudiência
vsA/B

24. 80%daaudiência 20%daaudiência
vs
+78%conversão
A/B

25. recomendação

26. NÚMEROS
+100milrecomendações por minuto
Homes,MatériaseVídeos
Spark pra todo lado
Consolidado!
ABem todas recomendações

27. COLLABORATIVE
FILTERING
CONTENT BASED TOP

28. COLLABORATIVE FILTERING CONTENT BASED TOP

29. COLLABORATIVE FILTERING CONTENT BASED TOP

30. surf medina
peniche
prancha
mundial de
surf john john
mineirinho
pipeline
futebol
guerrero
flamengo
STJD
copa do brasil
fluminense henrique
brasileirão
COLLABORATIVE FILTERING CONTENT BASED TOP

31. COLLABORATIVE
FILTERING
CONTENT BASED TOP

32. T R A B A L H A N D O C O M

34. 100algoritmos
SUPERVISED
UNSUPERVISED
REINFORCEMENT
RECOMENDAÇÃO

35. CTRindo além
DIVERSITY
COVERAGE
FRESHNESS
SERENDIPITY

36. PIPELINETF

37. PREDICTIVE
CHURNRATE
UP-SELL
GROWTH

40. MAB
MINWORST
MVT
EXPERIMENTATION

41. https://blog.acolyer.org/2017/09/27/an-efficient-bandit-algorithm-for-real-time-multivariate-optimization/
300experimentos
MULTI-ARMEDBANDIT
TITLE
SECTIONS
ALGORITHM
THUMBNAIL

42. DMP
MARKET
SEGMENTATION
USERCENTRIC
PROFILE
SEGMENTATION

43. ATUALMENTE
5timesfocados emMachineLearning
9timesna área deBigData
MadeinBR
Negócioetecnologiaem conjunto
DataDrivenCompany

44. OBRIGADO!
@renan_oliveira
www.renanoliveira.net
http://slideshare.net/renangpa