SlideShare uma empresa Scribd logo
1 de 21
Baixar para ler offline
Da Exploração à Produção
Inteligência Artificial com a Plataforma Marvin
Sobre mim ...
Daniel Takabayashi
IT Manager / Software Architect / Software Engineer @ B2W Digital
daniel.takabayashi@b2wdigital.com
linkedin.com/in/danieltakabayashi/
github.com/takabayashi
@DanTakabayashi
B2W Digital: e-commerce leader in LatAm
Alguns cases de IA @ B2W
Buy Box Optimization
Forecast Demand
Risk Analysis
Ad-Spend Optimization
Dynamic Pricing
Product Feature Extraction
Product Category Classification
Product Image Search
Product Match
Domínios de conhecimento
Como abstrair a
complexidade na criação de
IAs?
Github.com/marvin-ai
Marvin: Plataforma open source de Inteligência Artificial
Permite que equipes de ciência de
dados entreguem aplicativos de
IA, simplificando o processo
de exploração e modelagem.
Padronizando & Abstraindo
Padronizando: DASFE pattern
Data Acquisition
and Cleaning
initial dataset
Training
Preparation
dataset
Model Training
model
Model Evaluation
metrics
Batch Actions
Prediction
Preparation
input message
Model Prediction
final prediction
Online Actions
Prediction
Feedback end
Padronizando: passo a passo
Padronizando: Rest APIs
curl -H "Content-Type: application/json" -X POST localhost:8000/<onlineAction> -d {...}
curl -H "Content-Type: application/json" -X PUT localhost:8000/<actionName>/reload?protocol=...
curl -H "Content-Type: application/json" -X GET localhost:8000/<actionName>/health
- Ações batch: acquisitor, tpreparator, trainer, evaluator e pipeline
- Ações online: predictor, feedback
Abstraindo: principais componentes
● Toolbox - Conjunto de utilitários específicos por linguagem de
programação que auxilia em todo processo de exploração, desenvolvimento,
teste e deploy de uma engine (python-toolbox, scala-toolbox, r-toolbox etc).
● Engine - Projeto que contém o código fonte relacionado ao modelo, é
administrado pelo toolbox. Implementação do DASFE pattern.
● Engine Executor - Responsável por toda a abstração arquitetural em
torno da Engine (paralelismo, versionamento, APIs, disponibilidade etc).
● Artefatos - Binários persistidos e versionados no fim de cada ação batch
(initial dataset, dataset, model e metrics).
Abstraindo:
Abstraindo: diagrama de contexto
Abstraindo: componentes arquiteturais
Abstraindo: marvin toolbox
● Python: github.com/marvin-ai/marvin-python-toolbox (v0.0.1)
○ notebook integrado
○ integração com spark, keras etc
○ integração contínua (git, gerenciamento de versão, test unitários, profiling, test funcional etc)
○ gerador de template
○ importação e sampling de dados do hive
○ marvin common classes (properties, logs, data etc)
○ ...
● Scala: github.com/marvin-ai/marvin-scala-toolbox (em construção)
● Java: github.com/marvin-ai/marvin-java-toolbox (vamos contruir?)
● R: github.com/marvin-ai/marvin-r-toolbox (vamos contruir?)
Abstraindo: Ambiente de desenvolvimento
O marvin toolbox é compatível com o ubuntu e macOS !!!
https://github.com/marvin-ai/marvin-python-toolbox/blob/master/README.md
...mas também é possível utilizar uma box do vagrant (muito fácil) !!!
https://github.com/marvin-ai/marvin-vagrant-dev/blob/master/README.md
Marvin Roadmap
● Jupyter extension to generate code
● Admin module
● Toolbox: Go, R, Java, Scala support
● Feedback server
● Artifacts persistence layer: S3 and local FS support
● Remote provisioning and deployment: Azure, AWS and GCP
● Automate feature engineering
● Hyper parameters support
● ML for no-data scientists
● ...
Hands on...
Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

Mais conteúdo relacionado

Semelhante a Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

Rails Summit 2008 - Web Operations - George Guimarães - Pagestacker
Rails Summit 2008 - Web Operations - George Guimarães - PagestackerRails Summit 2008 - Web Operations - George Guimarães - Pagestacker
Rails Summit 2008 - Web Operations - George Guimarães - PagestackerGeorge Guimarães
 
GraphQL com .NET Core
GraphQL com .NET CoreGraphQL com .NET Core
GraphQL com .NET CoreMVP Microsoft
 
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...tdc-globalcode
 
Keynote nuvem estaleiro_ics
Keynote nuvem estaleiro_icsKeynote nuvem estaleiro_ics
Keynote nuvem estaleiro_icsHoracio Ibrahim
 
DevOps: desenvolvedores e sysadmins cooperando na prática
DevOps: desenvolvedores e sysadmins cooperando na práticaDevOps: desenvolvedores e sysadmins cooperando na prática
DevOps: desenvolvedores e sysadmins cooperando na práticaAri Stopassola Junior
 
Dalton Sergio Leonardo Pt Currículo 20160803
Dalton Sergio Leonardo Pt  Currículo 20160803Dalton Sergio Leonardo Pt  Currículo 20160803
Dalton Sergio Leonardo Pt Currículo 20160803Dalton Sergio Leonardo
 
Migrations com Entity Framework Core
Migrations com Entity Framework CoreMigrations com Entity Framework Core
Migrations com Entity Framework CoreCaio Lorensetti
 
Projeto Indiana
Projeto IndianaProjeto Indiana
Projeto Indianahellequin
 
SP Big Data Meetup - Conhecendo Apache Cassandra @Movile
SP Big Data Meetup - Conhecendo Apache Cassandra @MovileSP Big Data Meetup - Conhecendo Apache Cassandra @Movile
SP Big Data Meetup - Conhecendo Apache Cassandra @MovileEiti Kimura
 
ASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis PaulinoASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
 
CakeSP - Specta Platform: CakePHP, Flex, Fake
CakeSP - Specta Platform: CakePHP, Flex, FakeCakeSP - Specta Platform: CakePHP, Flex, Fake
CakeSP - Specta Platform: CakePHP, Flex, FakeSpecta TI
 
Visual Studio 2010 e C# 4
Visual Studio 2010 e C# 4Visual Studio 2010 e C# 4
Visual Studio 2010 e C# 4CDS
 
CurriculumVitae_VictorXavier
CurriculumVitae_VictorXavierCurriculumVitae_VictorXavier
CurriculumVitae_VictorXavierVictor Xavier
 
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto AlegreInteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto AlegreIT4biz IT Solutions
 
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto AlegreInteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto AlegreCaio Moreno
 
Site estático + Hospedagem Gratuita.pdf
Site estático + Hospedagem Gratuita.pdfSite estático + Hospedagem Gratuita.pdf
Site estático + Hospedagem Gratuita.pdfDanilo Pinotti
 
Evolução do .NET Framework e do Visual Basic
Evolução do .NET Framework e do Visual BasicEvolução do .NET Framework e do Visual Basic
Evolução do .NET Framework e do Visual BasicRicardo Guerra Freitas
 
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWS
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWSAcelerando a entrega de software com as ferramentas de desenvolvimento da AWS
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWSAmazon Web Services LATAM
 

Semelhante a Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin (20)

Rails Summit 2008 - Web Operations - George Guimarães - Pagestacker
Rails Summit 2008 - Web Operations - George Guimarães - PagestackerRails Summit 2008 - Web Operations - George Guimarães - Pagestacker
Rails Summit 2008 - Web Operations - George Guimarães - Pagestacker
 
GraphQL com .NET Core
GraphQL com .NET CoreGraphQL com .NET Core
GraphQL com .NET Core
 
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
 
Keynote nuvem estaleiro_ics
Keynote nuvem estaleiro_icsKeynote nuvem estaleiro_ics
Keynote nuvem estaleiro_ics
 
DevOps: desenvolvedores e sysadmins cooperando na prática
DevOps: desenvolvedores e sysadmins cooperando na práticaDevOps: desenvolvedores e sysadmins cooperando na prática
DevOps: desenvolvedores e sysadmins cooperando na prática
 
Dalton Sergio Leonardo Pt Currículo 20160803
Dalton Sergio Leonardo Pt  Currículo 20160803Dalton Sergio Leonardo Pt  Currículo 20160803
Dalton Sergio Leonardo Pt Currículo 20160803
 
Migrations com Entity Framework Core
Migrations com Entity Framework CoreMigrations com Entity Framework Core
Migrations com Entity Framework Core
 
Java Seminar
Java SeminarJava Seminar
Java Seminar
 
Projeto Indiana
Projeto IndianaProjeto Indiana
Projeto Indiana
 
SP Big Data Meetup - Conhecendo Apache Cassandra @Movile
SP Big Data Meetup - Conhecendo Apache Cassandra @MovileSP Big Data Meetup - Conhecendo Apache Cassandra @Movile
SP Big Data Meetup - Conhecendo Apache Cassandra @Movile
 
ASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis PaulinoASP.Net Performance – A pragmatic approach - Luis Paulino
ASP.Net Performance – A pragmatic approach - Luis Paulino
 
CakeSP - Specta Platform: CakePHP, Flex, Fake
CakeSP - Specta Platform: CakePHP, Flex, FakeCakeSP - Specta Platform: CakePHP, Flex, Fake
CakeSP - Specta Platform: CakePHP, Flex, Fake
 
Visual Studio 2010 e C# 4
Visual Studio 2010 e C# 4Visual Studio 2010 e C# 4
Visual Studio 2010 e C# 4
 
CurriculumVitae_VictorXavier
CurriculumVitae_VictorXavierCurriculumVitae_VictorXavier
CurriculumVitae_VictorXavier
 
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto AlegreInteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
 
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto AlegreInteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
Inteligência de Negócios (BI) utilizando Software Livre @ FISL 12 - Porto Alegre
 
Site estático + Hospedagem Gratuita.pdf
Site estático + Hospedagem Gratuita.pdfSite estático + Hospedagem Gratuita.pdf
Site estático + Hospedagem Gratuita.pdf
 
Evolução do .NET Framework e do Visual Basic
Evolução do .NET Framework e do Visual BasicEvolução do .NET Framework e do Visual Basic
Evolução do .NET Framework e do Visual Basic
 
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWS
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWSAcelerando a entrega de software com as ferramentas de desenvolvimento da AWS
Acelerando a entrega de software com as ferramentas de desenvolvimento da AWS
 
Netbeans
NetbeansNetbeans
Netbeans
 

Mais de Daniel Takabayashi, MSc

Marvin AI: An Open Source Platform to Deploy and Manage Machine Learning Models
Marvin AI: An Open Source Platform to Deploy and Manage Machine Learning ModelsMarvin AI: An Open Source Platform to Deploy and Manage Machine Learning Models
Marvin AI: An Open Source Platform to Deploy and Manage Machine Learning ModelsDaniel Takabayashi, MSc
 
Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...
Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...
Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...Daniel Takabayashi, MSc
 
Marvin Platform - Artificial Intelligence Platform
Marvin Platform - Artificial Intelligence PlatformMarvin Platform - Artificial Intelligence Platform
Marvin Platform - Artificial Intelligence PlatformDaniel Takabayashi, MSc
 
Marvin Platform – Potencializando equipes de Machine Learning
Marvin Platform – Potencializando equipes de Machine LearningMarvin Platform – Potencializando equipes de Machine Learning
Marvin Platform – Potencializando equipes de Machine LearningDaniel Takabayashi, MSc
 
TrabalhoDefesa-Completo-vFinal-Impressão
TrabalhoDefesa-Completo-vFinal-ImpressãoTrabalhoDefesa-Completo-vFinal-Impressão
TrabalhoDefesa-Completo-vFinal-ImpressãoDaniel Takabayashi, MSc
 

Mais de Daniel Takabayashi, MSc (8)

Marvin AI: An Open Source Platform to Deploy and Manage Machine Learning Models
Marvin AI: An Open Source Platform to Deploy and Manage Machine Learning ModelsMarvin AI: An Open Source Platform to Deploy and Manage Machine Learning Models
Marvin AI: An Open Source Platform to Deploy and Manage Machine Learning Models
 
Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...
Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...
Marvin AI - Uma plataforma de código aberto para implementar e gerenciar mode...
 
Marvin Platform - Artificial Intelligence Platform
Marvin Platform - Artificial Intelligence PlatformMarvin Platform - Artificial Intelligence Platform
Marvin Platform - Artificial Intelligence Platform
 
Marvin Platform – Potencializando equipes de Machine Learning
Marvin Platform – Potencializando equipes de Machine LearningMarvin Platform – Potencializando equipes de Machine Learning
Marvin Platform – Potencializando equipes de Machine Learning
 
Proposta de Inovação (1)
Proposta de Inovação (1)Proposta de Inovação (1)
Proposta de Inovação (1)
 
Guia de Estudo OCA Java SE 5 - SE6
Guia de Estudo OCA Java SE 5 - SE6Guia de Estudo OCA Java SE 5 - SE6
Guia de Estudo OCA Java SE 5 - SE6
 
Apresentação - Defesa Mestrado - v4
Apresentação - Defesa Mestrado - v4Apresentação - Defesa Mestrado - v4
Apresentação - Defesa Mestrado - v4
 
TrabalhoDefesa-Completo-vFinal-Impressão
TrabalhoDefesa-Completo-vFinal-ImpressãoTrabalhoDefesa-Completo-vFinal-Impressão
TrabalhoDefesa-Completo-vFinal-Impressão
 

Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

  • 1. Da Exploração à Produção Inteligência Artificial com a Plataforma Marvin
  • 2. Sobre mim ... Daniel Takabayashi IT Manager / Software Architect / Software Engineer @ B2W Digital daniel.takabayashi@b2wdigital.com linkedin.com/in/danieltakabayashi/ github.com/takabayashi @DanTakabayashi
  • 3. B2W Digital: e-commerce leader in LatAm
  • 4. Alguns cases de IA @ B2W Buy Box Optimization Forecast Demand Risk Analysis Ad-Spend Optimization Dynamic Pricing Product Feature Extraction Product Category Classification Product Image Search Product Match
  • 6. Como abstrair a complexidade na criação de IAs?
  • 8. Marvin: Plataforma open source de Inteligência Artificial Permite que equipes de ciência de dados entreguem aplicativos de IA, simplificando o processo de exploração e modelagem.
  • 10. Padronizando: DASFE pattern Data Acquisition and Cleaning initial dataset Training Preparation dataset Model Training model Model Evaluation metrics Batch Actions Prediction Preparation input message Model Prediction final prediction Online Actions Prediction Feedback end
  • 12. Padronizando: Rest APIs curl -H "Content-Type: application/json" -X POST localhost:8000/<onlineAction> -d {...} curl -H "Content-Type: application/json" -X PUT localhost:8000/<actionName>/reload?protocol=... curl -H "Content-Type: application/json" -X GET localhost:8000/<actionName>/health - Ações batch: acquisitor, tpreparator, trainer, evaluator e pipeline - Ações online: predictor, feedback
  • 13. Abstraindo: principais componentes ● Toolbox - Conjunto de utilitários específicos por linguagem de programação que auxilia em todo processo de exploração, desenvolvimento, teste e deploy de uma engine (python-toolbox, scala-toolbox, r-toolbox etc). ● Engine - Projeto que contém o código fonte relacionado ao modelo, é administrado pelo toolbox. Implementação do DASFE pattern. ● Engine Executor - Responsável por toda a abstração arquitetural em torno da Engine (paralelismo, versionamento, APIs, disponibilidade etc). ● Artefatos - Binários persistidos e versionados no fim de cada ação batch (initial dataset, dataset, model e metrics).
  • 17. Abstraindo: marvin toolbox ● Python: github.com/marvin-ai/marvin-python-toolbox (v0.0.1) ○ notebook integrado ○ integração com spark, keras etc ○ integração contínua (git, gerenciamento de versão, test unitários, profiling, test funcional etc) ○ gerador de template ○ importação e sampling de dados do hive ○ marvin common classes (properties, logs, data etc) ○ ... ● Scala: github.com/marvin-ai/marvin-scala-toolbox (em construção) ● Java: github.com/marvin-ai/marvin-java-toolbox (vamos contruir?) ● R: github.com/marvin-ai/marvin-r-toolbox (vamos contruir?)
  • 18. Abstraindo: Ambiente de desenvolvimento O marvin toolbox é compatível com o ubuntu e macOS !!! https://github.com/marvin-ai/marvin-python-toolbox/blob/master/README.md ...mas também é possível utilizar uma box do vagrant (muito fácil) !!! https://github.com/marvin-ai/marvin-vagrant-dev/blob/master/README.md
  • 19. Marvin Roadmap ● Jupyter extension to generate code ● Admin module ● Toolbox: Go, R, Java, Scala support ● Feedback server ● Artifacts persistence layer: S3 and local FS support ● Remote provisioning and deployment: Azure, AWS and GCP ● Automate feature engineering ● Hyper parameters support ● ML for no-data scientists ● ...