SlideShare uma empresa Scribd logo
1 de 16
#GlobalAzureBH
PALESTRANTE
#GlobalAzureBH
Paulo Ricardo Santos –
Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI
Arquiteto de Dados
Rede social | @pauloricardovds
pauloricardodba@gmail.com
pauloricardovds
AGENDA
#GlobalAzureBH
Big Data?
Apache Spark e Arquitetura.
Apache Hive e Arquitetura.
Apache Ambari e Power BI.
HDInsight
Demo
Duvidas – http://sli.do | Z581
Acesso Laptop
Acesso
Smartphone
Big Data é o termo que descreve o imenso volume de dados –
estruturados e não estruturados – que impactam os negócios
no dia a dia. Mas o importante não é a quantidade de dados, e
sim o que as empresas fazem com os dados que realmente
importam.
Definição de Big Data
O que torna o Spark rápido?
Spark X MapReduce tradicional
Arquitetura do Apache Spark
*Resilient Distributed
Datasets (RDD):
Spark tem diversos componentes
Apache Hive?
HiveQL?
2- Apache Ambari
4- Power BI
1- Apache Hive
3- Azure Storage
O Azure HDInsight é um serviço de nuvem totalmente
gerenciamento que facilita e torna mais rápido e econômico
processar grandes quantias de dados. Use as estruturas de
software livre populares como Hadoop, Spark, Hive, LLAP, Kafka,
Storm, R e mais. O Azure HDInsight permite uma ampla gama
de cenários como ETL, Data Warehousing, Machine Learning,
IoT e mais.
Azure HDInsight?
O que você pode criar com o Azure HDInsight?
https://azure.microsoft.com/pt-br/services/hdinsight/
Demo!
Hands on
#GlobalAzureBH
Baixe os scripts e dataset neste link.
https://github.com/pauloricardovds/AzureBootCamp2018
OBRIGADO
#GlobalAzureBH
https://www.linkedin.com/in/pauloricardovds/
pauloricardovds
pauloricardodba@gmail.com

Mais conteúdo relacionado

Mais procurados

Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...Mauricio Cesar Santos da Purificação
 
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017Marciel Torres
 
Computação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
Computação em Nuvem, Serviços Cognitivos e Mercado de TrabalhoComputação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
Computação em Nuvem, Serviços Cognitivos e Mercado de TrabalhoLucas Chies
 

Mais procurados (6)

Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
 
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
 
Big data, e eu com isso?
Big data, e eu com isso?Big data, e eu com isso?
Big data, e eu com isso?
 
Power bi sinc 2014
Power bi sinc 2014Power bi sinc 2014
Power bi sinc 2014
 
Computação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
Computação em Nuvem, Serviços Cognitivos e Mercado de TrabalhoComputação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
Computação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
 
Aula 2 Big Data
Aula 2 Big DataAula 2 Big Data
Aula 2 Big Data
 

Semelhante a Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI

Big Data: O que é? e por onde começar?
Big Data: O que é? e por onde começar?Big Data: O que é? e por onde começar?
Big Data: O que é? e por onde começar?Paulo Ricardo Santos
 
Big Data Week São Paulo 2017
Big Data Week São Paulo 2017 Big Data Week São Paulo 2017
Big Data Week São Paulo 2017 Thiago Santiago
 
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...Paulo Ricardo Santos
 
Evento Allen ES Office 365 e Azure
Evento Allen ES Office 365 e AzureEvento Allen ES Office 365 e Azure
Evento Allen ES Office 365 e AzureAllen Informática
 
24HoP 2013 - Por Onde Começar no BigData
24HoP 2013 - Por Onde Começar no BigData24HoP 2013 - Por Onde Começar no BigData
24HoP 2013 - Por Onde Começar no BigDataDiego Nogare
 
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnósticaCase RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnósticaAlessandro Binhara
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Lucas Modesto
 
Evento Allen Office 365 e Azure-28-05
Evento Allen Office 365 e Azure-28-05Evento Allen Office 365 e Azure-28-05
Evento Allen Office 365 e Azure-28-05Allen Informática
 
GABC 2018 Transformação Digital
GABC 2018 Transformação DigitalGABC 2018 Transformação Digital
GABC 2018 Transformação DigitalPaulo Daniel Nobre
 
Eduardo Rocha - Criando produtos invisíveis
Eduardo Rocha - Criando produtos invisíveis   Eduardo Rocha - Criando produtos invisíveis
Eduardo Rocha - Criando produtos invisíveis Agile Trends
 
Power Tuning - Portfolio de BI
Power Tuning - Portfolio de BIPower Tuning - Portfolio de BI
Power Tuning - Portfolio de BIDirceu Resende
 
Gestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricGestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricDenodo
 
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...Andrea Rigoni
 
Guia de compras - Microsoft Azure
Guia de compras - Microsoft AzureGuia de compras - Microsoft Azure
Guia de compras - Microsoft AzureRenato Grau
 
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócioDigital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócioAmazon Web Services LATAM
 
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...Diego Nogare
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
 

Semelhante a Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI (20)

Big Data: O que é? e por onde começar?
Big Data: O que é? e por onde começar?Big Data: O que é? e por onde começar?
Big Data: O que é? e por onde começar?
 
Big Data Week São Paulo 2017
Big Data Week São Paulo 2017 Big Data Week São Paulo 2017
Big Data Week São Paulo 2017
 
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
 
Evento Allen ES Office 365 e Azure
Evento Allen ES Office 365 e AzureEvento Allen ES Office 365 e Azure
Evento Allen ES Office 365 e Azure
 
BigData
BigDataBigData
BigData
 
24HoP 2013 - Por Onde Começar no BigData
24HoP 2013 - Por Onde Começar no BigData24HoP 2013 - Por Onde Começar no BigData
24HoP 2013 - Por Onde Começar no BigData
 
Big Data na Nuvem
Big Data na NuvemBig Data na Nuvem
Big Data na Nuvem
 
Whitepapper oportunidades-cloud-computing-para-empresas
Whitepapper oportunidades-cloud-computing-para-empresasWhitepapper oportunidades-cloud-computing-para-empresas
Whitepapper oportunidades-cloud-computing-para-empresas
 
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnósticaCase RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.
 
Evento Allen Office 365 e Azure-28-05
Evento Allen Office 365 e Azure-28-05Evento Allen Office 365 e Azure-28-05
Evento Allen Office 365 e Azure-28-05
 
GABC 2018 Transformação Digital
GABC 2018 Transformação DigitalGABC 2018 Transformação Digital
GABC 2018 Transformação Digital
 
Eduardo Rocha - Criando produtos invisíveis
Eduardo Rocha - Criando produtos invisíveis   Eduardo Rocha - Criando produtos invisíveis
Eduardo Rocha - Criando produtos invisíveis
 
Power Tuning - Portfolio de BI
Power Tuning - Portfolio de BIPower Tuning - Portfolio de BI
Power Tuning - Portfolio de BI
 
Gestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricGestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data Fabric
 
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
 
Guia de compras - Microsoft Azure
Guia de compras - Microsoft AzureGuia de compras - Microsoft Azure
Guia de compras - Microsoft Azure
 
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócioDigital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
 
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
 

Mais de Paulo Ricardo Santos

ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...Paulo Ricardo Santos
 
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no KibanaIntrodução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no KibanaPaulo Ricardo Santos
 
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...
¿Cómo influye el Internet de las cosas en nuestra vida?  Y como crear su prim...¿Cómo influye el Internet de las cosas en nuestra vida?  Y como crear su prim...
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...Paulo Ricardo Santos
 
Arquitetura e Processamento de Dados em Tempo Real.
Arquitetura e Processamento de Dados em Tempo Real.Arquitetura e Processamento de Dados em Tempo Real.
Arquitetura e Processamento de Dados em Tempo Real.Paulo Ricardo Santos
 
Iot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
Iot e Big Data na Indústria 4.0: O Futuro da Indústria ConectadaIot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
Iot e Big Data na Indústria 4.0: O Futuro da Indústria ConectadaPaulo Ricardo Santos
 
Monitorando ambiente de micro serviços em tempo
Monitorando ambiente de micro serviços em tempoMonitorando ambiente de micro serviços em tempo
Monitorando ambiente de micro serviços em tempoPaulo Ricardo Santos
 

Mais de Paulo Ricardo Santos (8)

Data Storytelling - Power BI
Data Storytelling - Power BIData Storytelling - Power BI
Data Storytelling - Power BI
 
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
 
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no KibanaIntrodução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
 
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...
¿Cómo influye el Internet de las cosas en nuestra vida?  Y como crear su prim...¿Cómo influye el Internet de las cosas en nuestra vida?  Y como crear su prim...
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...
 
Arquitetura e Processamento de Dados em Tempo Real.
Arquitetura e Processamento de Dados em Tempo Real.Arquitetura e Processamento de Dados em Tempo Real.
Arquitetura e Processamento de Dados em Tempo Real.
 
Iot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
Iot e Big Data na Indústria 4.0: O Futuro da Indústria ConectadaIot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
Iot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
 
Monitorando ambiente de micro serviços em tempo
Monitorando ambiente de micro serviços em tempoMonitorando ambiente de micro serviços em tempo
Monitorando ambiente de micro serviços em tempo
 
Iot e Big Data na Indústria 4.0
Iot e Big Data na Indústria 4.0Iot e Big Data na Indústria 4.0
Iot e Big Data na Indústria 4.0
 

Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI