Enviar pesquisa
Carregar
بیگ دیتا
•
15 gostaram
•
4,505 visualizações
Hamed Azizi
Seguir
بیگ دیتا هادوپ حامد عزیزی دانشکده فنی تهران جنوب Hazizi.ir
Leia menos
Leia mais
Software
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 27
Baixar agora
Baixar para ler offline
Recomendados
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Mobin Ranjbar
Building Your Data Warehouse with Amazon Redshift
Building Your Data Warehouse with Amazon Redshift
Amazon Web Services
Big data بزرگ داده ها
Big data بزرگ داده ها
Omid Sohrabi
Databricks for Dummies
Databricks for Dummies
Rodney Joyce
Apache Tez - Accelerating Hadoop Data Processing
Apache Tez - Accelerating Hadoop Data Processing
hitesh1892
Hadoop and Enterprise Data Warehouse
Hadoop and Enterprise Data Warehouse
DataWorks Summit
Designing Apache Hudi for Incremental Processing With Vinoth Chandar and Etha...
Designing Apache Hudi for Incremental Processing With Vinoth Chandar and Etha...
HostedbyConfluent
How Uber scaled its Real Time Infrastructure to Trillion events per day
How Uber scaled its Real Time Infrastructure to Trillion events per day
DataWorks Summit
Recomendados
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Mobin Ranjbar
Building Your Data Warehouse with Amazon Redshift
Building Your Data Warehouse with Amazon Redshift
Amazon Web Services
Big data بزرگ داده ها
Big data بزرگ داده ها
Omid Sohrabi
Databricks for Dummies
Databricks for Dummies
Rodney Joyce
Apache Tez - Accelerating Hadoop Data Processing
Apache Tez - Accelerating Hadoop Data Processing
hitesh1892
Hadoop and Enterprise Data Warehouse
Hadoop and Enterprise Data Warehouse
DataWorks Summit
Designing Apache Hudi for Incremental Processing With Vinoth Chandar and Etha...
Designing Apache Hudi for Incremental Processing With Vinoth Chandar and Etha...
HostedbyConfluent
How Uber scaled its Real Time Infrastructure to Trillion events per day
How Uber scaled its Real Time Infrastructure to Trillion events per day
DataWorks Summit
Hadoop technology
Hadoop technology
tipanagiriharika
Performance Optimizations in Apache Impala
Performance Optimizations in Apache Impala
Cloudera, Inc.
Using Apache Hive with High Performance
Using Apache Hive with High Performance
Inderaj (Raj) Bains
Introducing Delta Live Tables: Make Reliable ETL Easy on Delta Lake
Introducing Delta Live Tables: Make Reliable ETL Easy on Delta Lake
Databricks
Apache Tez - A New Chapter in Hadoop Data Processing
Apache Tez - A New Chapter in Hadoop Data Processing
DataWorks Summit
Hadoop
Hadoop
Nishant Gandhi
Hadoop Overview & Architecture
Hadoop Overview & Architecture
EMC
Optimizing Hive Queries
Optimizing Hive Queries
Owen O'Malley
Apache HBase™
Apache HBase™
Prashant Gupta
Apache Ranger
Apache Ranger
Rommel Garcia
What Is Hadoop | Hadoop Tutorial For Beginners | Edureka
What Is Hadoop | Hadoop Tutorial For Beginners | Edureka
Edureka!
Hadoop introduction , Why and What is Hadoop ?
Hadoop introduction , Why and What is Hadoop ?
sudhakara st
NATS Streaming - an alternative to Apache Kafka?
NATS Streaming - an alternative to Apache Kafka?
Anton Zadorozhniy
Apache Spark Architecture | Apache Spark Architecture Explained | Apache Spar...
Apache Spark Architecture | Apache Spark Architecture Explained | Apache Spar...
Simplilearn
Apache Hive Tutorial
Apache Hive Tutorial
Sandeep Patil
Introduction to Apache Hadoop
Introduction to Apache Hadoop
Christopher Pezza
Sqoop on Spark for Data Ingestion
Sqoop on Spark for Data Ingestion
DataWorks Summit
Hive tuning
Hive tuning
Michael Zhang
Hadoop, Pig, and Twitter (NoSQL East 2009)
Hadoop, Pig, and Twitter (NoSQL East 2009)
Kevin Weil
Achieving 100k Queries per Hour on Hive on Tez
Achieving 100k Queries per Hour on Hive on Tez
DataWorks Summit/Hadoop Summit
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Hamed Azizi
عظيم داده چيست؟
عظيم داده چيست؟
digidanesh
Mais conteúdo relacionado
Mais procurados
Hadoop technology
Hadoop technology
tipanagiriharika
Performance Optimizations in Apache Impala
Performance Optimizations in Apache Impala
Cloudera, Inc.
Using Apache Hive with High Performance
Using Apache Hive with High Performance
Inderaj (Raj) Bains
Introducing Delta Live Tables: Make Reliable ETL Easy on Delta Lake
Introducing Delta Live Tables: Make Reliable ETL Easy on Delta Lake
Databricks
Apache Tez - A New Chapter in Hadoop Data Processing
Apache Tez - A New Chapter in Hadoop Data Processing
DataWorks Summit
Hadoop
Hadoop
Nishant Gandhi
Hadoop Overview & Architecture
Hadoop Overview & Architecture
EMC
Optimizing Hive Queries
Optimizing Hive Queries
Owen O'Malley
Apache HBase™
Apache HBase™
Prashant Gupta
Apache Ranger
Apache Ranger
Rommel Garcia
What Is Hadoop | Hadoop Tutorial For Beginners | Edureka
What Is Hadoop | Hadoop Tutorial For Beginners | Edureka
Edureka!
Hadoop introduction , Why and What is Hadoop ?
Hadoop introduction , Why and What is Hadoop ?
sudhakara st
NATS Streaming - an alternative to Apache Kafka?
NATS Streaming - an alternative to Apache Kafka?
Anton Zadorozhniy
Apache Spark Architecture | Apache Spark Architecture Explained | Apache Spar...
Apache Spark Architecture | Apache Spark Architecture Explained | Apache Spar...
Simplilearn
Apache Hive Tutorial
Apache Hive Tutorial
Sandeep Patil
Introduction to Apache Hadoop
Introduction to Apache Hadoop
Christopher Pezza
Sqoop on Spark for Data Ingestion
Sqoop on Spark for Data Ingestion
DataWorks Summit
Hive tuning
Hive tuning
Michael Zhang
Hadoop, Pig, and Twitter (NoSQL East 2009)
Hadoop, Pig, and Twitter (NoSQL East 2009)
Kevin Weil
Achieving 100k Queries per Hour on Hive on Tez
Achieving 100k Queries per Hour on Hive on Tez
DataWorks Summit/Hadoop Summit
Mais procurados
(20)
Hadoop technology
Hadoop technology
Performance Optimizations in Apache Impala
Performance Optimizations in Apache Impala
Using Apache Hive with High Performance
Using Apache Hive with High Performance
Introducing Delta Live Tables: Make Reliable ETL Easy on Delta Lake
Introducing Delta Live Tables: Make Reliable ETL Easy on Delta Lake
Apache Tez - A New Chapter in Hadoop Data Processing
Apache Tez - A New Chapter in Hadoop Data Processing
Hadoop
Hadoop
Hadoop Overview & Architecture
Hadoop Overview & Architecture
Optimizing Hive Queries
Optimizing Hive Queries
Apache HBase™
Apache HBase™
Apache Ranger
Apache Ranger
What Is Hadoop | Hadoop Tutorial For Beginners | Edureka
What Is Hadoop | Hadoop Tutorial For Beginners | Edureka
Hadoop introduction , Why and What is Hadoop ?
Hadoop introduction , Why and What is Hadoop ?
NATS Streaming - an alternative to Apache Kafka?
NATS Streaming - an alternative to Apache Kafka?
Apache Spark Architecture | Apache Spark Architecture Explained | Apache Spar...
Apache Spark Architecture | Apache Spark Architecture Explained | Apache Spar...
Apache Hive Tutorial
Apache Hive Tutorial
Introduction to Apache Hadoop
Introduction to Apache Hadoop
Sqoop on Spark for Data Ingestion
Sqoop on Spark for Data Ingestion
Hive tuning
Hive tuning
Hadoop, Pig, and Twitter (NoSQL East 2009)
Hadoop, Pig, and Twitter (NoSQL East 2009)
Achieving 100k Queries per Hour on Hive on Tez
Achieving 100k Queries per Hour on Hive on Tez
Destaque
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Hamed Azizi
عظيم داده چيست؟
عظيم داده چيست؟
digidanesh
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Mobin Ranjbar
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Mobin Ranjbar
A Story of Big Data:Introduction
A Story of Big Data:Introduction
Mobin Ranjbar
Big Data and select suitable tools
Big Data and select suitable tools
Meghdad Hatami
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
Hamed Azizi
Big Data Processing in Cloud Computing Environments
Big Data Processing in Cloud Computing Environments
Farzad Nozarian
K-Means clustring @jax
K-Means clustring @jax
Ajay Iet
91353111 datamining
91353111 datamining
Saeid Habibpour
Data clustring
Data clustring
Salman Memon
داده کاوی
داده کاوی
Taha Mokfi
هادوپ چيست؟
هادوپ چيست؟
digidanesh
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
Hamed Azizi
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
Hamed Azizi
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
Ehsan Asgarian
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Frank Oellien
Distributed System
Distributed System
Iqra khalil
Internet of Things Security Challlenges
Internet of Things Security Challlenges
quickheal_co_ir
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان داده
Navid Sedighpour
Destaque
(20)
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
عظيم داده چيست؟
عظيم داده چيست؟
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
A Story of Big Data:Introduction
A Story of Big Data:Introduction
Big Data and select suitable tools
Big Data and select suitable tools
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
Big Data Processing in Cloud Computing Environments
Big Data Processing in Cloud Computing Environments
K-Means clustring @jax
K-Means clustring @jax
91353111 datamining
91353111 datamining
Data clustring
Data clustring
داده کاوی
داده کاوی
هادوپ چيست؟
هادوپ چيست؟
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Distributed System
Distributed System
Internet of Things Security Challlenges
Internet of Things Security Challlenges
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان داده
Semelhante a بیگ دیتا
آشنایی با Hadoop
آشنایی با Hadoop
nasser rezaei
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
Farafekr Technology
Bi and data mining with Oracle
Bi and data mining with Oracle
ghanadbashi
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
Web Standards School
Microsoft BI Sumery
Microsoft BI Sumery
Reza Bahadorizadeh
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
Farzad Khandan
دادهکاوی و زبان برنامهنویسی R
دادهکاوی و زبان برنامهنویسی R
جشنوارهٔ روز آزادی نرمافزار تهران
پردازش ابری و امنیت سایبری
پردازش ابری و امنیت سایبری
Amin Younesi
cloud services for libraries
cloud services for libraries
mahboubeh ghorbani
IranOUG_Oracle_Multitenant
IranOUG_Oracle_Multitenant
Oracle Freelancer
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
iuvmtech
Oracle نوشته مهندس اسمعیل دخت
Oracle نوشته مهندس اسمعیل دخت
Yashar Esmaildokht
Oracle_Database_12c_Most_Important_New_Features_Persian
Oracle_Database_12c_Most_Important_New_Features_Persian
Armin Valadkhani
اسلايد آموزشي هوش تجاري
اسلايد آموزشي هوش تجاري
Ali Masoombeigi
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
efazati
Efazati opendata slides
Efazati opendata slides
Hosseinieh Ershad Public Library
Sharding
Sharding
Ali Hallaji
ورودی خروجی Hadoop
ورودی خروجی Hadoop
nasser rezaei
Crisp dm.1.0
Crisp dm.1.0
ali ahmadi
Data streaming & kafka
Data streaming & kafka
mohadesedashti
Semelhante a بیگ دیتا
(20)
آشنایی با Hadoop
آشنایی با Hadoop
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
Bi and data mining with Oracle
Bi and data mining with Oracle
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
Microsoft BI Sumery
Microsoft BI Sumery
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
دادهکاوی و زبان برنامهنویسی R
دادهکاوی و زبان برنامهنویسی R
پردازش ابری و امنیت سایبری
پردازش ابری و امنیت سایبری
cloud services for libraries
cloud services for libraries
IranOUG_Oracle_Multitenant
IranOUG_Oracle_Multitenant
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
Oracle نوشته مهندس اسمعیل دخت
Oracle نوشته مهندس اسمعیل دخت
Oracle_Database_12c_Most_Important_New_Features_Persian
Oracle_Database_12c_Most_Important_New_Features_Persian
اسلايد آموزشي هوش تجاري
اسلايد آموزشي هوش تجاري
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
Efazati opendata slides
Efazati opendata slides
Sharding
Sharding
ورودی خروجی Hadoop
ورودی خروجی Hadoop
Crisp dm.1.0
Crisp dm.1.0
Data streaming & kafka
Data streaming & kafka
بیگ دیتا
1.
شده توزیع داده
پایگاه و داده کالن خدا نام به Hadoop
2.
بررسی مورد های
موضوع •داده کالن تعریف •دنیا در اطالعات تولید روند •ای رابطه غیر های داده پایگاه •Hadoop •ساختارHadoop •HDFS •Map-Reduce •مثالMap-Reduce •گیری نتیجه 01 1/26
3.
تعریفBIG Data 01 موسسه که
تعریفیگارتنردارد داده کالن از: کالندارایی دادههاییحجم باباال ،فزاینده تولید سرعت می باال تنوع با اطالعاتیباشند پردازش از جدیدی اشکال به نیاز کهدارند بینش ، گیری تصمیم قدرت بتوانند تاکشف دهند افزایش را فرآیند سازی بهینه و 2/26
4.
اینترنت دنیای از
ارقام و آمار
5.
01 1میلیاردبازدیددرماهتوسطکاربران مختلف بیشاز6میلیاردساعتویدیودرهرماه توسطکاربرانمشاهدهمیشود درهردقیقه100ساعتویدیوآپلود میشود. 80درصدترافیکازخارجآمریکاوارد سایتمیشود. April 2014 بیشازیکمیلیاردکاربر 618میلیونکاربرفعالیکهروزانهاطالعاتخودرا بررسیمیکنند. 570میلیونمشاهدهصفحاتدرماه روزانهبیشاز300میلیونعکسآپلودمیشود معادلحدود3میلیاردعکسدرماهکهتاکنونتعداد اینتصاویرفراتراز240میلیاردبودهاست. پردازشونمایشبیشاز1.2میلیاردعکسدرثانیه روزانه500ترابایتاضافه جدید
اطالعاتمیشود. حدود ارتباط30جهان سراسر در سرور هزار February 2013 4/26
6.
01 از بیش12جستجوی درخواست
میلیارد ماهیانه نزدیک70آمریکا در جستجوها درصد April 2014 October 2012 500روزانه رشد با کاربر میلیون150،000کاربر 200فعال کاربر میلیون روزانه540توییت میلیون! از بیش آپلود40روز در عکس میلیون 8500ثانیه هر در الیک از بیش ثانیه هر در1000در نظرمورد می نوشته کاربران توسط تصاویرشود. January 2013 5/26
7.
01 یکتیغهتوربینگازکهبهمنظورتولیدبرقبه کارمیرودروزانه520گیگابایتاطالعاتتولید میکندکهدرهرتوربین20عددازاینتیغهها وجوددارد. ها ماشین تولیدی
اطالعات حجم الگبه مربوطروترها،سوییچ، ها فایروالو... الگبه مربوطسنسورها الگها دوربین مربوط و... 6/26
8.
NO-SQL
9.
01 مدلایرابطهسال در۱۹۷۰توسطادگارکادمطرحشد. مدلStructured Query
Language مشکالت داده کالن محیط یک در پاسخگویی عدم ابری محیط در مناسب و بنیادی سازگاری عدم باال پذیری مقیاس عدم 8/26
10.
01 توسط بار نخستین
برایCarlo Strozziدر سال1998شد مطرح مفهوم این. داده های پایگاه نوع این به بعد مدتیNoREL یاNot Only Relational مدلNot Only SQL های داده پایگاه سمت به گذارNO SQL های محدودیت و مشکالت دلیل بهSQL م های محدودیت دلیل به بلکه ، نبودهدل بوده ای رابطهاست. 9/26
11.
01 سهمفومتحت دادهای های
پایگاه در اصلیوب •سازگاریConsistency همهنودهادارند دسترسی زمانی واحد یک در یکسان داده یک به. •پذیری دسترسیAvailability باشد داشته جوابی باید درخواست هر. •بخشبخشسیستم سازیPartitioning از یکی در اطالعات رفتن بین از هرگونه صورت در سیستمنودهابخش افتادن کار از یا واز ی دهد ادامه خود کار به ها داده دیگر با بتواند سیستم. 10/26
12.
01 نظریهCAP •سال در2000نظریهCAPتوسط •Eric Brewerشد
مطرح. •کسب توانایی فقط و فقطدومورد زمان یک در 11/26
13.
01 مناسب داده پایگاه
انتخاب چگونگی •کم خواندن توالی و باال نوشتن توالی با های داده:شمارندهتل اطالعات ،سکوپ •کم نوشتن توالی و باال خواندن توالی با های داده:اسناد مثلHtmlو تصاویر ،... •ک بسیار خدمات توقف با و باال بودن دسترس در قبیل از کاربردهاییم •دادههاییشوند همگام جغرافیایی مختلف نقاط در باید که. 12/26
14.
15.
01 Apache Hadoop اجرا برای
که است پردازشی کلی چارچوب یک هادوپ ،ساده زبان بهی پرسمجموعه روی تکراری عملیات دیگر و وجوهاداده هایبا عظیم ای حجماست شده طراحی پتابایت حتی و ترابایت های. •خالقهادوپدوگکاتینگ •برایتوزیع از پشتیبانیشدگیج موتور پروژه درستجوی Nutchسال در2005 •نامکرد انتخاب پسرش عروسکی فیل روی از را پروژه. های ویژگیHadoop •باال پذیری دسترسی •عالی پذیری مقیاس •تکثیر قابلیت •قابلیتMap-Reduce 14/26
16.
01 معماریHadoop 15/26
17.
معماریHDFS 16/26
18.
01 Replication درHDFS 17/26
19.
01 از ها شرکت
کدامهادوپ؟ کنند می استفاده 18/26
20.
01 چارچوبMap-Reduce MapReduceتوسطگوگلدرسال2003توسعهداده شد یکچارچوبافزارینرماستکهبستریامنومقیاس پذیربرایتوسعهکاربردهایتوزیعیفراهممیکند. چارچوب از استفاده
مزایایMap-Reduce -موازیسازیکارهابهصورتخودکار -تعادلدربارمحاسباتیوداده -بهینهسازیدرانتقاالتدیسکوشبکه -ادارهکردنهاینقصرخدادهدرهاماشین 19/26
21.
01 Map-Reduce 20/26
22.
01 نگاشت چارچوب از
مثالی-کاهش 21/26
23.
01 نگاشت چارچوب از
مثالی-کاهش 22/26
24.
01 نگاشت چارچوب از
مثالی-کاهش 23/26
25.
01 نگاشت چارچوب از
مثالی-کاهش 24/26
26.
های داده پایگاه
سمت به گذارNO SQLهای محدودیت و مشکالت دلیل بهSQLبه بلکه ، نبوده بوده ای رابطه مدل های محدودیت دلیلاست. های پایگاهRDBMSکرد خواهند حفظ را خود بازار همیشه. که شود می زمانی به منحصر بیشتر کاربرد3Vشود اثبات. گیری نتیجه 25/26
27.
منابع 26/26
Baixar agora