آشنایی با هدوپ - مرجع هدوپ ایران - شرکت مهندسی نرم افزار ایده پردازان فرافکر www.hadoop.ir

1. ‫هدوپ‬ ‫با‬ ‫آشنایی‬
}‫ایران‬ ‫هدوپ‬ ‫مرجع‬
(‫فرافکر‬ ‫پردازان‬ ‫ایده‬ ‫افزار‬‫نرم‬ ‫مهندسی‬ ‫)شرکت‬
. . . . . .www hadoop ir www farafekr co hello@hadoop ir info@farafekr co
INTRODUCTION TO HADOOP

2. WHO AM I
‫رنجبر‬ ‫مبین‬
●‫افزار‬‫نرم‬ ‫مهندسی‬ ‫ارشد‬ ‫کارشناس‬
‫فرافکر‬ ‫پردازان‬ ‫ایده‬ ‫افزار‬‫نرم‬ ‫مهندسی‬ ‫شرکت‬ ‫مدیره‬ ‫هیئت‬ ‫رئیس‬
‫ایران‬ ‫هدوپ‬ ‫مرجع‬ ‫مؤسس‬
‫دارای‬2‫های‬ ‫شرکت‬ ‫از‬ ‫داده‬ ‫کلن‬ ‫حوزه‬ ‫در‬ ‫رسمی‬ ‫مدرک‬MapR‫و‬
MongoDB Inc.
‫های‬ ‫پروژه‬ ‫کننده‬ ‫مشارکت‬Cloudera Hue‫و‬Apache
Hadoop
‫سایت‬ ‫برتر‬ ‫کاربر‬StackOverfow‫هدوپ‬ ‫موضوع‬ ‫در‬

3. ‫بندی‬ ‫زمان‬
●‫داده‬ ‫کلن‬ ‫با‬ ‫آشنایی‬
●‫هدوپ‬ ‫معرفی‬
●‫کلن‬ ‫های‬‫داده‬ ‫بندی‬ ‫طبقه‬
●‫چیست‬ ‫هدوپ‬
●‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬
●‫نویسی‬ ‫برنامه‬ ‫مدل‬MapReduce
●‫پاسخ‬ ‫و‬ ‫پرسش‬

4. ‫چیست؟‬ ‫داده‬ ‫کلن‬
‫جدید‬ ‫های‬ ‫چالش‬
=
‫جدید‬ ‫های‬‫حل‬ ‫راه‬
‫از‬ ‫خارج‬ ‫ها‬‫آن‬ ‫پردازش‬ ‫و‬ ‫مدیریت‬ ‫که‬ ‫شود‬‫می‬ ‫گفته‬ ‫هایی‬‫داده‬ ‫به‬
.‫است‬ ‫موجود‬ ‫های‬‫سیستم‬ ‫و‬ ‫ها‬‫حل‬ ‫راه‬ ‫توانایی‬

5. ‫در‬ ‫مجازی‬ ‫فضای‬۶۰‫ثانیه‬

6. ‫ها‬ ‫داده‬ ‫رشد‬
2013 2015
Unstructured
Data
88%
300 Exabytes
80 Exabytes
Structured
Data
12%
DatabaseApplicaton
Backup &
Archive
Backup
Storage
Optons

7. ‫چیست؟‬ ‫داده‬ ‫کلن‬
‫یاد‬ ‫به‬ ‫شنوند‬ ‫می‬ ‫را‬ ‫واژه‬ ‫این‬ ‫که‬ ‫زمانی‬ ‫افراد‬ ‫از‬ ‫بسیاری‬
‫زیاد‬ ‫وسعت‬‫یا‬ ‫و‬‫همان‬‫زیاد‬ ‫حجم‬.‫افتند‬‫می‬
‫کلن‬ ‫های‬‫داده‬ ‫در‬‫فقط‬‫مو‬.‫نیست‬ ‫مطرح‬ ‫حجم‬ ‫ضوع‬

8. ‫اصلی‬ ‫فرعی‬
‫ارزش‬‫درستی‬‫تنوع‬‫سرعت‬‫حجم‬

9. ‫کلن‬ ‫های‬‫داده‬ ‫بندی‬ ‫طبقه‬

10. ‫چیست؟‬ ‫هدوپ‬
‫است‬ ‫هایی‬ ‫کتابخانه‬ ‫و‬ ‫افزارها‬ ‫نرم‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫یا‬ ‫ورک‬ ‫فریم‬ ‫یک‬ ‫هدوپ‬
‫فراهم‬ ‫را‬ ‫شده‬ ‫توزیع‬ ‫های‬ ‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫پردازش‬ ‫کار‬ ‫و‬ ‫ساز‬ ‫که‬
‫واقع‬ ‫در‬ .‫میکند‬Hadoop‫کرد‬ ‫تشبیه‬ ‫عامل‬ ‫سیستم‬ ‫یک‬ ‫به‬ ‫توان‬ ‫می‬ ‫را‬
‫های‬ ‫ماشین‬ ‫روی‬ ‫بر‬ ‫را‬ ‫ها‬ ‫داده‬ ‫از‬ ‫زیادی‬ ‫حجم‬ ‫بتواند‬ ‫تا‬ ‫شده‬ ‫طراحی‬ ‫که‬
‫قیمت‬ ‫گران‬ ‫کامپیوترهای‬ ‫نیازمند‬ ‫هدوپ‬ .‫کند‬ ‫مدیریت‬ ‫و‬ ‫پردازش‬ ‫مختلف‬
‫مورد‬ ‫معمول‬ ‫و‬ ‫ارزان‬ ‫کامپیوترهای‬ ‫از‬ ‫استفاده‬ ‫ا‬ ‫ب‬ ‫توان‬ ‫ی‬ ‫م‬ ‫و‬ ‫ت‬ ‫نیس‬
.‫گیرد‬ ‫قرار‬ ‫استفاده‬
‫چیست؟‬ ‫هدوپ‬

11. ‫یکم‬ ‫و‬ ‫بیست‬ ‫قرن‬ ‫سوئیسی‬ ‫چاقوی‬

12. Big Data != Hadoop
Hadoop != Database
Hadoop != A software

15. ‫یا‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬HDFS
HDFS‫ی‬ ‫م‬ ‫ذخیره‬ ‫جداگانه‬‫صصصورت‬ ‫بصصصه‬ ‫را‬ ‫ا‬‫ه‬ ‫صصصرنامه‬‫ب‬‫ای‬‫ه‬ ‫داده‬ ‫و‬ ‫فصصراداده‬
‫ثل‬ ‫م‬ ‫دیگر‬‫ای‬‫ه‬‫ل‬ ‫فصصای‬ ‫سصصصیستم‬ ‫د‬‫همانن‬ .‫کصصند‬PVFS ، Lustre‫و‬GFS ،
HDFS‫نصصام‬ ‫صصصه‬‫ب‬‫اختصاصی‬ ‫سصصرور‬‫صصک‬‫ی‬‫روی‬ ‫صصصر‬‫ب‬ ‫را‬ ‫فصصراداده‬NameNode
‫نصصام‬ ‫صصصه‬‫ب‬ ‫دیگر‬‫ای‬‫ه‬ ‫سصصرور‬‫روی‬ ‫صصصر‬‫ب‬ ‫نصصیز‬ ‫ا‬‫ه‬ ‫صصصرنامه‬‫ب‬‫ای‬‫ه‬ ‫داده‬ .‫کصصند‬‫ی‬ ‫م‬ ‫ذخیره‬
DataNodes‫طریق‬ ‫از‬ ‫هم‬ ‫بصصصا‬‫صصصروری‬‫س‬‫ن‬ ‫ای‬‫ی‬ ‫صصصمام‬‫ت‬ .‫شصصوند‬‫مصصی‬ ‫ذخیره‬
‫صصصر‬‫ب‬‫بتنی‬ ‫م‬‫ای‬‫ه‬‫پصصروتکل‬TCP‫هستند‬ ‫ارتباط‬ ‫در‬‫هم‬ ‫صصصا‬‫ب‬

16. ‫یا‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬HDFS
‫ورودی‬ ‫فایل‬

19. ‫نویسی‬ ‫برنامه‬ ‫مدل‬MapReduce
MapReduce‫صصصه‬‫ب‬‫کصصلن‬‫ای‬‫ه‬ ‫داده‬‫صصصحلیل‬‫ت‬‫صصصرای‬‫ب‬ ‫نصصویسی‬ ‫ه‬‫صصصرنام‬‫ب‬‫دل‬‫م‬‫یصصک‬
.‫صصصاشد‬‫ب‬‫ی‬ ‫م‬‫وازی‬‫م‬‫صصصورت‬ ‫بصصصه‬ ‫شصصبکه‬‫ای‬‫ه‬‫اشین‬‫م‬‫روی‬ ‫صصصر‬‫ب‬ ‫شصصده‬‫تصصوزیع‬‫صصصورت‬
‫این‬
‫سال‬ ‫در‬ ‫گوگل‬ ‫توسط‬ ‫مدل‬2۰۰۴‫شد‬ ‫ارائه‬
‫از‬ ‫مدل‬ ‫این‬2‫اصلی‬ ‫تابع‬Map‫و‬Reduce.‫است‬ ‫شده‬ ‫تشکیل‬
MapReduce => Map() , Reduce()

20. ‫مثال‬ ‫یک‬ ‫با‬ ‫تر‬‫دقیق‬ ‫نگاه‬

21. ...‫نیست‬ ‫افزار‬‫نرم‬ ‫یک‬ ‫فقط‬ ‫هدوپ‬

22. ‫شما‬ ‫توجه‬ ‫از‬ ‫سپاس‬ ‫با‬
‫سوال؟‬