2. فهرست
تعريف سيستم هوشمند
BI ساختار
)BI( تعريف هوش تجاری
BI يک کاربرد از
BI دلايل داشتن سيستم های مبتنی بر
BI اهداف
BI اجزای
Dr. Ahmad Abdollahzadeh
www.MODiRiATMAli.com
3. فهرست
BI تکنيک های استفاده شده در
On-Line Analtical Processing
On-Line Transaction Processing
Data Warehousing
Data Mining
Intelligent Decision Support System
Intelligent Agent
Knowledge Management System
Supply Chain Management
Customer Relationship Management
Enterprise Resource Planing
Enterprise Information Management
www.MODiRiATMAli.com
4. فهرست
کيفيت داده
خصوصيات داده های با کيفيت
دسته بندی داده های بدون کيفيت
مشخصات سيستمِ با داده های بدون کيفيت
اثرداده های بدون کيفيت بر روی سيستم
12 قدم جهت تصحيح داده
مراحل کاری پاکسازی داده
دانش
مراحل انجام يک پروژة مهندس ی
نقشة راه سيستم های هوش تجاری
ساختار تيم ساخت پروژه
www.MODiRiATMAli.com
5. فهرست
اصول طراحی پايگاه داده تحليلی
مروری برتعريف پايگاه داده تحليلی
تفاوت با پايگاه داده عملياتي
مشخصات پايگاه داده تحليلی
تعريف هوش تجاری از منظر پايگاه داده تحليلی
سير تکاملی تکنولوژی های هوش تجاری
The Corporate Information Factory (CIF)
ملاحظاتی كه در طراحی يك پايگاه داده تحليلی بايد لحاظ كرد
ملاحظات ساخت پايگاه داده تحليلی
مراحل ساخت پايگاه داده تحليلی
معما ری پايگاه داده تحليلی
مراجع
www.MODiRiATMAli.com
6. سيستم های هوشمند
هوشمندی، قابليت دنبال کردن هدف به همان روش ی است، که انسان دنبال می کند.
يک سيستم هرچه به انسان نزديکتر باشد، هوشمندتر است.
سيستم هوشمند، سيستمی است که هدف مشخص ی را با کمک حسگر و عملگر تا حصول
موفقيت دنبال می نمايد.
سيستم هوشمند، می تواند دانش خود را با يادگيری، از طريق تجربه ويا کسب دانشهای
جديد افزايش دهد.
انسان، يک سيستم هوشمند است.
بايد يک سيستم هوشمند باشد. BI
فهرست
www.MODiRiATMAli.com
7. BI ساختار
BI
ابزار تکنيک کاربرد
ابزار تکنيک کاربرد ابزار تکنيک کاربرد
فهرست
www.MODiRiATMAli.com
8. ) تعريف هوش تجاری ) 1
عبارتستاز بُعد وسيعی از کاربردها و تکنولوژی برای جمع آوری داده و دانشجهت
برای اتخاذ تصميات تجاری دقيق و هوشمند. Enterprise توليد پرسو جو در راستای آناليز
فهرست
www.MODiRiATMAli.com
9. ) تعريف هوش تجاری ) 2
پردازش ( OLAP تشکيل شده و در قالب Enterprise يک هوشتجاری براساسيک معماری
تحليلی برخط(، به تحليل داده های تجاری و اتخاذ تصميمات دقيق و هوشمند می پ ردازد.
فهرست
www.MODiRiATMAli.com
10. ) تعريف هوش تجاری ) 3
BI
OLTP
+
OLAP
فهرست
www.MODiRiATMAli.com
11. ) تعريف هوش تجاری ) 4
هوش تجاری، نه بعنوان يک محصول و نه بعنوان يک سيستم، بلکه بعنوان يک معماری
موردنظر است که شامل مجموعه ای از برنامه های کاربردی و تحليلی استکه به استناد پايگاه
های داده عملياتی و تحليلی به اخذ و کمک به اخذ تصميم برای فعاليت های هوشمند تجاری
می پردازند.
فهرست
www.MODiRiATMAli.com
14. حالا تعداد چوب کبريت ها چقدر است؟
فهرست
www.MODiRiATMAli.com
15. يک سيستم تصميم يار، يک بخش از يک سيستم هوش تجاری است که دو
رويکرد می تواند داشته باشد:
1. Goal Seeking
2. What If
BI يک کاربرد از
فهرست
www.MODiRiATMAli.com
16. BI برخی ازکاربردهای برنامه های تصميم يار
،OLAP تحليل چند بعدی ازداده های عملياتی در قالب
،Click-Stream تحليل
داده کاوی،
پيش بينی کردن،
تحليل تجاری،
پرس وجو کردن و گزارش گيری و ترسيم آماری،
تحليل مکانی،
مديريت دانش،
کاوش در متن، محتوا و صوت،
فهرست
www.MODiRiATMAli.com
17. Click-Stream
مسيری که يک کاربر در حين دستيابی به يک صفحة وب طی می کند.
هر انتخاب مجزايی که کاربر در محيط وب انجام می دهد، تا به يک صفحة وب
برسد مستلزم يک لينک جديد است، هرچه کاربر در اين مسير بيشتر جلو رود و
مطلب مورد نظر خود را پيدا نکند، احتمال اينکه به سايت وب ديگری برود
بيشتر است.
در نتيجه تحليل الگوهای دستيابی به صفحات وب بايد چنان باشد که طراحان
سايت وب را در ايجاد ساختارها، پيوندها و تسهيلات جستجوی کاربر پسند تر
ياری کند.
بازگشت
www.MODiRiATMAli.com
18. دلايل داشتن سيستم های مبتنی بر هوش تجاری
دلايل اقتصادی.
دنبال نمودن اهداف کارايی سيستم کاربردی.
افزايش رقابت ها.
تجارت الکترونيکی.
حمايت از تصميم گيری های سيستم کاربردی.
کثرت مشتريان.
نياز به آناليز عمليّات سيستم.
لاعات حاصل از سيستم
ّ
ت اط
ّ
صحّت و دق .
دسترس ی به داده های بهنگام شده.
کاهش هزينه.
رضايت کاربران نهايی در مقايسه با کالاهای مشابه.
فهرست
www.MODiRiATMAli.com
19. BI اهداف
آناليز داده را به کمکآناليز آماری و بر مبنای يکپايگاه داده ،BI انتظار داريم که يکسيستم
تحليلی ميسّر سازد
آناليز داده
آناليز آماری
پايگاه داده
تحليلی فهرست
www.MODiRiATMAli.com
20. در هوش تجاری (Enterprise Information Management) کاربرد
مديريت داده
کنترل کردن بی نظمی
و آشفتگی داده
ارائه داده
فراهم کردن امکان دسترس ی حس ی
به اطلاعات تجاری
مهندس ی مجدد
www.MODiRiATMAli.com
21. BI اجزای
کاربران
محصول
خدمات قابل ارائه
رقبا
فهرست
www.MODiRiATMAli.com
22. تکنيک های استفاده شده در هوش تجاری
On-Line Analytical Processing (OLAP)
On-Line Transaction Processing (OLTP)
Data Warehousing (DW)
Data Mining (DM)
Intelligent Decision Support System (IDSS)
Intelligent Agent (IA)
Knowledge Management System (KMS)
Supply Chain Management (SCM)
Customer Relationship Management (CRM)
Enterprise Resource Planing (ERP)
Enterprise Information Management (EIM)
فهرست
www.MODiRiATMAli.com
23. تکنيک های استفاده شده در هوش تجاری )ادامه(
ليست اموال فروش
توزيع
CRM
EIM
ERP DM
DB
DW
IDSS KMS
OLAP OLTP
SCM
قيمت گذاری محصول
فهرست
www.MODiRiATMAli.com
24. OLAP (On-Line Analytical Processing)
سرويس هايی که از پايگاه داده تحليلی به منظور پاسخگويی سريع به پرسش های
ناميده می )OLAP( تحليلی کاربران استفاده می کنند، پردازش تحليلی برخط
شوند.
عبارت است از مجموعه ای از نرم افزارها که برای اکتشاف و تحليل OLAP
سريع داده های مبتنی بر يک شيوة چند بُعدی با چندين سطح از مجموع سازی
تصميم گيری را سريع و آسان می کند. ،)Aggregation( . استفاده می شود
آسان شدن تصميم گيری به دليل قابليت هدايت تحليل ها بدون نياز به يک زبان
پرس و جوی اصلی يا فهم ساختار زيرين بانک اطلاعاتی حاصل می شود.
بازگشت
www.MODiRiATMAli.com
25. ادامه( ( OLAP
سريع ترشدن تصميم گيری نيز از اين جهت است که مجموع داده ها برای درخواست های
شده اند، Pre-Aggregate ، متداول از پيش محاسبه شده است و به اصطلاح داده ها
بنابراين زمان محاسبه کاهش يافته و پاسخگويی به پرس وجوهای پيچيدة تحليلی به سرعت
امکانپذير خواهد بود.
از جمله عناصر ضروری در )OLAP( و پردازش تحليلی بر خط )DW( پايگاه داده تحليلی
سيستم های تصميم يار به شمار می آيند.
بازگشت
www.MODiRiATMAli.com
27. OLTP (On-Line Transaction Processing)
داد ههای مورد استفاده در اين تراكنش ها داده های به روز، جاری و با جزئيات است : پردازش
تراكنش ها، مشتمل بر انجام عمليات روزانه مانند خريد و فروش و عمليات بانكی و مانند آن.
هستند. OLTP پايگاه های داده عملياتی، منبع داده ای سيستم های
پايگاه های دادة عملياتی رايج شامل داده های بروز و جاری، جهت انجام عمليات
روزانة ثبت، حذف، بروزرسانی و مشاهده داده ها هستند.
بازگشت
www.MODiRiATMAli.com
28. OLAP , OLTP مقايسه جنبه های متفاوت
سيستم های
مقايسه شده
مقايسه شده
پارامترهای
ارزيابی
(OLAP) پردازش تحليلی برخط (OLTP) پردازش تراكنش برخط
كاربران كاربران فناوری اطلاعات كاركنان دانش
كاركرد عمليات روزانه پشتيبانی تصميم
طراحی پايگاه داده
داده
كاربرد-گرا موضوع-گرا
داده
جاري، بهروز، باجزئيات، رابطهاي،منفرد سابقه، خلاصه شده، چندبعدي، سرجمع، يكپارچه
سرجمع، يكپارچه
كاربرد عمليات تكرارشونده خاص منظوره
www.MODiRiATMAli.com
29. OLAP , مقايسه جنبه های متفاوت
ادامه( (OLTP
سيستم های
مقايسه
شده
پارامترهای
ارزيابی
پردازش تراكنش برخط
(OLTP)
پردازش تحليلی برخط
(OLAP)
دسترسي
خواندن/نوشتن،
انديسگذاري/درهمسازی
برروی كليد اصلي
پويش سراسری وگسترده
واحد كاري
تراكنشهای ساده و
كوتاه
پرسوجوهای پيچيده
تعداد ركوردهای مورد
دسترسي
دهها ركورد ميليونها ركورد
تعداد كاربران هزاران كاربر صدها كاربر
اندازه پايگاه داده مگابايت- گيگابايت گيگابايت- ترابايت
www.MODiRiATMAli.com
31. )Data Warehouse( پايگاه دادة تحليلی
پايگاه داده تحليلی(، مخزن داده ای متمرکز، جمع آوری شده از منابع ( DataWarehouse
اطلاعاتی مختلفو ناهمگن در يک محدوده وسيع زمانی است و برای پشتيبانی از سيستم های
استفاده می شود. )DSS( تصميم يار
از پايگاه های داده عملياتی و يا ساير منابع داده ای توزيع شدة سازمان ها و ارگان های DW
متفاوت تهيه می شود.
پايگاه دادة تحليلی بستر مناسبی فراهم می آورد که داده ها به منظور پاسخگويی به پرسشهای
تحليلی بهصورت بايگانی شده، سر جمع شده و سازمان يافته، ذخيره شوند.
پايگاه داده تحليلی شامل داده هايی است که برای انجام تصميم گيری ها و تحليل ها مناسب
است.
بازگشت
www.MODiRiATMAli.com
32. پايگاه دادة تحليلی)ادامه(
پايگاه داده تحليلی عبارت استاز مخزن دادة جمع آوری شده ای از منابع اطلاعاتی:
مختلف،
توزيع شده،
ا
احتمالا ناهمگون،
تحتيکساختار چند بُعدی،
بصورت يکپارچه،
پاکسازی شده،
موضوع گرا،
سرجمع شده،
غير قابل تغيير
و در محدودة زمانی مشخصطولانی دردسترسبوده.
بازگشت
www.MODiRiATMAli.com
33. پايگاه دادة تحليلی)ادامه(
داده هااای موجااود در پايگاااه دادة تحليلاای، غياار قاباال تغيياار، يعناای فقااط خواناادنی هسااتند و توسااط
کاربران قابل تغيير نيستند.
وظيفااااا اصااااالی و مهمتااااارين کااااااربرد پايگااااااه هاااااای دادة تحليلااااای انجاااااام پاااااردازش هاااااای تحليلااااای باااااارخط
می باشد. )OLAP(
متناظر اين عمل در پايگاه های دادة عملياتی، انجاام و پاساخگويی باه تاراکنش هاای کااربران اسات
ناميده می شود. (OLTP( که پردازش های تراکنش ی برخط
بازگشت
www.MODiRiATMAli.com
34. پايگاه دادة تحليلی)ادامه(
است. BI داريم که جزئی از Repository ، قبل از پايگاه داده تحليلی
دانش و Repository عبارتست از سازماندهی BI در معماری DW اولين وظيفة
داده که از منابع مختلف بدست می آيد. Repository
به اين معنی که ذخيره سازی، اعتبارسنجی، تأييد و امکان دسترسی آسان به آن را
اقدام Data Mart فراهم می سازد. برای اين کار توصيه می شود، ابتدا به ساخت
گردد.
بازگشت
www.MODiRiATMAli.com
35. خصوصيات پايگاه داده
تحليلي
خصوصيات پايگاه داده تحليلی عبارت است از :
يکپارچه: پالايش، سازگار نمودن، همسان سازی و يكپارچه نمودن دادههای استخراج
شده از منابع دادهای مختلف و احتمالا ناهمگون )مثلا سازگاری قوانين نامگذاري(
موضوع گرا: سازمان يافته پيرامون موضوعی خاص، مانند محصول، مشتری و يا
كالا
سرجمع شده: داده های آن تحليلی بوده و برای تصميم گيريها ناسب می باشند.
غير قابل تغيير:عدم وجود عمليات به روزرسانی )تراكنشي( و به كارگيری نوسازی
برای به هنگام سازی )عدم نياز به پردازش تراكنشها، مكانيزمهای ترميم، و كنترل
همزمانی (
در محدودة زمانی مشخص طولانی: محدوده زمانی به مراتب طولانيترنسبت به
سيستمهای عملياتی و وجود صريح يا ضمنی عنصر زمان در هر ساختار كليدي
بسيار حجيم: با توجه به اينکه محدوده زمانی وسيعی را پوشش می دهند، بسيار
حجيم می باشند. بازگشت
www.MODiRiATMAli.com
36. پايگاه داده تحليلی)ادامه(
مديريت
تحليلگر
امور اداری
امور مالی
امور فروش
امور اموال
امور ترابری
پايگاه داده تحليلی
يکپارچه
Enterprise
Data
Marts
بازگشت
www.MODiRiATMAli.com
37. سطوح پايگاه های داده تحليلي
(Enterprise warehouse) سطح كلان
مجموعه اطلاعات همه موضوعاتی كه سازمان را به طور كامل پوشش می دهد.
(Data Mart) سطح خرد
زير مجموعه ای از داده ها در مقياس يك شركت كه به موضوع خاص ی اختصاص دارد.
مستقل و غير مستقل )به طور مستقيم از پايگاه داده تحليلي(
(Virtual warehouse) سطح مجا زی
بر رو ی پايگاه های داده عملياتی (view) مجموعه ای از ديدگاه ها
بازگشت
www.MODiRiATMAli.com
38. ( Data Mining ) داده کاوی
عبارت داده کاوی به فرآيند تحليل نيمه خودکار پايگاه داده های بزرگ، به منظور يافتن الگوهای
مناسباطلاق می گردد.
همانند کشفدانشدر هوشمصنوعی )که آنرا يادگيری ماشين هم می نامند (، يا تحليل آماری،
داده کاوی هم سعی در يافتن قوانين والگوها از داده ها دارد.
داده کاوی از اين جهت که با حجم عظيم اطلاعاتی، که اغلب روی ديسک ذخيره شده است
روبروست، با يادگيری ماشين و آمار متفاوت است.
داده کاو ی با کشفدانشدر پايگاه های داده سر و کار دارد.
بازگشت
www.MODiRiATMAli.com
39. معماری چند لايه
پايگاه داده
تحليلي
استخرا
ج
تغييرش
كل
بارگذا
ري
نوسازي
سروي
س
OLAP
تحليل
داده كاو
ی
پرس وجو
و
گزارش گي
ري
Monitor
&
Integrator
داده ج
انبي
سايرمن
ابع
منابع
داده
ابزارهای سطح بالا
Data Marts
پايگاه ه
ای داده
پايگاه
داده
تحليلی
کاربردها
www.MODiRiATMAli.com
40. A business intelligence environment
داده
عملياتی
پايگاه
داده
تحليلی
تجاری
پايگاه
اطلاعات
تحليلی
تجاری
داده کاوی
استخراج / تکرار
پاکسازی داده
مديريت فرا داده
OLAP / پرس وجو
تقسيم بندی مشتری
تشخيص تقلب
بازار مقصد
پرس و جوهای تجاری
آناليز چندبعدی
...
...
41. Intelligent Decision Support System
سيستم های تصميم يار، سيستم هايی هستند که به مديران درامر تصميم گير ی
کمک می کنند.
OLAP برای اين منظور از تکنيک هايی مانند داده کاوی و سرويس هايی مانند
کمک می گيرند.
از جمله عناصر )OLAP( و پردازش تحليلی بر خط )DW( پايگاه داده تحليلی
ضروری در سيستم های تصميم يار به شمار می آيند.
سيستم های تصميم يار هوشمند، سيستم های تصميم ياری هستند که مبتنی بر
تکنيک های هوشمند اند.
بازگشت
www.MODiRiATMAli.com
42. Intelligent Agent
نرم افزاری است كه عمل می كند و قادر به تأثير گذاری بر (Agent) عامل
محيط است به طوری كه منجر به فعاليت و يا تغييرحالت می شود. همانند يك
فعاليت شيميايي، فيزيكی و يا بيولوژيكی .
عامل ابزاری هوشمند برای رسيدن به هدف است .
عامل خودمختار است و به تنهايی قادر به تصميم گيری است.
عامل عبارت است از موجوديتی كه واكنش دارد و به طور خودمختار كنش
انجام می دهد.
عاملهای هوشمند بايستی قادر به انجام كارها در دنيای واقعی باشند به طوری كه
اعمال هدفداری را انجام دهند و نيز بايستی قادر به زندگی و عمل در دنيای
واقعی باشند
بازگشت
www.MODiRiATMAli.com
43. ويژگی های عامل ها
ويژگی واژه لاتين توصيف مختصر ويژگی
Autonomy خود مختاري
پرداختن به عمل با توجه به هدفتعريفشده بدون فراخوا ني
Situatedness موقيعت گرا
وابسته به محيطو شرايطعملياتي
درك محيطو پاسخ به تغييرات آن Reactive واكنش ی
Pro-active كنش گرا
نمايشرفتارهای هدفمند تعريفشده
Learning يادگيری
تغيير رفتارها بر اساستکرار رفتار
عدم انتقال اطلاعات نادرست Veracity صداقت
Persistency پايداری
دارای اهدافو فرآيندهای ذاتی از پيشتعريفشده
www.MODiRiATMAli.com
44. ويژگی های عامل ها
)ادامه(
Social اجتماعی
همكاری با ساير عامل ها در سيستمهای چند
عامله
تحقق هدف سيستم تا دستيابی به آن بدون
فراخواني
قابليت استدلال در انتخاب عمل Reasoning استدلال
Goal-oriented هدف گرا
امكان تطابق اعمال يك عامل با اهداف كلی
Adaptivity سازگاری
سيستم
حركت
قابليت انتقال از محيطی به محيطی Mobility ديگر نوع
Benevolance دوستي مصالحه در منافع مرتبط با عاملهای همكار
قبول انجام عمل در سيستمهای چند عامله Delegacy نمايندگي
Competency شايستگي
ارزيابی فعاليت انجام شده در تحقق هدف و
تقسيم وظايف در صورت لزوم
www.MODiRiATMAli.com
45. ويژگی های عامل ها
)ادامه(
احساس
Amenability مسئوليت
ارزيابی تحقق هدف سيستم و
ادامه عمل تا تحقق هدف
قدرت
Discourse استدلال
قابليت استدلال در انتخاب عمل
وابسته به محيط
Rationality عقلانيت
اعمال درست برای رسيدن به
اهداف
سيستم
محيط
ورودی
خروجي
S
E
N
S
O
R
E
F
F
E
C
T
O
R
نمايشی از
بعاازمگلشت
46. Knowledge Management System
عبارت است از مبحثی که به اخذ، ساخت، اعتبارسنجی و تأييد دانش می پردازد.
بازگشت
www.MODiRiATMAli.com
47. Supply Chain
حرکت منابع تجاری )مواد و اطلاعات و سرويسها ( از مواد خام واز طريق :Supply Chain
کارخانجات و انبارها تا مشتريان نهايی.
همچنين شامل سازمانها وفرآیندهایی است که این محصولات، اطلاعت و سرویسها را تولید و
تحویل مشتریان نهایی می دهند.
شامل فعالیتهای متعددی ازجمله خرید و فروش و تدارکات وحمل ونقل Supply Chain
واداره و کنترل مواد خام و برنامه ریزی و کنترل تولید و انبار وکنترل لیست اموال و توزیع و
تحویل و...
بازگشت
www.MODiRiATMAli.com
48. Supply Chain Management
شامل: SCM سیستم های
)Inventory management( مدیریتاموال
)Shipping managemen( مدیریتحمل و نقل
)Efficient purchasing( خرید مفید و کارا
(Collaboration along chain) CRM
)Reduce number of intermediaries( همکاری در طول چرخه
مناسباز ابزارهای زير استفاده می کنيم: SCM برای پياده سازی
MRP: توليد+ خريد+ انبارداری
MRP توليد+ خريد+ انبارداری + حقوق + دستمزد+ مالی : 2
ERP: Enterprise همه فعاليتهای زنجيره در رابطه با
بازگشت
www.MODiRiATMAli.com
49. فوايد ساخت سيستم مبتنی
SCM بر
فوايد قابل اندازه گيری )محسوس(:
کارا Supply Chain انجام یک
Supply Chain طراحی، سازماندهی و هماهنگی فعالیتهای
Supply Chain کاهشخطراتو موارد غيرقطعی در
کاهشزمان نگهداری در انبار
کاهشهزينه های مرتبطبا منابع توليد
Ordering بهينه شدن نحوة
فوايد غير محسوس:
انعطافپذيری
کاه ش دوباره کاری ها
کارايی تجاری )که در زمان کوتاه محسوسنيست(
بازگشت
www.MODiRiATMAli.com
50. وعلل آن SCM مشکلات
عبارتند از: SCM مشکلات
عدم قطعيت حقايق،
ثابت نبودن شرط ها،
خرابی ماشين،
نقل و انتقال.
اين مشکلات ناش ی از وابستگی موارد فوق به پارامترهای زير است که همواره در حال تغيير اند:
تقاضا.
توزيع.
کيفيت.
SCM) )کيفيت وتوزيع و تقاضا
بازگشت
www.MODiRiATMAli.com
51. Customer Relationship Management
عبارت است ازمبحثی که موجب بهترين همکاری بين لايه های مختلف يک
سيستم کاربردی از قبيل:
back-offic
front-office
web
می شود.
بازگشت
www.MODiRiATMAli.com
52. ERP (Enterprise Resource Planing)
مجموعه ای از نرم افزارهای کاربردی مورد استفاده در سيستم های عملياتی
مجتمع، به منظور پشتيبانی از پردازش های تجاری عملياتی مبتنی بر معماری
.Enterprise
یک سیستم مبتنی بر کامپیوتر است که تمام شعبات و وظایف یک ERP یک
سازمان را یکپارچه می کند
همه فرآیندهای تجاری مهم را با یک معماری واحد بصورت لحظه به ERP یک
لحظه کنترل می کند.
انتظار می رود راه حل یکپارچه از کارایی تا کیفیت، بهره وری و سود را بهبود بخشد.
بازگشت
www.MODiRiATMAli.com
54. Enterprise Information Management
واحد تجاری
Clien Client Client Client Client Client Clien t
بازار
امور مالی
قيمت گذاری محصول
پشتيبانی مشتری
توزيع
ليست اموال
فروش
IT IT IT IT IT IT IT
واحد تکنولوژی اطلاعات
کنترل , مستندات , جمع آوری , هماهنگی , کشف کردن
ODS
DM
محيط
عملياتی
EDW
OM
BI/DW Databases
مديريت
اطلاعات
Enterprise
محيط پشتيبانی
از تصميم گيری
Operational Systems
بازگشت
www.MODiRiATMAli.com
55. Enterprise Information Management وظايف
معماری سيستم را ارائه می دهد که شامل:
مدل پردازشی
مدل داده
است.
معماری برنامه کاربردی را ارائه می دهد که
شامل:
برنامه کاربردی
پايگاه داده
است.
فراداده را ارائه می کند.
سياست ها را ارائه می کند که شامل:
استانداردها
رويه ها
خط مشی ها بازگشت
www.MODiRiATMAli.com
56. کيفي
ت
داده
؟
کيفيت
داده
داده ها در سيستم های هوش تجاری بايد
باکيفيت باشند.
www.MODiRiATMAli.com
57. خصوصيات داده های با کيفيت
درسيستم های هوش تجاری نياز به داده های با
کيفيت است، داده های با کيفيت دارای خصوصيات
زير می باشند:
صحيح اند.
دقيق اند.
نامتناقض اند.
کامل اند.
قابل جمع شدن اند.
ارزش آنها در راستای قوانين کاربرد است.
ارزش آنها با دامنه ای که برايشان تعريف شده،
مرتبط و متناسب است.
قابل فهم و خوش تعريف اند.
فهرست
www.MODiRiATMAli.com
58. دسته بندی اشکالات کيفی
داده
الف( نقض دامنه:
مقاديرمجازی )پيش فرض(، که موجب از بين
رفتن امکان تحليل می شوند.
مقادير پيش فر ض هوشمند )معنا دار(، که
امکان توليد پرس و جوی مشخص از طرف کاربر
را فراهم نمی آورند.
متغّيربدون مقدار.
فيلدهای چندمنظوره.
داده های رمز شده.
داده های رمز شده چند مقداری.
فهرست
www.MODiRiATMAli.com
متون غير ساختيافته، که بدليل نداشتن
الگوی مشخص غير قابل تجزيه اند.
59. دسته بندی داده های
بدون کيفيت )ادامه(
ب( نقض جامعيت:
داده های با ارزش غلط.
نقض قوانين کاربرد.
عدم استفاده از کليد شناسايی يکتا.
استفاده از کليد شناسايی بطور مجدد.
گم شدن ارتباطات بين داده ها يا وجود
ارتباطات بين داده ای نامناسب و اشتباه.
افزونگی داده.
وجود مقادير متناقض برای يک داده که باعث
اتخاذ تصميمات نادرست می شود. فهرست
www.MODiRiATMAli.com
60. مشخصات سيستِمِ با داده های
بدون کيفيت
يک سيستم با داده های بدون کيفيت دارای علائم
زير است:
نتايج حاصل از نرم افزار برای کاربر قابل
فهم نيست.
قسمتی از داده های ذخيره شده هيچگاه برای
ارائه در گزارشات مورد استفاده قرار نمی
گيرد.
گزارشات در تحليل با نتايج متضاد همراه
است.
داده بصورت اشتراکی استفاده می شود و يا
قابليت به اشتراک گذاشته شدن را دارد.
فهرست
www.MODiRiATMAli.com
ادغام داده ها موجب اختلال درکار سيستم می
61. اثرداده های بدون
کيفيت بر روی سيستم
ارزيابی غلط.
عدم ارزيابي.
صرف زمان اضافی جهت برطرف کردن اشتباهات
رخداده.
صرف هزينه اضافی جهت برطرف کردن اشتباهات
رخداده.
فهرست
www.MODiRiATMAli.com
62. 12 قدم جهت تصحيح داده
1. اطلاع از اشکال
2. قبول مسئوليت
3. تصميم برای تغيير
4. کشف ريشة اشکالات
5. همکاری بين سازمان های توليدکنندة داده برای
رفع مشکل داده
6. شناسايی عامل های تغيير
فهرست
www.MODiRiATMAli.com
63. 12 قدم جهت تصحيح داده
)ادامه(
7. انتقال تکنولوژی تصحيح داده در کل سازمان
8. تهّية برنامة تغيير روية جمع آوری داده،
تصحيح داده، تعمير داده
9. اولوّيت گذاری تغييرات
10 . اجرای برنامه تغيير بر روی اولويت های
تهيه شده و آناليز آن
11 . اندازه گيری اثر برنامة اجرايی
)Plan( 12 . تغيير برنامه کاری
فهرست
www.MODiRiATMAli.com
64. مراحل کاری پاکسازی
داده
1. کشف اشکالات داده ای به صورت تصادفی
2. کشف اشکالات داده ای با آناليز سطحی
3. کشف اشکالات ريشه ای داده
پيشرفته و هوشمند جهت Edit Rule 4. استفاده از
Enterprise Data ( جلوگيری کردن از ورود داده غلط
)Analysis
)Optimise( 5. بهينه کردن داده
فهرست
www.MODiRiATMAli.com
65. دانش
است. BI دانش ورودی اصلی
اطلاعات پردازش
دانش شده
داده داده های مرتبط بهم و با قابليت
اثرگذاری
داده های
مرتبط بهم
و با قابليت
اثرگذاری
فهرست
www.MODiRiATMAli.com
66. منابع دانش
2.86
2.68
2.41
2.36
2.30
2.16
2.07
1.94
1.75
1.68
اموزش حرفه ای
تعامل با مشتری
جستجو در روزنامه ها
تحلیل رقبا
تعامل با تولیدکننده
همایش ها
جستجودربازار
تحلیل تطبیقی
استخدام متخصص
تعامل با دانشگاه
: مقیاس از 0: هرگز تا 4
ا
غالبا
فهرست www.MODiRiATMAli.com
67. انواع دانش
:)Tacit( عمومی
داده ای در پايگاه داده عملياتی . Item قابل فرموله شدن نيست، مانند مشخصات يک
در ذهن انسان ذخيره می شود.
:)Explicit( اختصاص ی
قابل فرموله شدن هست،
قابل ذخيره سازی بر روی رسانه های مختلفهستمانند رويه انجام کار.
در رابطه با دانش های زير ساختی محيط عملياتی است، مانند سطح آمادگی : )Cultural( فرهنگی
يکسازمان برای داشتن يکسيستم مشخص.
فهرست
www.MODiRiATMAli.com
69. ) چرخة حيات دانش ) 2
دانش
جمع آوری
طبقه بندی تشخيص
توزيع
دسترسی
استفاده
توليد
فهرست
www.MODiRiATMAli.com
70. روش های ذخيره سازی
دانش
دانش بطور پراکنده ذخيره می شود و با يکديگر در :Networking Model .1
ارتباطند.
همه دانش را در يک نقطه قرار داده و از آن استفاده :Repository Model .2
می شود.
که در آن دانش های پراکنده بصورت قطب های دانش :Hybrid Model .3
سازمان دهی شده اند.
فهرست
www.MODiRiATMAli.com
71. روش های اخذ دانش
1. مصاحبه
2. پرسش
3. مشاهده
4. روش های فرموله
Machine Learning .5
يک روش برای اخذ دانش :)PKA( Precision Knowledge Aquisition .6
دقيق و صحيح
فهرست
www.MODiRiATMAli.com
73. بر مبنای PKA انجام مراحل
Blackboard استراتژی
1. سازماندهی سيستم انجام کار
2. مواردی که حتما بايد انجام شود
3. محدودة پروژه
4. تأکيد بر روی منابع دانش
5. تخته سياهِ اخذ دانش
6. آماده سازی راه حل ها برای اجرای سيستم
7. سازماندهی دانش
8. حل واقعی مسأله
9. پالايش پايگاه داده
10 . پالايش رويه انجام کار
1
2
3
4
6
8
10
5
7
9
www.MODiRiATMAli.com
74. مديريت دانش
چگونه دانش را دريافت کرده؟ چگونه آنرا ضبط و ذخيره کنيم؟ چگونه بهنگام
کنيم؟ چگونه حذف کنيم؟ و ...
3 موضوع در رابطه با دانش مربوط به يک سازمان توسعه می يابد:
ايجاد يک عقيدة اوليّه( ( Sense Making
ايجاد دانش( ( Knowledge Creative
اتّخاذ تصميم( ( Decision Making
فهرست
www.MODiRiATMAli.com
79. مؤلفه های ايجاد دانش
بازنمايی
توليد
دانش
کارايی
Knowledge Processing
همواره در
رابطه با دانش
مشتری تأمين
کننده
فهرست
همواره در رابطه با مشتری و
تأمين کننده
80. مراحل انجام يک پروژه
مهندسی
هرنوع پروژة مهندسی، مهندسی ساخت يافته مانند
مهندسی نرم افزار، غالبًا در 6 مرحله انجام می
شود:
: مرحله 1
هدف و
منظور
: مرحله 2
طرح ريزی
: مرحله 3
تحليل
تجاری
: مرحله 6
نصب و
استقرار
مرحله
:4
طراحی
مرحله
:5
ساخت
فهرست
81. نقشه راه هوش تجاری
برای برنامه های کاربردی هوش تجاری با
نيازمندی های خاص از جمله استفاده از داده
های غير ساخت يافته مثًلا کاوش در متن و محتوا
و صوت و... نياز به گسترش فعاليت ها و نقش ها
در قالب گام های توليد مناسب است
نقشه راه هوش تجاری اساسًا يک راهنمای چرخة
حيات پروژه برای ايجاد برنامه های کاربردی
تصميم يارهوش تجاری با استفاده از داده های
ساخت يافته است.
فهرست
www.MODiRiATMAli.com
82. نقشة راه توليد يک پروژة
) هوش تجاری) 1
اين نقشه 16 گام برای ساخت يک پروژة هوش
تجاری را بر طبق همان 6 مرحلة انجام هر پروژة
مهندسی که قبًلا ذکر شد، به شرح زير بيان می
کند:
مرحلة هدف و منظور:
گام 1: ارزيابی وضعيت تجاری،
مرحلة طرح ريزی:
،Enterprise گام 2: ارزيابی زير ساخت
گام 3: طرح ريزی پروژه،
مرحلة تحليل تجاری:
گام 4: تعريف نيازمندی های پروژه،
گام 5: تحليل داده،
گام 6: نمونه سازی برنامه کاربردی،
گام 7: تحليل مخزن فراداده،
فهرست
www.MODiRiATMAli.com
83. ) نقشة راه توليد يک پروژة هوش تجاری) 1
مرحلة طراحی:
گام 8: طراحی پايگاه داده،
استخراج/تبديل/بارگذاری( ( ETL گام 9: طراحی
گام 10 : طراحی مخزن فراداده،
مرحلة ساخت:
،ETL گام 11 : توليد
گام 12 : توليد برنامة کاربردی،
گام 13 : داده کاوی،
گام 14 : توليد مخزن فراداده،
مرحلة نصب و استقرار:
گام 15 : پياده سازی،
گام 16 : ارزيابی نسخه.
فهرست
www.MODiRiATMAli.com
84. ارزيابی وضعيت تجاری
در اين گام، مشکل يا موقعيت تجاری تعريف می شود
و يک راه حل تجاری پيشنهاد می شود. هر نسخة
برنامة کاربردی هوش تجاری بايد توجيه اقتصادی
داشته باشد و به طور واضح بايد فوايد آن راه حل
بيان شود.
بازگشت
www.MODiRiATMAli.com
85. Enterprise ارزيابی زير ساخت
برخاسته از ،BI ازآنجائيکه برنامه های کاربردی
تراکنش های بين سازمانی هستند، يک زير ساخت
بايد برای پشتيبانی از آنها ايجاد شود. Enterprise
بعضی از مؤلفه های زيرساخت ممکن است قبل از آغاز
در محل موجود باشند. ساير مؤلفه ها نيز BI پروژة
بايد بعنوان قسمتی از پروژه ، بمرور زمان ساخته
شوند.
دو مؤلفه دارد: Enterprise يک زير ساخت
زيرساخت تکنيکی: که شامل سخت افزار، نرم
افزار، ميان افزار، سيستم مديريت پايگاه داده،
سيستم عامل، مؤلفه های شبکه، انبارهای فراداده
و...
زيرساخت غيرتکنيکی: که شامل بازگشت
استانداردهای
فراداده، www.MODiRiATMAli.com
استانداردهای نامگذاری داده،
متدولوژی ها، رويه های تست، فرآيندهای کنترل
86. )Planing( طرح ريزی پروژه
بسيار پويا هستند، تغييرات BI پروژه های تصميم يار
در دامنه، کارکنان، بودجه، تکنولوژی، تأثير
بسزايی در موفقيت يک پروژه دارند، بنابر اين طرح
ريزی پروژه بايد با جزئيات کامل انجام شود
وپيشرفت واقعی کار بايد بطور دقيق مشاهده و گزارش
شود.
بازگشت
www.MODiRiATMAli.com
87. گام 4 گام 3 گام 2 گام 1
گام 5
گام 6
گام 7
گام 8
گام 16
گام 11 گام 9
گام 10
گام 15
گام 12
گام 13
گام 14
طرح ريزی هدف
ساخت طراحی تحليل تجاری
استقرا
ر
شمای نقشة راه توليد يک پروژة هوش تجاری
فهرست
www.MODiRiATMAli.com
88. اجرای موازی نقشة راه ساخت
BI يک پروژة
حداقل در سه مجموعه وظايف ،BI هر پروژة تصميم يار
موازی که بعد از تعريف نيازمندی های پروژه و قبل
از پياده سازی است اجرا می شوند.
14
11
9 13
8
12
1 3 4
10
2 5 6 7 15 16
زمان
اجرای موازی گام ها
www.MODiRiATMAli.com
89. ملاحظات نقشه راه سيستم های
) هوش تجاری ) 2
شناخت کيفيت داده،
شناخت عدم کيفيت داده،
تصحيح داده ها،
اشتراک گذاری داده ها،
داده به منزله سرمايه تلقی شود،
توليد داده از داده های موجود )يادگيری+
استنتاج(،
استفاده از استانداردها،
کوچک ومحدودنمودن محدودة سيستم ها.
فهرست
www.MODiRiATMAli.com
90. ساختار تيم پروژه
عمودی يا افقی
متمرکز يا غيرمتمرکز: که دربرنامه های مبتنی بر
مؤلفه از ساختار متمرکز استفاده می شود
عمودی متمرکز يا افقی غير متمرکز
پيشنهاد می شود از يک ساختار BI برای يک سيستم
غير متمرکز افقی استفاده شود.
فهرست
www.MODiRiATMAli.com
91. BI ساختار تيم پروژه
رويکرد BI در ساخت يک سيستم مبتنی بر معماری
مبتنی برتوليد اجزا حاکم است، دو تيم بطور
مجزا در اين رابطه مشغول به فعاليت اند:
)Core( تِيم سازنده هسته اصلی سيستم
)Extended( تيم کاربردی نمودن هسته اصلی
فهرست
www.MODiRiATMAli.com
92. تِيم سازنده هسته اصلی
(Core) سيستم
اعضای ثابت اين تيم :
يک نفر مدير پروژه،
يک نفر نماينده تجاری،
تحليلگران از طرف بخش تکنولوژی اطلاعات،
متخصصين از طرف بخش تکنولوزی اطلاعات که
متخصص در امر برنامه نويسی و تجزيه تحليل
سيستم باشد.
بازگشت
www.MODiRiATMAli.com
93. تيم کاربردی نمودن هسته اصلی
(Extended)
اعضای اين تيم نيز دارای مسئوليت هايی در يک
هستند، اما نقش اصلی در راهبری BI پروژة
مراحل پروژه را ندارند، اعضای اين تيم دارای
تخصص های مختلفی هستند و در هر يک از مراحل
انجام پروژه چنانچه به تخصص آنها نياز باشد،
از ايشان برای شرکت در جلسات، دعوت بعمل می
آيد.
بازگشت
www.MODiRiATMAli.com
94. تامين کنندگان عمده
BI/OLAP
Oracle 9i OLAP
SAP BW
Microsoft SQL Server 2000 & Analysis
Services
Hyperion EssbaseIBM
Microstrategy
Cognos
Business Objects
فهرست
www.MODiRiATMAli.com
96. مروری برتعريف پايگاه داده تحليلی
1992 پايگاه داده تحليلی، پايگاه داده ای به منظور تصميم گيری می باشد كه دا رای
خصوصيات غيرقابل تغيير، در يكمحدوده وسيع زماني، يكپارچه و مبتنی بر موضوع می باشد.
1995 مجموعه ای از پايگاه داده های يكپارچه، مبتنی بر موضوع و بهينه طراحی شده برای
پشتيبانی از سيستم های تصميم يار
1996 منبعی كه كاربران نهايی می توانند در آن به داده هايشان دسترس ی پيدا كنند.
1997 مجموعه ای از اطلاعات يكی شده حاصل از سيستم های عملياتی و برخی منابع داده
خارجی با هدفپشتيبانی از تصميم گيريهای تجاري .
PDF مستند
www.MODiRiATMAli.com
97. مروری برتعريف پايگاه داده تحليلی)ادامه(
جامعترين تعريف
منبع داده جمع آوری شده از داده های منابع اطلاعاتی مختلف و حتی ناهمگن
تحت يك ساختار
در يك محدوده وسيع زماني
با هدف پاسخگويی به پرسشهای تحليلی كاربران
فهرست
www.MODiRiATMAli.com
98. تفاوت با پايگاه داده
عملياتي
پوشش دامنه زمانی وسيع تر
يك پايگاه داده يكپارچه حاصل از پردازش چندين پايگاه داده عملياتي
قابليت پاسخگويی به پرسشهای پيچيدة كاربران و برنامه های كاربردي
فهرست
www.MODiRiATMAli.com
99. مشخصات پايگاه داده
تحليلی
مبتنی بر موضوع
سازماندهی داده ها بسته به چگونگی ارجاع كاربران
يكپارچگي
يكپارچه سازی اسامي
يكپارچه سازی واحدهای اندازه گيری متغيرها
يكپارچه سازی ساختارهای داده ای از نظر محدوده ارزشها
حذف ناسازگاريها و اطلاعات متناقض
غير قابل تغيير
داده های فقط خواندني
فهرست
www.MODiRiATMAli.com
100. مشخصات پايگاه داده
تحليلی)ادامه(
محدوده وسيع زماني
90 روز - گستره زمانی 60 محيط های عملياتی
10 سال - گستره زمانی 5 پايگاه داده تحليلی
خلاصه شده
داده های تحليلی مناسب برای تصميم گيريها بر اساس اهداف تعيين شده
حجيم
به علت محدوده وسيع زماني
نرمال نشده
امكان وجود افزونگي
www.MODiRiATMAli.com
101. انواع داده در پايگاه داده تحليلی
داده جاري
داده های فعلی منابع عملياتي
داده قديمي
داده های قديمی منابع اطلاعاتي
داده خلاصه شده
داده های نتيجه شده از داده های موجود وپردازش های مرتبط
فراداده
اطلاعات مربوط به داده ها
ديكشنری از اطلاعات پايگاه
راهنمايی جهت نگاشت داده از محيط عملياتی به محيط پايگاه داده تحليلی
قواعد استفاده شده برای خلاصه سازي
فهرست
www.MODiRiATMAli.com
102. Data Warehouse Process
DATA SOURCES STAGING AREA DATA WAREHOUSE DECISION SUPPORT
Application
Databases
Packaged
application/ERP
Data
Desktop Data
External Data
Web-based Data
_________
_________
_________
_________
_________
_________
Reports
INCOME ANNUAL REPORT
___ ___ ____ _____ ___ __
___ ___ ____ _____ ___ __
___ ___ ____ _____ ___ __
EIS
OLAP
Statistical & Financial
Analysis
EXTRACTION
TRANSFORMING
CLEANING
AGGREGATION
DATA
WAREHOUSE
DATA
MARTS
OR
www.MODiRiATMAli.com
103. Data Warehouse Process
DATA SOURCES STAGING AREA DATA WAREHOUSE DECISION SUPPORT
Application
Databases
Packaged
application/ERP
Data
Desktop Data
External Data
Web-based Data
_________
_________
_________
_________
_________
_________
Reports
INCOME ANNUAL REPORT
___ ___ ____ _____ ___ __
___ ___ ____ _____ ___ __
___ ___ ____ _____ ___ __
EIS
OLAP
Statistical & Financial
Analysis
EXTRACTION
TRANSFORMING
CLEANING
AGGREGATION
DATA
WAREHOUSE
DATA
MARTS
OR
www.MODiRiATMAli.com
104. تعريف هوش تجاری از منظر پايگاه داده تحليلی
پايگاه داده تحليلی در هوش تجاری، امكان بررسی و مطالعه رفتارها و کنش های
به منظور درک موقعيت قبلی سازمان، تعيين وضعيت Enterprise گذشته يك
جاری آن و پيش بينی يا تغيير آنچه که در آينده اتفاق خواهد افتاد، را فراهم می
نمايد.
فهرست
www.MODiRiATMAli.com
105. سير تکاملی تکنولوژی های هوش تجاری
سطح
پيچيدگی
اواسط دهه
1980
اوايل دهه
1990
CIF CIF
داده کاوی و ادكاتدشها فکاوی و اكتشاف
اواسط دهه
1990
اواخر دهه
1990
?
داده کاوی و اكتشاف
اوايل دهه
2000
پرس و جوها،
گزارشات و
EIS
داده کاوی
تحليل
چند بعدی
(OLAP)
برنامه های کاربردی
CRM : تحليلی سفارشی
پرس و جوها،
گزارشات و
EIS
پرس و جوها،
گزارشات و
EIS
پرس و جوها،
گزارشات و
EIS
پرس و جوها،
گزارشات و
EIS
تحليل
چند بعدی
(OLAP)
تحليل
چند بعدی
(OLAP)
تحليل
چند بعدی
(OLAP)
IDSS
برنامه های کاربردی
CRM : تحليلی سفارشی
تحليل
چند بعدی
(OLAP)
پرس و جوها،
گزارشات و
EIS
اواسط دهه
2000
www.MODiRiATMAli.com
106. The Corporate Information Factory (CIF)
يکی از عمده ترين پيشرفت ها در طی 10 سال گذشته معرفی يک
معماری مقبول در سطح گسترده برای پشتيبانی از هرنوع تقاضای
تکنولوژيکی هوش تجاری بوده است.
Executive Information ( EIS اين معماری نشان داد که راه کار
کمبود های عمده متعددی دارد. )system
وجود دارد را از بين برد. EIS كمبود اخذ از يك منبع كه در CIF
نوعی معماری است که امروزه در اکثر محيط های تصميم يار CIF
مورد استفاده قرار می گيرد.
فهرست
www.MODiRiATMAli.com
107. ادامه( ( CIF
را با دوراه کار زير برطرف می کند: EIS اين كمبود CIF
تفکيک داده به 5 پايگاه داده عمده، اين 5پايگاه داده عبارتند از:
،(The Operational System Databases) پايگاه های داده سيستم اجرايی
،(Data warehouse) پايگاه داده تحليلی
،(The Operational Data Store) انباره داده اجرائی
،(Data Marts) پايگاه های داده تحليلی خرد
.(Oper Marts) پايگاه های داده عملِياتی خرد
يکپارچه سازی فرآيندها به منظور انتقال کارا و موثر داده از سيستم های منبع به کاربران
تجاری.
فهرست
www.MODiRiATMAli.com
108. ادامه( (CIF
يک معماری ادراکی پذيرفته شده )در سطح وسيع( است که انباره های CIF
اطلاعاتی ای که در اجرا و مديريت يک زيرساخت محکم و موفق هوش تجاری
مورد استفاده قرار می گيرند، را توصيف و طبقه بندی می کند.
اين انباره های اطلاعاتی سه فرايند سازمانی سطح بالا را پشتيبانی می کنند که
عبارتند از:
با عمليات روزانه و جاری تجاری در :)Business operations( عمليات تجاری
ارتباطند.
با جستجوی مداوم برای درک بهتر :)Business intelligence( هوش تجاری
شرکت، محصولات آن و مشتريانش در ارتباط است. فرآيندهای عمليات تجاری ايستا
هستند، در حاليکه هوش تجاری علاوه برفرآيندهای ايستا، شامل فرآيندهايی است که
همواره در حال تکامل اند.
فهرست
www.MODiRiATMAli.com
109. ادامه( ( CIF
فرآيندی است که در آن دانشها و :)Business management( مديريت تجاری
بينشهای جديدی که در هوش تجاری ايجاد می شوند، در عمليات تجاری روزانه در
معرفی و اجرا می شوند، مديريت تجاری تصميمات تاکتيکی که Enterprise سرتاسر
يک سازمان اتخاذ می کند را در بر می گيرد.
فهرست
www.MODiRiATMAli.com
110. CIF مولفه های
به دو گروه عمده تقسيم می شوند: CIF مؤلفه های
كه شامل فرآيندها و پايگاه های داده ای است كه درگير اخذ :(Getting Data In) دريافت داده
داده از سيستم های اجرائي، يكپارچه سازی آن، پاكسازی آن و قرار دادن آن در يك پايگاه داده
برای استفاده آسان هستند و عبارتند از:
،(The Operational System Databases) پايگاه های داده سيستم اجرايی
،(Data warehouse) پايگاه داده تحليلی
،(The Operational Data Store) انباره داده اجرائی
.(Data Acquisition) اخذ دانش
فهرست
www.MODiRiATMAli.com
111. CIF مولفه های
که شامل :(Getting Information Out) پس دادن اطلاعات
فرآيندها و پايگاه های داده ای است که درگير
ارائه هوش تجاری به مشتريان تجاری نهايی يا
تحليل گران اند و عبارتند از:
،(Data Marts) پايگاه های داده تحليلی خرد
،(Oper Marts) پايگاه های داده عمِلياتی خرد
.(Data delivery) داده رسانی
فهرست
www.MODiRiATMAli.com
112. ملاحظاتی كه در طراحی يك پايگاه داده تحليلی بايد لحاظ كرد
اگر بناست كه پايگاه داده تحليلی به عنوان يك انباره تاريخچه و سابقه ثابت و پايدار در برنامه
های كاربردی استراتژيك هوش تجاری مورد استفاده قرار گيرد، بايد خصوصيات زير را دارا
باشد:
باشد: پايگاه داده تحليلی بايد منبع تغذيه پايگاه های داده خرد و و Enterprise focused بايد
برنامه های كاربردی تحليلی باشد.
طراحی پايگاه داده تحليلی بايد در مقابل تغييرات، تا حد ممكن انعطافپذير باشد:
از آنجائيكه پايگاه داده تحليلی برای ذخيره سازی داده های حجيم و مربوط به محدوده زمانی طولانی
مورد استفاده قرار می گيرد، بسيار نامطلوب است كه داده از داخل پايگاه داده تحليلی برداشته و
ا
دوباره طراحیشود و
مجددا در داخل ان بار گذاری شود،
به منظور جلوگيری از انجام اين كار بايد به فكر يك مدل داده ای مستقل از پردازش، برنامه كاربردی و
تكنولوژی هوشتجاری بود.
هدف بايد توليد يك مدل داده ای باشد كه بتواند به آسانی خود را با عناصر داده ای جديد وفق دهد
بدون نياز به طراحی مجدد ساختار يا مدل داده ای موجود.
www.MODiRiATMAli.com
113. ملاحظاتی كه در طراحی يك پايگاه داده تحليلی بايد لحاظ كرد
بايد بگونه ای طراحی شود كه بتواند حجم وسيعی از داده را در زمان كوتاهی در خود بارگذاری
كند.
بايد بگونه ای طراحی شود كه قابليت پشتيبانی از هر نوع تحليل هوش تجاری با هر نوع
تكنولوژی را داشته باشد.
فهرست
www.MODiRiATMAli.com
114. ملاحظات ساخت پايگاه داده تحليلی
ابتدا مسأله تجاری كه بايد به كمك يك قابليت هوشتجاری حل شود، انتخاب و مستندسازی
می شود.
جمع آوری همه نيازمنديها در رابطه با هدف
سيستم. )Gain( تصميم گيری در مورد تكنولوژی مورد استفاده توسطكاربر نهايی كه بتواند راه حل پيشنهادی را
پشتيبانی كند.
ساختيك مدل اوليه از پايگاه داده تحليلی خرد به منظور تستكارايی آن و طراحی مجدد آن در
صورت لزوم.
ساخت مدل داده ای پايگاه داده تحليلی براساسنيازهای كاربر و مدل داده ای تجاري .
ا
نگاشت نيازهای پايگاه داده تحليلی خرد بر مدل داده ای پايگاه داده تحليلی و نهاي
تا گرفتن
بازخورد از سيستم های اجرايي.
www.MODiRiATMAli.com
115. ملاحظات ساخت پايگاه داده تحليلی )ادامه(
و فرايندهای ارائه داده. ETL توليد كد برای انجام
تست پايگاه داده تحليلی خرد و اندازه گيری پارامتر های كيفی داده و ايجاد پايگاه داده تحليلی
خرد مناسب برای محيط.
قبول سيستم و تبديل نخستين نسخه پايگاه داده تحليلی و پايگاه داده تحليلی خرد به محصول
و شروع به طرح ريزی برای نسخه بعدي.
فهرست
www.MODiRiATMAli.com
116. مراحل ساخت پايگاه داده تحليلی
)ETL( آماده سازی
استخراج داده
پاكسازی داده
بايگانی كردن داده قبل و بعد از پاكسازي
)Integrity( يكپارچگي
تطبيق داده و يكپارچگی چند منبع داده اي
تحليل سطح بالا
ايجاد پارامترهای تحليلي محاسبه ديدهای تحليلی از ديدهای پايه
خصوص ی سازي
ايجاد پايگاه داده تحليلی خاص استخراج و خصوص ی سازی اطلاعات
www.MODiRiATMAli.com
117. پايگاه داده تحليلي )Back-End( ابزار های سطح پايين
استخراج داده
داده ها را از منابع مختلف، ناهمگون و خارجی می گيرد
پالايش داده
خطاها را در داده تشخيص می دهد و در صورت امكان تصحيح می نمايد.
تغيير شكل و تبديل داده
داده را از فرمت و قالب ميزبان به قالب مخزن تبديل می كند.
بارگذاري
مرتب سازي، خلاصه سازي، سرجمع كردن، محاسبه ديدگاه ها، تست يكپارچگي، ساخت انديس ها
و پارتيشن ها.
نوسازي
انتشار تغييرات از منابع داده به مخزن
بازگشت
www.MODiRiATMAli.com
118. يكپارچه سازی داده ها
تركيب داده های دريافتی از منابع اطلاعاتی مختلف
استفاده از فرا داده ها برای شناسايی و حذف افزونگی داده ها
تشخيص و رفع برخوردهای داده ای
يکپارچه سازی داده ها از سه فاز کلی تشکيل شده است:
شناسايی فيلدهای يکسان
شناسايی افزونگی های موجود در داده های ورودی
مشخص کردن برخورد های داده ای
بازگشت
www.MODiRiATMAli.com
119. تبديل داده ها
در اين فاز، داده های ورودی طی مراحل زير به شكلی كه مناسب عمل داده کاوی باشند، در می آيند:
از بين بردن نوي زهای داده ها
تجميع داده ها
کلی سازی
نرمال سازی
افزودن فيلدهای جديد
بازگشت
www.MODiRiATMAli.com
120. تبديل داده ها - ادامه
از بين بردن نويزهای داده ای : منظور از داده های نويزي، داده هايی هستند که در خارج از بازه مورد
نظر قرار می گيرند.
برای اصلاح داده های نويزی از روشهای زير استفاده می شود:
استفاده از مقادير مجاور برای تعيين يکمقدار مناسببرای فيلدهای دارای نويز
دسته بندی داده های موجود و مقداردهی فيلد دارای داده نويزی با استفاده از دسته نزديکتر
ترکيبروشهای فوق با ملاحظاتانسانی
بازگشت
www.MODiRiATMAli.com
121. تبديل داده ها - ادامه
تجميع داده ها: تجميع داده ها به معنی بدست آوردن اطلاعات جديد از ترکيب داده های موجود می باشد.
کلی سازي : کلی سازی به معنی دسته بندی داده های موجود براساس ماهيت و نوع آنها است.
نرمال سازي : منظور از نرمال سازي، تغيير مقياس داده ها است.
افاازودن فيلااادهای جديااد: گااااهی اوقااات بااارای سااهولت عمااال داده کاااوی مااای تااوان فيلااادهايی بااه مجموعاااه فيلااادهای
موجود اضافه کرد .
بازگشت
www.MODiRiATMAli.com
122. کاهش داده ها
شامل تکنيکهايی برای نمايش کمينه اطلاعات موجود است.
اين فاز از سه بخش تشکيل می شود:
کاهش دامنه و بعد: فيلدهای نامربوط، نامناسب و تکراری حذف می شوند.
فشرده سازی داده ها: از تکنيکهای فشرده سازی برای کاهش اندازه داده ها استفاده می شود.
کدکردن داده ها: داده ها در صورت امکان با پارامترها و اطلاعات کوچکتر جايگزين می شوند.
www.MODiRiATMAli.com
123. (Refreshment) نوسازی داده در پايگاه داده تحليلی
نظارت بر داده های منابع مختلف
استخراج تغييرات
تغيير شكل داده های استخراج شده به شكل تعريف شده در پايگاه داده تحليلی
يكپارچه كردن اطلاعات
پاك سازی داده های عملياتي
نتيجه گيری داده های جديد
ايجاد تاريخچه برای داده ها
بارگذاری در پايگاه داده تحليلی
بازگشت
www.MODiRiATMAli.com
124. نوسازی داده...)ادامه(
تقسيم بنديهای پايگاه داده تحليلی براساس سرعت نوسازی داده
كلاس اول
چند ثانيه پس ار بهنگام سازی منبع داده بروز می شوند.
اجرای تراكنشهای كمی در زمان انتقال داده از محيط عملياتی به پايگاه داده تحليلی
كلاس دوم
ذخيره داده های يكپارچه و جمع شده در منبع داده مياني
انتقال به پايگاه داده تحليلی به طور متناوب)هر چند ساعت يكبار(
كلاس سوم
آسنكرون
بروز رسانی طولانيتر )روزانه يا ماهانه(
www.MODiRiATMAli.com
125. مشكلات نوسازی داده
حجم زياد داده های ذخيره شده
انتشار تغييرات در هنگام نوسازی داده
نوسازی داده مستلزم اجرای ميزان كاری با پيچيدگی های متفاوت است.
باعث كارايی مختلفی بسته به سطح معماری می شود.
ممكن است به طور همزمان با پردازش پرسشها انجام شود.
كاهش زمان نوسازی داده افزايش در دسترس بودن
بازگشت
www.MODiRiATMAli.com
126. خصوصيات مدل داده ای پايگاه داده تحليلی
)No redundant( عدم وجود افزونگی
)Stable( پايداری
)Consistency( سازگاری
)Flexibility( انعطاف پذيری
www.MODiRiATMAli.com
127. معماری پايگاه داده تحليلی
معماری يك پايگاه داده تحليلی شامل سه لايه می باشد:
لايه زيرين، منابع اوليه داده را تشكيل می دهد. اين لايه شامل پايگاه های داده رابطه اي، فايل های
مسطح و منابع ديگر است.
لايه ميانی را خود پايگاه داده تحليلی و سرويس دهنده های پردازش تحليلی برخط تشكيل می دهند.
سرويس دهنده های پردازش تحليلی بر خط، داده چند بعدی را برای ارائه به كاربران نهايی در اختيار قرار
می دهند.
لايه انتهايي، سرويس گيرنده ها هستند كه با عمليات داده كاوي، پرس و جو و تحليل، داده را از سرويس
دهنده های پردازش تحليلی بر خط می گيرند.
www.MODiRiATMAli.com
128. سرويس دهنده های پردازش تحليلی بر خط
سرويس دهنده های پردازش تحلیلی بر خط كه در لايه ميانی معماری پايگاه داده تحليلی قرار
دارند، سه نوع هستند:
Relational OLAP ) پردازشتحليلی برخطرابطه اي ( ROLAP
Multi-dimensional OLAP ) پردازشتحليلی برخطچندبعدي (MOLAP
Hybrid OLAP ) پردازشتحليلی برخطتركيبي (HOLAP
بازگشت www.MODiRiATMAli.com
129. ROLAP
از نوع توسعه يافته ای از سيستم های مديريت پايگا ههای داده رابطه ای استفاده ،ROLAP يك سرويس دهنده
مي كند.
پردازشتحلیلی بر خطرابطه ای براساسنوع ارتباطجدول واقعيتبا جداول بعد به اشكال مختلفی مدل می شوند
اين سرويسدهنده، ساختارهای شامل جداول واقعيت و جداول بعد را با استفاده از جداول و رابطه های بين انها
پياده سازی می كند.
SQL بر رو ی داده های چندبعدی را به عمليات رابطه ای استاندارد و دستورات OLAP عمليات ،ROLAP در واقع
نگاشتمي كند.
بازگشت www.MODiRiATMAli.com
130. MOLAP
ديدگاه چند بعدی از داده را مستقيما به ساختارهای MOLAP سرويس دهنده
آرايه ای نگاشتم ينمايد.
يكپايگاه داده تحليلی چندبعدی داده را به شكل يك مكعبدادهمي بيند
بازگشت www.MODiRiATMAli.com
131. HOLAP
را بايكديگر تركيبمي كند. MOLAP و ROLAP نيز HOLAP
برای داده های مربوط به سابقه و تاريخچه استفاده ROLAP به عنوان مثال از
MOLAP مي شود، در حالی كه، داده هايی كه به تناوب مورد دسترس ی هستند، در يك
جداگانه نگهدا ری مي شوند.
بازگشت www.MODiRiATMAli.com
132. OLAP مزايا و معايب سرويس دهنده های
برای مجموعه داده های بزرگ مناسب تر هستند زيرا در صورت وجود : ROLAP مزايا و معايب
پراكندگی در داده، مجموعه داده های پراكنده در جدول ها فشرده تر از آرايه ها ذخيره می شوند.
زمانی كه داده ها پراكنده باشند با مشكل كمبود حافظه روبرو می ش ود. ولی :MOLAP مزايا و معايب
MOLAP در مورد مجموعه داده های كوچك كه پراكندگی در انها كمتر است، سرعت بازيابی در
بيشتر می باشد. از طرفديگر اين نوع سرويسدهنده ها به ديدگاه ذهنی كاربر نزديكتر هستند.
www.MODiRiATMAli.com
133. مدل مفهومی پردازش تحليلی بر خطرابطه ای
پردازش تحلیلی بر خط رابطه ای براساس نوع ارتباط جدول واقعيت با جداول بعد به اشكال مختلفی مدل می
شوند.
در اين مدل, يك جدول واقعيت وجود دارد كه همه جداول بعد به آن متصل مي شوند.در اين مدل, جدول واقعیت :Star Schema
وسيله اتصال همه جداول بعد و نگهدارنده ساير مقادير اندازه گي ری است.
دانه برفي(: اين مدل در واقع اصلاح شده مدل ستاره ای است, به نحوی كه در آن برخی از سلسله ( Snow Flake Schema
مراتب ابعاد به مجموعه جداول بعد كوچكتر نرمال مي شوند و شكلی شبيه دانه برف پيدا مي كنند.
شمای منظومه اي(: در اين مدل چندين جدول واقعيت، جداول بعد را به اشتراك مي گذارند كه (Fact Constellation Schema
در واقع به صورت چندين شبكه ستاره ای ديده م يشوند. به همين دليل, اين مدل را مدل كهكشانی يا منظومه ای مي نامند.
بازگشت www.MODiRiATMAli.com
134. Star Schema مثالی از مدل
time
time_key
day
day_of_the_week
month
quarter
year
item
location
location_key
street
city
state_or_province
country
Sales Fact Table
time_key
item_key
branch_key
location_key
units_sold
dollars_sold
avg_sales
Measures
item_key
item_name
brand
type
supplier_type
branch
branch_key
branch_name
branch_type
بازگشت
135. Snow Flake مثالی از مدل
time
time_key
day
day_of_the_week
month
quarter
year
item
location
location_key
street
city_key
Sales Fact Table
time_key
item_key
branch_key
location_key
units_sold
dollars_sold
avg_sales
Measures
item_key
item_name
brand
type
supplier_key
branch
branch_key
branch_name
branch_type
supplier
supplier_key
supplier_type
city
city_key
city
state_or_province
country
بازگشت www.MODiRiATMAli.com
136. Fact Constellation Schema مثالی از مدل
time
time_key
day
day_of_the_week
month
quarter
year
item
location
location_key
street
city
province_or_state
country
Sales Fact Table
time_key
item_key
branch_key
location_key
units_sold
dollars_sold
avg_sales
Measures
item_key
item_name
brand
type
supplier_type
branch
branch_key
branch_name
branch_type
Shipping Fact Table
time_key
item_key
shipper_key
from_location
to_location
dollars_cost
units_shipped
shipper
shipper_key
shipper_name
location_key
shipper_type
بازگشت www.MODiRiATMAli.com
137. مكعب داده
يكپايگاه داده تحليلی برپايه مدل چندبعدی داده استكه داده را به شكل يك مكعبدادهمي بيند
يك مكعب داده مانند فروش اجازه مي دهد كه داده ها در ابعاد مختلفمدل شوند و از ديدگاه های مختلفمور د
بررس ی قرار گيرند.
در ادبيات پايگاه های داده تحليلي، يكمكعبداده كه در سطوح مختلفخلاصه سازی شده است، يك مکعبواره
ناميده م يشود. با داشتن يك سری ابعاد می توان يك شبکه از مكعب واره ها ساخت كه هر يك از آنها يك سطح
خلاصه سازی از داده را نشان می دهند.
مكعب واره ای كه پايين ترين سطح خلاصه سازی را دارد، مكعب واره پايه ناميده می شود و مكعب واره ای كه
بالاترين سطح خلاصه سازی را دارد، مكعبواره راسناميده می شود. يك شبكه از مكعب واره ها يكمكعبداده را
تشكيل می دهند
بازگشت www.MODiRiATMAli.com
138. نمونه ای از مكعب داده
مجموع سالانه فروش
تلويزيون در آمريكا زمان
كشور
مجموع
مجموع
تلويزيون
كامپيوتر
ويدئو
زمستان پائيز تابستان بهار
آمريكا
كانادا
مكزيك
مجموع
www.MODiRiATMAli.com
139. تاریخ
مفهوم مکعب داده
منطقه
محصول
محصول - شکلات
تاریخ – 23 فروردین
منطقه – جنوب شرق
مقدار - فروش
چه مقدار شکلات در منطقه جنوب شرق در تاریخ 23 فروردين به فروش رسیده است؟
140. شبكه ای از مكعب واره ها
سراسر
شعبه مكان آيتم زمان
زمان, آيتم
زمان, مكان
زمان, شعبه
آيتم, مكان
آيتم, شعبه
مكان, شعبه
زمان, آيتم, مكان
زمان, آيتم, شعبه
زمان, مكان, شعبه
آيتم, مكان, شعبه
زمان, آيتم, مكان, شعبه
مكعب واره صفر بعدی )راس(
مكعب واره يك بعدي
مكعب واره دو بعدي
مكعب واره سه بعدي
مكعب واره چهار بعدی )پايه( بازگشت
141. جدول واقعيت
يك جدول واقعيتمرك زی شامل واقعيت ها و كليدهای مرتبط با هر يك از جداول بعد است. واقعيت ها، مقياس
dollars_sold های عددی هستند كه رابطه بين ابعاد با آنها بيان می شود مانند
شمارش ي، پيوسته
پاسخ هر پرسش شامل بازيابی تعداد زيادی ركورد از جدول واقعيت است.
كليد اصلی هر جدول، تركيب كليدهای خارجی جداول ابعاد می باشد.
Item-id
Store-id
Customer-id
Date
Number
price
بازگشت www.MODiRiATMAli.com
142. جدول ابعاد
جداول ابعاد
ا
مثلا ديدگاه هايی كه يكسازمان به ركوردهايشدارد را نگهداری می كنند.
item (item_name, brand, type)
time(day, week, month, quarter, year)
توصيف متنی بعدهای تجارت
ويژگيها متنی و گسسته هر بعد دارای چند ويژگی پايگاه داده خوب
Item-id
Itemname
color
size
category
Store-id
City
state
country
Customer-id
Name
street
city
state
zipcode
country
Date
Month
quarter
year
بازگشت www.MODiRiATMAli.com
143. داده های چندبعدي
ارزش جنس فروش ی، تابعی از محصول و منطقه و ماه است.
محصول
ماه
ابعاد: محصول و مکان و زمان
مسيرهای خلاصه سازی
افقی:
Industry Region Year
Category Country Quarter
Product City Month Week
Office Day
www.MODiRiATMAli.com
144. مراجع
Larissa T. Moss, “Improving Data Quality: Why is it so difficult?”
“Data Warehousing/Business Intelligence”, Available in www.eforceglobal.com
Paul Balacky & Richard Fayers, “A Presentation on Business Intelligence“, June 10th 2003
A Presentation on BI: “Business Intelligence: Data Warehousing, Data Acquisition, Data Mining, Business Analytics, and isualization”
A Presentation on BI: “Enterprise Information Systems”
A Presentation on BI:”ETL”, www.ds.uillinois.edu
Chun Wei Choo, “Knowledge Management and The Knowing Organization”, Faculty of Information Studies, University of Toronto,
http://choo.fis.utoronto.ca
Fosca Giannotti, Dino Pedreschi, “Tecniche di Data Mining”, http://www-kdd.cnuce.cnr.it/
Ora Fish, “Data Warehousing: Changing Campus Culture ”, Rensselaer Polytechnic Institute
Dr. Silke Schoenert, “Knowledge Management and Project Management” , University of Koblenz-Landau, Germany, schoen@uni-koblenz.
de
فهرست www.MODiRiATMAli.com