داده کاوی چیست؟

تغییر روند توجه سازمان‌ها از منابع مالی به سرمایه‌های انسانی، فراهم آمدن زمینه‌های تراکم و حتی انفجار اطلاعات از طریق فن‌آوری اطلاعات و ارتباطات در سازمان‌ها، الزام و اهمیت مدیریت دانش را بیش از گذشته به رخ کشیده است.
استخراج اطلاعات مناسب از میان انبوه داده‌ها و تبدیل آنها به دانش مورد نیاز سازمان، به‌ویژه در تصمیم‌گیری‌های سازمانی و دیدن آینده درست نیازمند استفاده از روش‌های نوین در این حوزه است. داده‌کاوی یکی از این ابزار و رویکردهاست که در فضای مدیریت دانش سازمان‌ها به کشف دانش از پایگاه داده‌ها کمک می‌کند.
مدیریت دانش
امروزه در عصر یادگیری، کارکنان از ارزشمندترین منابع سازمان به‌شمارمی‌آورند. کارکنان، حجم عظیم داده‌ها، اطلاعات و دانش سازمان را تولید کرده و به‌کار می‌بندند. از این‌رو در سازمان‌های نوین، همکاری مدیریت دانش و مدیریت منابع انسانی، به امری ضروری تبدیل شده است. مدیریت دانش، رویکردی سیستمی و یکپارچه است که تمامی دارایی‌های اطلاعاتی سازمان، اعم از: مستندات، پایگاه داده‌ها، خطی‌مشی‌ها، رویه‌ها و تجربیات کارکنان و سازمان را در برمی‌گیرد و به اشتراک می‌گذارد.
مدیریت دانش، سکوی تسهیل کننده استخراج، ذخیره‌سازی، یکپارچه سازی، انتقال، مشاهده، تجزیه و تحلیل و استفاده از دانش در سازمان است. مدیریت دانش به منظور حفظ، تجزیه و تحلیل، سازماندهی، بهبود و تسهیم تجارب کسب و کار، به‏عنوان ابزار، روش و راهبرد در سازمان به‏کارمی‌رود. در واقع، مدیریت دانش متدولوژی استخراج سیستمی و استفاده از دانش در سازمان است که از طریق همین دانش و سرمایه فکری، ثروت و ارزش می‏آفریند. در نگرش سیستمی به مدیریت دانش، سه مولفه اصلی: منابع انسانی، فرایندها و فن‌آوری دخالت و با یکدیگر همپوشانی دارند.
نسبت مدیریت دانش و داده‌کاوی
برای به‌کارگیری مدیریت دانش در سازمان، از ابزار متفاوتی استفاده می‌شود که یکی از مهم‌ترین آنها، داده‌کاوی است. هنگامی که طراحی مجدد فرآیندهای کسب و کار (BRP) مورد نظر است، داده‌کاوی به عنوان تکنیک، در خدمت مدیریت دانش قرار می‌گیرد. در هر بنگاه صنعتی، اقتصادی و تجاری نیز دانش با ارزش در مورد مشتری، محصول و بازار را می‌توان از طریق داده‌کاوی به‌دست آورد. با بزرگ‌تر شدن حجم داده‌ها و اطلاعات سازمان‌ها، اهمیت این مسئله روزبه‌روز بیشتر می‌شود. هنگامی که حجم داده‌ها زیاد است، برای مدیریت آنها از سیستم‌های پایگاه داده‌ها
(DBS/DBMS) استفاده می‌شود. در حالت زیاد بودن حجم داده‌ها، داده‌کاوی برای استخراج و به دست آوردن دانش به‌کار می‌آید. هنگامی که حجم دانش زیاد است، از سیستم مدیریت دانش (KMS) استفاده می‌شود.
داده‌کاوی
پیشینه طرح موضوع داده‌کاوی به دهه ۱۹۸۰ و به صورت جدی، به دهه ۱۹۹۰ برمی‌گردد. پیش از آن از سیستم‌های جمع‌آوری و مدیریت داده‌ها و اصطلاحا لایروبی داده‌ها استفاده می‌شد، اما به مرور زمان، استخراج و کشف سریع و دقیق اطلاعات با ارزش و پنهان از پایگاه داده‌ها، به عنوان داده‌کاوی مورد توجه قرار گرفت. به این شکل بود که فرایند داده‌کاوی به عنوان فرایند آماری و تجزیه و تحلیل در فرایند کشف دانش در پایگاه داده‌ها (KDD) پررنگ شد، به حدی که گاه، داده‌کاوی (DM) به عنوان مترادف کشف دانش در پایگاه داده‌ها (KDD) مورد استفاده قرار می‌گرفت. امروزه فرآیند استخراج اطلاعات معتبر، از پیش ناشناخته، قابل فهم و قابل اعتماد از پایگاه داده‌های بزرگ و استفاده از آن در تصمیم‌گیری و در فعالیت‌های تجاری «داده‌کاوی » نامیده می‌شود.
در تعاریف متعدد و متنوع برای داده‌کاوی بر موضوعاتی نظیر: استخراج دانش کلان، کاوش در داده‌ها، تجزیه و تحلیل داده‌ها و یافتن روابط و الگوهای مطمئن بین داده‌ها تاکید می‌شود. هدف نهایی داده‌کاوی، ایجاد سیستم‌های پشتیبانی تصمیم‌گیری سازمانی است. داده‌کاوی، به استخراج اطلاعات مفید و دانش ا ز حجم زیاد داده‌ها می‌پردازد. داده‌کاوی، الگوهای حاوی اطلاعات را در داده‌های موجود جست‌وجو می‌کند. این الگوها و الگوریتم‌ها، می‌توانند توصیفی باشند، یعنی داده‌ها را توصیف کنند و یا جنبه پیش‌بینی داشته باشند، یعنی متغیرها برای پیش‌بینی ارزش‌های ناشناخته سایر متغیرها به‌کار روند. داده‌کاوی توصیفی، به دنبال یافتن اگرها در فعالیت‌ها یا اقدامات گذشته است و داده‌کاوی پیش بینانه با نگاه به سابقه، رفتار آینده را پیش‌بینی می‌کند.
داده‌کاوی چیست و چه نیست
موارد زیر در حوزه داده‌کاوی قرار می‌گیرند:
استخراج یا کاوش دانش از میان حجم عظیم داده‌ها ، استخراج اطلاعات و مدل کردن الگوهای پنهانی در میان انبوه داده‌ها، استخراج اطلاعات غیر منتظره، ناشناخته و بالقوه مفید از داده‌ها، استخراج اطلاعات یا الگوهای مفید و جالب از داده‌ها در پایگاه داده‌های بزرگ.
موارد زیر در محدوده داده‌کاوی قرار نمی‌گیرند:
انبارش داده‌ها، پردازش قیاسی داده‌ها ، سیستم‌های خبره (ES) ، فرایند تجزیه و تحلیل مستقیم ، ابزار تجزیه و تحلیل آماری ، مشاهده‌گری داده‌ها.
حوزه‌های داده‌کاوی
داده‌کاوی در سه حوزه مستقل به‌کار می‌رود و در آنها ریشه دوانده است:
۱٫ آمار کلاسیک و الگوهای آماری
۲٫ هوش مصنوعی
۳٫ یادگیری خودکار و شبکه‌های عصبی
در داده‌کاوی، هوش مصنوعی، یادگیری خودکار، تئوری پایگاه داده‌ها و علم آمار در هم آمیخته شده است. برای انجام داده‌کاوی از ابزار مختلف نظیر: تفکیک کردن، دسته‌بندی، درخت تصمیم‌گیری، تحلیل قواعد وابستگی و تحلیل خوشه‌ها و الگوریتم‌های عمومی استفاده می‌شود.
مراحل فرآیند
هدف داده‌کاوی، تجزیه و تحلیل اکتشافی داده‌ها، کشف الگوها و قواعد و الگوریتم‌ها، مدل‌سازی پیش‌بینانه و جست‌وجوی انحرافات است. برای انجام این هدف، فرآیند داده‌کاوی در جهت کشف دانش در مراحل مختلف انجام می‌شود که عبارت است از:
اولین گام در داده‌کاوی، شناسایی هدف و فهم حوزه کاربرد آن است و مشخص می‌کند که چه کاری، در چه حوزه‌ای انجام خواهد شد.
۲٫ انتخاب داده‌ها یعنی تعیین اهداف برای تجزیه و تحلیل و کشف آن
۳٫ آماده‌سازی داده‌ها شامل تمیز‌سازی داده‌ها
۴٫ اتخاذ بهترین روش داده‌کاوی برای دست‌یابی به اهداف
۵٫ اجرای داده‌کاوی یعنی به کارگیری الگوریتم
۶٫ ارزیابی و اعتبارسنجی یافته‌ها
۷٫ استفاده از نتایج و تثبیت و تحکیم دانش کشف شده
۸٫ تصمیم‌گیری براساس دانش کشف شده.
موانع و چالش‌ها
با وجود مزایای فراوان که داده‌کاوی برای مدیریت دانش سازمان‌ها و دست‌یابی به دانش برای تصمیم‌گیری سازمانی دارد، این حوزه با موانع و چالش‌هایی روبه‌روست که عبارتند از:
۱- فقدان داده برای پشتیبانی تجزیه و تحلیل
۲- قدرت محدود محاسبه برای به دست آوردن محاسبات ریاضی مورد نیاز الگوریتم‌های داده‌کاوی
۳- عدم مطلوبیت و جذابیت بیشتر الگوها
۴- خطر وجود داده‌های آلوده و کسب نتایج کاملا غلط
۵- تمرکز بیش از حد بر الگوریتم‌ها
۶- هزینه نسبتا گران سرمایه‌گذاری در همه حوزه‌ها
۷- عدم پوشش کامل همه حوزه‌ها
کاربرد داده‌کاوی
امروزه داده‌کاوی در حوزه‌های بسیار متنوع و متفاوت استفاده می‌شود:
حوزه علم: شیمی، فیزیک، داروسازی، تجزیه و تحلیل تصاویر پزشکی، تعیین نوع رفتار با بیماران و پیشگویی میزان موفقیت‌های اعمال پزشکی، تعیین میزان موفقیت روش‌های درمانی در برخورد با بیماری‌های سخت، بیوشیمی، حسگرهای کنترل در اقمار مصنوعی، بیوعلم شامل توصیف ژن‌ها و تقسیم‌بندی گروه پروتئین‌ها و توسعه داروها. خرده فروشی: تجزیه و تحلیل سبد خرید بازار، تعیین الگوهای خرید مشتریان.
بانکداری: پیش‌بینی الگوهای کلاهبرداری از طریق کارت‌های اعتباری، تعیین میزان استفاده از کارت‌های اعتباری براساس گروه‌های اجتماعی فروش و بازاریابی: تجزیه و تحلیل سهام و سرمایه، تعیین مشتریان وفادار، مدیریت ریسک و پیش‌بینی فروش بیمه: تجزیه و تحلیل دعاوی و پیشگویی میزان جریمه بیمه نامه‌های جدید توسط مشتریان دیگر حوزه‌ها: ورزش و سرگرمی، فضانوردی و دیگر حوزه‌های علم.