SDC Hadoop

Hadoop یک چارچوب متن باز است که پردازش توزیعشده دادههای بزرگ را بر روی خوشههایی از سرورها ممکن میسازد. این چارچوب که به زبان جاوا نوشته شده است، برای انجام پردازش توزیع شده بر روی هزاران ماشین با تحملپذیری خطای بالا طراحی شده است. این شرکت به بومی سازی و سفارشی این محصول بخصوص در لایه امن سازی پرداخته است.
چارچوب اصلی Hadoop از ماژولهای زیر تشکیل شده است :
- بخش مشترکات Hadoop : شامل کتابخانهها و Utility های لازم توسط دیگر ماژولهای Hadoop است.
- سیستم فایل توزیع شده هادوپ (HDFS): یک سیستم فایل توزیع شده است که داده را بر روی ماشینهای خوشه ذخیره کرده و پهنای باند وسیعی را به وجود میآورد.
- Hadoop YARN : یک پلتفرم مدیریت منابع که مسئول مدیریت منابع محاسباتی در خوشهها است.
- هدوپ Map/Reduce: یک مدل برنامهنویسی برای پردازش داده در مقیاسهای بالا است.
در واقع Hadoop یک سیستم فایل توزیع شده تهیه میکند که میتواند داده را بر روی هزاران سرور ذخیره کند، و Task (وظیفه) را بر روی این ماشینها پخش کرده (Map/Reduce) و کار(Task) را در کنار داده انجام میدهد
بر این اساس ویژگی ها این سیستم عبارت از :
- ذخیره سازی حجم زیادی از داده
- محاسبه حجم زیادی از داده
- امنیت بالای نگهداری داده
- مدیریت یکپارچه منابع