شکیبا باشید ...

SDC ETL

ETL مخفف Extract Transform and Load  است که به معنای استخراج، پالایش و بارگذاری اطلاعات می‌باشد. از ETL در زمان ساخت انبار داده‌ها (Data Warehouse) استفاده می‌شود. فرایندی که به موجب آن اطلاعات از یک یا چند منبع مختلف جمع آوری، پالایش و در نهایت در انبار داده بارگذاری می‌شود

فرآیند تزریق اطلاعات در انبار داده‌های Hadoop توسط ETL نوشته شده شرکت هزارگذر با ویژگی های زیر طراحی شده است :

 

استخراج داده‌ها با کاربردی ساده و تحت وب

 

  • امـکان تعریف مـنبع اسـتخراج داده‌ها از پایگاه‌های MS-SQL ،My SQL ،Access ،Oracle و Text
  • امکان ایجاد انواع Query بر روی پایگاه اطلاعاتی منبع
  • امکان انتخاب یک یا چند جدول یا View به‌عنوان اطلاعات اصلی
  • امکان انتخاب اطلاعات پایه‌ای در منبع به‌عنوان بازه زمانی، موقعیت مکانی یا صفت آماری
  • امکان جمع‌آوری داده‌های خام از منبع و ذخیره آن پیش از انجام هرگونه دست‌کاری داده‌ها

 

تبدیل داده‌ها بر اساس نیاز طراح انبار داده

 

  • مکان تـبدیل مـقادیر اطلاعات پایه بر اساس تعریف کاربر
  • امکان انتقال رکـوردهای مـوجود در منبع با همان ID‌های فعلی انباره هدوپ
  •  امکان پاک‌سازی و پـالایش داده‌ها با انجام امور
  •  فیلتر کردن مقادیر
  •  تبدیل چند مقدار به یک مـقدار تبدیل به
  •  یک مقدار ثابت
  •  حذف داده‌های خارج از محدوده
  • خلاصه‌سازی رکوردها
  • کنترل صحت و کیفیت داده‌ها
  • تـعریف فـرزند مقادیر صفات و یکسان کردن کدها
  • هم‌معنی کردن علائم استفاده شده در منبع
  • امکان اصلاح داده‌ها، برای بهبود کیفیت داده‌ها، و ادغام داده‌ها با یکدیگر، جهت ایجاد ارزش‌های مضاعف داده‌ای

 

انتقال اطلاعات به Hadoop

 

  • امکان انتخاب سناریوی انتقال از دو حالت حـذف داده‌های قـبلی و انتقال همه رکوردها و یا جاگذاری داده‌های جدید
  • امکان انتقال اطلاعات از مـنبع در قلم‌های اطلاعاتی یا آماری
  • امکان ایجاد تناظر یک‌به‌یک میان فیلدهای منبع و مقصد
  •  امـکان درج رخدادهای انتـقال در سیستم لاگ گیری
  • امکان زمان‌بندی انتقال داده‌ها از منبع اصلی به هدوپ با استفاده از ویژگی های ذیل :

 

  1. انتقال خودکار اطلاعات
  2. انتقال تکرارشونده یا دفعه‌ای
  3.  انتـقال اطلاعات به‌صورت روزانـه، هفتگی، ماهیانه
  4. انتقال اطلاعات از تاریخ x تا تاریخ y
  5. امکان تنظیمات نحوه انتقال و زمان‌بندی‌های انتقال جهت انتقال اطلاعات به انبار داده