SDC ETL

ETL مخفف Extract Transform and Load است که به معنای استخراج، پالایش و بارگذاری اطلاعات میباشد. از ETL در زمان ساخت انبار دادهها (Data Warehouse) استفاده میشود. فرایندی که به موجب آن اطلاعات از یک یا چند منبع مختلف جمع آوری، پالایش و در نهایت در انبار داده بارگذاری میشود
فرآیند تزریق اطلاعات در انبار دادههای Hadoop توسط ETL نوشته شده شرکت هزارگذر با ویژگی های زیر طراحی شده است :
استخراج دادهها با کاربردی ساده و تحت وب
- امـکان تعریف مـنبع اسـتخراج دادهها از پایگاههای MS-SQL ،My SQL ،Access ،Oracle و Text
- امکان ایجاد انواع Query بر روی پایگاه اطلاعاتی منبع
- امکان انتخاب یک یا چند جدول یا View بهعنوان اطلاعات اصلی
- امکان انتخاب اطلاعات پایهای در منبع بهعنوان بازه زمانی، موقعیت مکانی یا صفت آماری
- امکان جمعآوری دادههای خام از منبع و ذخیره آن پیش از انجام هرگونه دستکاری دادهها
تبدیل دادهها بر اساس نیاز طراح انبار داده
- مکان تـبدیل مـقادیر اطلاعات پایه بر اساس تعریف کاربر
- امکان انتقال رکـوردهای مـوجود در منبع با همان IDهای فعلی انباره هدوپ
- امکان پاکسازی و پـالایش دادهها با انجام امور
- فیلتر کردن مقادیر
- تبدیل چند مقدار به یک مـقدار تبدیل به
- یک مقدار ثابت
- حذف دادههای خارج از محدوده
- خلاصهسازی رکوردها
- کنترل صحت و کیفیت دادهها
- تـعریف فـرزند مقادیر صفات و یکسان کردن کدها
- هممعنی کردن علائم استفاده شده در منبع
- امکان اصلاح دادهها، برای بهبود کیفیت دادهها، و ادغام دادهها با یکدیگر، جهت ایجاد ارزشهای مضاعف دادهای
انتقال اطلاعات به Hadoop
- امکان انتخاب سناریوی انتقال از دو حالت حـذف دادههای قـبلی و انتقال همه رکوردها و یا جاگذاری دادههای جدید
- امکان انتقال اطلاعات از مـنبع در قلمهای اطلاعاتی یا آماری
- امکان ایجاد تناظر یکبهیک میان فیلدهای منبع و مقصد
- امـکان درج رخدادهای انتـقال در سیستم لاگ گیری
- امکان زمانبندی انتقال دادهها از منبع اصلی به هدوپ با استفاده از ویژگی های ذیل :
- انتقال خودکار اطلاعات
- انتقال تکرارشونده یا دفعهای
- انتـقال اطلاعات بهصورت روزانـه، هفتگی، ماهیانه
- انتقال اطلاعات از تاریخ x تا تاریخ y
- امکان تنظیمات نحوه انتقال و زمانبندیهای انتقال جهت انتقال اطلاعات به انبار داده