انبار داده

انبار داده چیست و چرا هر سازمان صنعتی به آن نیاز دارد؟

انبار داده جایی است که داده‌های پراکندهٔ ERP، سیستم مالی، فروش، تولید و اکسل‌ها پاک‌سازی و یکپارچه می‌شوند تا همهٔ سازمان از یک منبع واحد حقیقت گزارش بگیرد. تعریف ساده، تفاوت با ERP و نشانه‌های نیاز به انبار داده.

داده‌های ERP، اکسل، سیستم مالی، مشتریان، تولید و انبار که با خطوط طلایی به یک استوانهٔ انبار داده و از آنجا به داشبوردها می‌رسند
فهرست مطالب

انبار داده (Data Warehouse) پایگاه داده‌ای است که داده‌های پراکندهٔ سازمان را از ERP، سیستم مالی، فروش، تولید، انبار و حتی فایل‌های اکسل جمع می‌کند، پاک‌سازی و یکپارچه می‌کند و به شکل یک مدل واحد برای گزارش و تحلیل نگه می‌دارد. حاصلش چیزی است که به آن منبع واحد حقیقت می‌گویند: یک جا که همهٔ واحدها عددهایشان را از آن می‌گیرند.

اگر در جلسهٔ مدیریت عدد فروش ماه گذشته را از واحد فروش و واحد مالی بپرسید و دو عدد متفاوت بشنوید، با مسئله‌ای روبه‌رو هستید که انبار داده برای حلش ساخته شده است.

انبار داده به زبان ساده

سازمان را مثل یک کارخانه با چند انبار کوچک در نظر بگیرید. هر واحد مواد خودش را در انبار خودش، با برچسب‌گذاری خودش و به شیوهٔ خودش نگه می‌دارد. حالا اگر مدیر بخواهد بداند «کل موجودی ما چقدر است»، باید به تک‌تک انبارها سر بزند، برچسب‌ها را ترجمه کند و عددها را دستی جمع بزند.

داده‌های سازمان هم همین وضع را دارند. فروش در یک سیستم است، بهای تمام‌شده در اکسل واحد مالی، توقفات خط در دفتر سرشیفت و موجودی در سیستم انبار. انبار داده همان انبار مرکزی است: همهٔ داده‌ها با یک برچسب‌گذاری واحد و تمیز، در یک جا.

چرا ERP به‌تنهایی کافی نیست؟

بیشتر سازمان‌های صنعتی ایران ERP دارند؛ همکاران سیستم، شماران، نیلرام یا سیستم‌های اختصاصی. پس چرا هنوز گزارش ماهانه روزها طول می‌کشد؟

  1. ERP برای ثبت ساخته شده، نه تحلیل. کارش ثبت سریع و دقیق فاکتور، رسید و سند است. پرس‌وجوهای سنگین تحلیلی روی آن، هم کند است و هم سرعت کار روزانه را پایین می‌آورد.
  2. همهٔ داده در ERP نیست. برنامهٔ تولید، بودجه، توقفات، قیمت رقبا و ده‌ها دادهٔ دیگر در اکسل‌ها و سیستم‌های جانبی است.
  3. تاریخچه گم می‌شود. ERP معمولاً وضعیت فعلی را نگه می‌دارد. اگر قیمت یا گروه یک کالا عوض شود، مقایسهٔ درست با سال قبل سخت می‌شود.
  4. تعریف‌ها یکی نیستند. «فروش» برای واحد فروش یعنی فاکتور صادرشده و برای مالی یعنی فروش پس از برگشتی و تخفیف.
مقایسهٔ پیش و پس از انبار داده: در حالت پیش، هر گزارش با خطوط درهم از چند سیستم و اکسل ساخته می‌شود؛ در حالت پس، همهٔ سیستم‌ها به انبار داده و انبار داده به همهٔ گزارش‌ها وصل است
پیش از انبار داده هر گزارش مسیر جداگانهٔ خودش را دارد؛ پس از آن، همهٔ گزارش‌ها از یک منبع می‌خوانند.

انبار داده چطور ساخته می‌شود؟

ساخت انبار داده چهار مرحلهٔ اصلی دارد. در صفحهٔ انبار داده شکل خلاصهٔ آن را آورده‌ایم؛ اینجا کمی بازترش می‌کنیم:

۱. شناسایی منابع داده

اول باید دانست دادهٔ مهم کجاست: کدام جدول‌های ERP، کدام اکسل‌ها، دست چه کسی و با چه تناوبی به‌روز می‌شوند. این مرحله معمولاً نشان می‌دهد چند اکسل حیاتی هست که هیچ‌کس جز صاحبش از وجودش خبر ندارد.

۲. استخراج، پاک‌سازی و یکپارچه‌سازی (ETL)

داده از منبع خوانده می‌شود، رکوردهای تکراری حذف و خطاها اصلاح می‌شوند، کدها و واحدها یکسان می‌شوند و تاریخ‌ها به یک قالب می‌آیند. به این فرایند ETL (استخراج، تبدیل، بارگذاری) می‌گویند. مهم‌ترین قاعده‌اش این است که فقط یک بار و در یک جا انجام شود، نه در هر گزارش.

۳. مدل‌سازی

داده‌ها در قالبی چیده می‌شوند که پرسیدن از آن‌ها ساده و سریع باشد. رایج‌ترین قالب، مدل ستاره‌ای است: یک جدول «واقعیت» که رویدادها و عددها را نگه می‌دارد (مثلاً هر ردیف فروش) و چند جدول «بُعد» که می‌گویند چه کسی، چه چیزی، کجا و کی.

مدل ستاره‌ای با جدول فروش در مرکز و جدول‌های تاریخ، محصول، مشتری، نمایندگی و شرکت دور آن
یک مدل ستاره‌ای ساده برای فروش. نام جدول‌ها از انبار دادهٔ دموی ما آمده است.

۴. لایهٔ تحلیلی

روی مدل، شاخص‌های کلیدی با تعریف مشترک ساخته می‌شوند: فروش خالص، حاشیهٔ سود، تحقق برنامه، بهرهٔ کلی تجهیزات (OEE) و هر شاخصی که سازمان با آن تصمیم می‌گیرد. داشبوردها، گزارش‌های خودکار و دستیار هوشمند همه از همین لایه می‌خوانند.

با انبار داده چه چیزی عوض می‌شود؟

  • سرعت: گزارشی که روزها جمع کردن اکسل لازم داشت، چند ثانیه‌ای یا خودکار آماده می‌شود.
  • یک عدد برای همه: فروش در داشبورد فروش و داشبورد مالی یک عدد است، چون از یک تعریف می‌آید.
  • دقت: داده پیش از ورود اعتبارسنجی می‌شود و خطا به صاحب داده برمی‌گردد، نه به گزارش مدیر.
  • تاریخچه: مقایسه با ماه و سال قبل، حتی اگر ساختار سازمان یا کدها عوض شده باشد، ممکن می‌شود.
  • امنیت: به‌جای ده‌ها فایل که در ایمیل دست‌به‌دست می‌شوند، دسترسی متمرکز و کنترل‌شده است.

نمونهٔ زیر داشبورد نمای کلی مالی است که روی انبار دادهٔ دموی ما ساخته شده است. درآمد، سود و حذف معاملات درون‌گروهی چهار شرکت یک گروه در یک صفحه کنار هم نشسته‌اند؛ کاری که بدون انبار داده هر ماه یک پروژهٔ دستی است.

داشبورد نمای کلی مالی گروه با درآمد تلفیقی، سود خالص، حاشیهٔ سود و نمودار آبشاری از درآمد تا سود خالص
نمای کلی مالی یک گروه چهارشرکتی روی انبار دادهٔ دمو. همهٔ اعداد ساختگی‌اند.

هفت نشانه که سازمان شما به انبار داده نیاز دارد

  1. عدد یک شاخص در دو گزارش متفاوت است و جلسه صرف تطبیق عددها می‌شود.
  2. گزارش ماهانهٔ مدیریت بیش از چند روز طول می‌کشد.
  3. چند نفر بخش بزرگی از وقتشان را صرف جمع کردن و چسباندن اکسل‌ها می‌کنند.
  4. با رفتن یک کارشناس، یک گزارش مهم دیگر ساخته نمی‌شود.
  5. نمی‌توانید به‌سرعت بگویید کدام محصول یا مشتری واقعاً سودآور است.
  6. چند سیستم دارید (ERP، مالی، فروش، تولید) که با هم حرف نمی‌زنند.
  7. می‌خواهید روی داده هوش مصنوعی بسازید، ولی نمی‌دانید داده را از کجا بیاورید.

اگر سه مورد یا بیشتر برایتان آشناست، انبار داده احتمالاً پربازده‌ترین سرمایه‌گذاری دادهٔ امسال شما خواهد بود.

انبار داده، زیربنای هوش مصنوعی

هوش مصنوعی سازمانی از داده تغذیه می‌کند. اگر دستیار هوشمند مستقیم به ERP و ده‌ها اکسل وصل شود، همان تناقض‌ها را با اعتمادبه‌نفس بیشتری تکرار می‌کند. وقتی پشتش انبار داده باشد، می‌تواند سؤال‌های چندحوزه‌ای را جواب بدهد؛ مثلاً اینکه فروش از دست رفته در کدام ماه‌ها بیشتر بود و علتش در تولید یا تأمین چه بود.

داشبورد فروش از دست رفته با تعداد و مبلغ فروش ازدست‌رفته، نمودار علت‌ها و روند ماهانه
«فروش از دست رفته» شاخصی است که فقط با کنار هم گذاشتن داده‌های فروش، تولید و موجودی ساخته می‌شود. دادهٔ دمو، ساختگی.

همین انبار داده پشت دستیار هوشمند هم نشسته است. مدیر سؤالش را به فارسی می‌پرسد و جواب از همان عددهایی می‌آید که در داشبوردها هست:

دستیار داده که به سؤال پرفروش‌ترین خودروهای گروه با جدول و نمودار پاسخ داده است
پاسخ دستیار هوشمند به سؤال «پرفروش‌ترین خودروهای گروه چیست؟» روی همان انبار داده. داده‌ها ساختگی‌اند.

از کجا شروع کنیم؟

لازم نیست انبار داده را برای کل سازمان یک‌جا بسازید. با یک حوزه شروع کنید، مثلاً فروش و بهای تمام‌شده. منابع همان حوزه را وصل کنید و اولین داشبورد را تحویل بگیرید. بعد حوزه‌به‌حوزه گسترش دهید. اکسل‌ها را هم جا نیندازید؛ در این مقاله نوشته‌ایم چطور به انبار داده وصل می‌شوند.

پرسش‌های پرتکرار

تفاوت انبار داده با ERP چیست؟

ERP برای ثبت روزانهٔ تراکنش‌ها مثل فاکتور، رسید و سند ساخته شده و دادهٔ لحظه‌ای یک سیستم را نگه می‌دارد. انبار داده برای تحلیل ساخته شده است؛ دادهٔ چند سیستم و اکسل را یکپارچه می‌کند، تاریخچهٔ کامل نگه می‌دارد و برای پرس‌وجوهای سنگین مدیریتی بهینه است، بی‌آنکه سرعت ERP را پایین بیاورد.

آیا با Power BI بدون انبار داده هم می‌شود داشبورد ساخت؟

بله، ولی هر داشبورد منطق یکپارچه‌سازی را جداگانه تکرار می‌کند و با بیشتر شدن منابع داده شکننده و ناهمسان می‌شود. انبار داده این منطق را یک بار و در یک جا نگه می‌دارد تا همهٔ داشبوردها از یک منبع بخوانند.

ساخت انبار داده چقدر طول می‌کشد؟

اولین خروجی‌ها حداکثر ۲ تا ۳ ماه پس از شروع دیده می‌شوند. انبار دادهٔ حوزهٔ اول معمولاً حدود پایان ماه دوم و نسخهٔ اولیهٔ داشبوردها حدود پایان ماه سوم آماده است. اگر ساختار ERP از قبل شناخته‌شده باشد، این زمان کوتاه‌تر هم می‌شود.

انبار داده با دریاچهٔ داده (Data Lake) چه فرقی دارد؟

دریاچهٔ داده دادهٔ خام و ساختارنیافته را به همان شکل اولیه نگه می‌دارد. انبار داده دادهٔ ساختاریافته را پاک‌سازی و مدل‌سازی می‌کند تا مستقیم برای گزارش و تحلیل آماده باشد. برای بیشتر سازمان‌های صنعتی، انبار داده نقطهٔ شروع درست‌تری است.

آیا انبار داده می‌تواند روی سرور خود سازمان نصب شود؟

بله. انبار داده می‌تواند کاملاً روی زیرساخت خود سازمان، مثلاً SQL Server یا PostgreSQL، اجرا شود و داده از سازمان خارج نشود.