تقديم استشارات البيانات الضخمة لشركة Garan لتسريع معالجة البيانات بمقدار 100 مرة

ملخص المشروع

أجرت ساينس سوفت تدقيقًا شاملًا لحل إعداد تقارير البيانات الضخمة المؤسسية لشركة عالمية رائدة في تصنيع الملابس، كما قدمت توصيات أسهمت كثيرًا في تحسين أداء النظام بقدرٍ ملحوظ.

نبذة عن شركة Garan

Garan، هي شركة أميركية لتصنيع وتوزيع الملابس ذات العلامات التجارية المعروفة للأطفال والكبار. تأسست في عام 1941، ويعمل بها أكثر من 4,000 موظف حول العالم، وتملك العلامة التجارية الخاصة GARANIMALS® لملابس الأطفال الرضع والصغار المُصممة لتعزيز ثقة الأطفال من خلال سهولة تنسيق قطع الملابس المختلفة. في عام 2002، أصبحت Garan شركة فرعية مملوكة بالكامل لشركة Berkshire Hathaway، Inc.

كانت Garan تعتمد على حل داخلي لإعداد التقارير باستخدام نظام Microsoft SQL Server للحصول على تقارير يومية عن المبيعات. ومع توسع أعمال الشركة، لم يعد الحل قادرًا على استيعاب الزيادة المستمرة في البيانات، ما أدى إلى ترقية النظام باستخدام تقنيات HDFS وApache Spark وApache Hive. ورغم ذلك، كانت سرعة معالجة البيانات دون المستوى المتوقع، ما تسبب في تأخير تقديم المعلومات الحيوية للأعمال.

كانت الشركة بحاجة إلى تحسين الحل ليصبح قادرًا على معالجة أكثر من 300 جيجابايت من ملفات ORC يوميًا لتوفير معلومات محدثة ودقيقة عن المبيعات، وكانت مجموعة البيانات المعقدة تحتوي على مليارات السجلات القديمة التي يتم تحديثها يوميًا. إلى جانب ذلك، توقعت الشركة أن يتضاعف عدد السجلات خلال العامين المقبلين.

للتغلب على مشكلات معالجة البيانات وإيجاد حل مستدام يواكب التطورات المستقبلية، كانت Garan تبحث عن مورد تقني يتمتع بخبرة واسعة في مجال البيانات الضخمة لإجراء مراجعة شاملة للنظام وتقديم توصيات عملية لتحسين أدائه.

تدقيق حل البيانات الضخمة وتقديم استشارات لتحسينه

أجرت ساينس سوفت عدة مقابلات مع الجهات المعنية لدى Garan لفهم احتياجات الشركة من إعداد التقارير، والتعرف على تكوينات حل البيانات الضخمة، وتقييم التدابير السابقة لمعالجة المشكلات.

توصل خبراء ساينس سوفت إلى أن النظام الحالي يحتاج إلى تجديد شامل لتمكينه من تقديم تقارير في الوقت الفعلي واستيعاب الزيادة المستقبلية في حجم البيانات بكفاءة. لكن، نظرًا للأهمية الحيوية لحل إعداد التقارير للأعمال، اقترحت ساينس سوفت تحسين النظام الحالي، مع النظر في تجديده مستقبليًا.

على مدى 6 أسابيع، عقدت ساينس سوفت جلسات استشارية مع 5 من متخصصي تقنية المعلومات لدى Garan. وقد قدم خبراؤنا لفريق الشركة نصائح شاملة حول الخطوات المُثلى لعلاج مشكلات النظام، وجمعوا تعليقاتهم وآراءهم حول النتائج المُحققة، كما قدموا تعليمات بشأن التدابير الإضافية اللازمة لتحسين النظام. إلى جانب ذلك، عقد خبراؤنا العديد من جلسات الأسئلة والأجوبة وتبادل المعرفة مع فريق الشركة.

استنادًا إلى نصائح وتوجيهات ساينس سوفت، تمكَّنت شركة Garan من تحقيق التحسينات الآتية:

• تنفيذ التقسيم الفعَّال لجداول قاعدة البيانات، ما أسهم في تسريع عملية تنفيذ استعلامات ذكاء الأعمال (BI) باستخدام نظام Hive.
• استبدال نموذج البرمجة MapReduce بمحرك التنفيذ Tez المُهيأ خِصيصًا لمعالجة البيانات في نظام Hive، ما يضمن توزيعًا أكثر كفاءة لموارد الذاكرة ووحدة المعالجة المركزية (CPU) عبر مختلف المهام.
• نقل جزء من العمليات إلى محرك Spark SQL لتمكين التحويلات وفق نموذج ACID.
• الضبط الدقيق لتكوينات نظام Hive ومحرك Spark.
• استخدام تقنيات مثل MSC repair وملفات Spark المدمجة، وتجميع البيانات (Bucketing) لتحسين تخزين البيانات وتعزيز أداء عمليات القراءة.

بالإضافة إلى ذلك، تلقت Garan تقريرًا مفصلاً عن إيجابيات وسلبيات مواصلة تحسين الحل الداخلي الحالي مقابل إنشاء نظام سحابي جديد.

أبرز المنجزات التي حققناها لشركة Garan

• إجراء تدقيق شامل لحل إعداد التقارير في غضون 6 أسابيع فقط.
• تسريع معالجة البيانات الضخمة بمقدار 100 مرة للحصول على رؤى وتوقعات للمبيعات في الوقت الفعلي.
• وضع أساس متين لتجديد الحل تدريجيًا دون أي تعطيل للأعمال.

ابتداءً من سبتمبر 2024، تستخدم Garan نظام التقارير المُحسن، وتعمل بالتعاون مع ساينس سوفت على تطوير حل سحابي لتحليلات البيانات الضخمة باستخدام منصة Microsoft Fabric.

التقنيات والأدوات

HDFS, Apache Spark, Apache Hive, PySpark, Python, Microsoft SQL Server, T-SQL.