تقديم استشارات البيانات الضخمة وخدمات تعزيز الفريق لشركة مجوهرات كبرى

العميل

شركة كبرى لتصنيع وتجارة المجوهرات، توزِّع منتجاتها في متاجر المجوهرات الإلكترونية والواقعية في مختلف أنحاء الولايات المتحدة.

التحدي

كان العميل يستخدم حلًا قديمًا قائمًا على نظام Informatica لتحليلات البيانات، لكن أداءه تدهور بوضوح مع تنامي أعمال الشركة. ونظرًا لإخفاق الحل القديم في إدارة الأحجام المتزايدة للبيانات، بدأ العميل مشروع تطوير داخلي لمستودع جديد للبيانات المؤسسية قائم على منصة Incorta لتحليلات البيانات.

كان الهدف من مستودع البيانات الجديد تمكين التحليلات على مستوى المؤسسة للبيانات الواردة من الأنظمة الأساسية لأعمال الشركة (مثل: أنظمة إدارة علاقات العملاء، وتخطيط موارد المؤسسة، وإدارة سلسلة التوريد) لدعم إدارة الشركة في اتخاذ قرارات مبنية على المعلومات.

افتقر الفريق الداخلي لشركة العميل إلى الكفاءات المتخصصة في البيانات الضخمة لتنفيذ طبقة Spark في منصة Incorta. واحتاج أعضاء الفريق إلى توجيهات احترافية لتسريع إعادة تصميم عمليات الاستخراج والتحويل والتحميل القديمة على منصة Incorta الجديدة.

وقد كان للمشروع أهمية استراتيجية للعميل، إذ أتاحت مسارات الاستخراج والتحويل والتحميل التي نُقلت إلى منصة Incorta إدارة عشرات ومئات التقارير على نحو أسرع بكثير من النظام القديم. ولتسريع تنفيذ المشروع وضمان الموثوقية الكاملة لمسارات الاستخراج والتحويل والتحميل الجديدة، بدأت رحلة العميل للبحث عن مُورِّد تقني موثوق في مجال البيانات الضخمة.

التعاون

منح العميل ثقته لساينس سوفت وكلَّفها بتنفيذ المشروع لخبرتها الممتدة لأكثر من 10 سنوات في تقديم خدمات البيانات الضخمة وسِجِلها الحافل بالعديد من المشروعات الناجحة في مجال البيانات الضخمة.

أجرى مهندس ساينس سوفت الخبير في البيانات تحليلًا متعمقًا للحل قيد التطوير. كما أجرى مقابلات مع فريق العميل لمناقشة التحديات التي واجهتهم عند إعادة كتابة منطق أعمال مسارات الاستخراج والتحويل والتحميل للحل الجديد. واكتشف خبيرنا أن المطورين بارعون في لغة SQL، لكنهم يفتقرون إلى مهارات البرمجة باستخدام لغة بايثون وإطار العمل Spark، ما أدى إلى عرقلة وتيرة تنفيذ المشروع.

لسد فجوات نقص المهارات، بدأ خبيرنا العمل مع 3 من المطورين الداخليين لدى العميل فرديًّا وجماعيًّا. واستفاد خبيرنا من الاحترافية العالية التي يتمتع بها الفريق الداخلي للعميل وعزَّز التعاون العملي معهم بدلًا من عقد جلسات التدريب الرسمية المخصصة لموضوع معين. على سبيل المثال: كان خبيرنا يساعد مطوري العميل على استكشاف وإصلاح الأخطاء في الكود البرمجي المكتوب بلغات البرمجة بايثون وSQL وBash كلما واجهتهم مشكلة.

أجرى خبيرنا اجتماعات يومية مع فريق العميل عبر تطبيق زووم، لمناقشة المشكلات الطارئة والتوصل إلى حلول عملية تواكب تحديات المستقبل. وقد أدى هذا النهج إلى تسريع وتيرة برمجة عمليات الاستخراج والتحويل والتحميل واختبارها ونشرها بحدٍ ملحوظ.

في غضون 3 أسابيع فقط من التعاون مع ساينس سوفت، تحسنت مهارات إنشاء مسارات الاستخراج والتحويل والتحميل لدى فريق العميل بقدر ملحوظ. كان العميل راضيًا للغاية عن كفاءة خدماتنا الاستشارية. لذا، طلب من مهندسنا الخبير الانضمام إلى المشروع بدوره مطورًا لحلول البيانات الضخمة ومواصلة تقديم توجيهاته الاحترافية إلى الفريق الداخلي.

منذ أكثر من عام وحتى اليوم، لا يزال خبيرنا يتعاون مع فريق العميل ويقدم توصيات عملية بشأن الترحيل الآمن لعمليات الاستخراج والتحويل والتحميل، وضبط إعدادات بيئة إطار العمل Spark. وبصفته مطورًا خبيرًا في مجال البيانات، أنشأ مهندس ساينس سوفت 7 مسارات لعمليات الاستخراج والتحويل والتحميل التي يستخدمها العميل حاليًا للحصول على رؤى مهمة لتحسين إدارة المخزون، وتخطيط حملات التسويق، وإجراءات المناقصات، وغيرها.

بالتوازي مع تقديم استشارات البيانات الضخمة وتنفيذ عمليات الاستخراج والتحويل والتحميل، أجرى خبير ساينس سوفت العديد من التعديلات على البنية الأحادية لمستودع البيانات المؤسسية، ليتيح للعميل الاستفادة من الإمكانات الكاملة لإطار العمل Spark ومساعدته على تحقيق الاستفادة القصوى من التكاليف على الأمد الطويل. وقد اقترح خبيرنا إنشاء طبقة منفصلة لمسارات الاستخراج والتحويل والتحميل، لتجنب التكاليف الباهظة لتخزين البيانات الضخمة في ذاكرة الوصول العشوائي لمنصة Incorta.

يومًا بعد يوم، يزداد تقدير العميل لحِس المبادرة الذي يتمتع به خبيرنا، ويدرس العميل حاليًا تنفيذ التعديلات التي اقترحها خبيرنا في المستقبل.

النتائج

نتيجةً للتعاون المثمر مع ساينس سوفت، تمكَّن العميل من تسريع تنفيذ مسارات الاستخراج والتحويل والتحميل الجديدة بقدر ملحوظ لمستودع البيانات المؤسسية لديه. وبفضل التوجيهات الاحترافية التي قدَّمها خبيرنا في مجال البيانات الضخمة ونهجه الاستباقي في نقل المعرفة، تحسَّنت كثيرًا مهارات بايثون وSpark لدى المطورين الداخليين في شركة العميل. وفوق هذا كله، أصبح فريق العميل بارعًا في إعادة كتابة منطق أعمال مسارات الاستخراج والتحويل والتحميل لحل مستودع البيانات المؤسسية الجديد.

يستخدم العميل حاليًا 7 مسارات للاستخراج والتحويل والتحميل طوَّرها خبيرنا لرفع كفاءة إدارة المخزون وتحسين تخطيط حملات التسويق وإجراءات المناقصات. وتقديرًا لجهود خبيرنا واقتراحاته العملية بشأن تعديل البنية الحالية لمستودع البيانات المؤسسية، يفكر العميل جديًا في التعاون طويل الأمد مع ساينس سوفت.

التقنيات والأدوات

Development: Incorta, Python, Apache Spark, PySpark, SQL, Bash.