تطوير حل تحليلات البيانات لشركة رائدة في إنتاج وحدات خلايا الوقود

العميل

شركة رائدة في إنتاج وحدات خلايا الوقود للمركبات التجارية والمتخصصة ووحدات توليد الطاقة والسفن.

بطء التحليل اليدوي للبيانات وانعدام فعاليته

يستخدم العميل المئات من وحدات معدات الاختبار لتقييم أداء وسلامة مجموعات خلايا الوقود بناءً على قرابة 300 معيار. قبل تنفيذ المشروع، كانت بيانات نتائج الاختبارات تُخزَّن بصيغ متعددة وفي مواقع مختلفة لتحليلها يدويًا. وكان هذا النهج غير فعال ويستغرق وقتًا طويلًا. لذا، قرر العميل تطوير حل فعال للتحليلات يدعم التخزين المركزي لبيانات نتائج الاختبارات وتحليلها وتقديمها بصريًا.

تحديد بنية قاعدة البيانات وضمان دقة تحويل البيانات

كلَّفت ساينس سوفت مهندس حلول واثنين من مهندسي البيانات بتنفيذ المشروع. وبدأ فريقنا عمله بمراجعة ملفات نتائج الاختبارات (جداول CSV) لفهم سمات البيانات وتحديد بنية قاعدة البيانات الموحدة المستقبلية. وبناءً على النتائج، أنشأ فريقنا بنية أعمدة قاعدة البيانات لتضم 3 أعمدة: البيانات الوصفية للاختبارات، ونتائج الاختبارات، والمقاييس المحسوبة (مثل: الانحرافات المتوسطة والمعيارية).

تتضمن ملفات CSV الخام معايير خاصة بالاختبارات ولها متغيرات متعددة في بنيتها (مثل الاختلافات في عدد الأعمدة، وعدد الصفوف في رأس العمود)، وهو ما كان يمكن أن يُشكِّل عقبة أمام التوحيد الدقيق للبيانات في قاعدة البيانات. وكان من الضروري للغاية منع أي أخطاء في أثناء تكامل البيانات. وفي الوقت نفسه، أراد مهندسو ساينس سوفت تجنب وصف كل بنية محتملة لجداول CSV وقواعد تحويلها.

إذا نفذ فريقنا ذلك يدويًا، كان ليؤدي إلى تأخير تنفيذ الحل ويتطلب من العميل جهودًا زائدة عند إضافة اختبارات جديدة في المستقبل، فضلًا عن ضرورة وصفها بنفس الطريقة. لمعالجة هذه المشكلة، أنشأ مهندسو البيانات في ساينس سوفت العديد من قوالب ملفات الإعداد التي تمثل البِنى الأكثر شيوعًا لجداول CSV الأصلية. كما برمج فريقنا الحل التحليلي ليقارن الملفات الجاهزة بقوالب ملفات الإعداد وتوزيع البيانات بناءً على نتائج تلك المقارنة. يضمن هذا النهج التوزيع الصحيح للبيانات، بما في ذلك عندما يمتلك جدول المصدر بنية غير قياسية.

آليات تخزين البيانات ومعالجتها مركزيًا

نجح فريق ساينس سوفت في تصميم وتنفيذ حل قائم على منصة أزور السحابية يساعد على تبسيط الخطوات التالية لإدارة البيانات:

استيراد البيانات الخام وتخزينها

يجمع الحل ملفات CSV من أنظمة الاختبار وينقلها إلى مخزن البيانات الخام (Azure Blob Storage). بعدها، يضع مُشغِّل خاص كل ملف جديد في قائمة انتظار الرسائل.

معالجة البيانات وتحميلها إلى قاعدة البيانات

يتحقق نظام إدارة قواعد البيانات (Microsoft SQL Server) من وجود ملفات جديدة في مخازن البيانات كل 5 دقائق. وبمجرد اكتشاف أي ملف جديد، يبدأ النظام تحميله إلى قاعدة البيانات (Azure SQL Database) عن طريق تنفيذ عمليات التحميل والتحويل والاستخراج (عمليات LTE) ثم إزالته من قائمة الانتظار. تقارن وظائف خدمات أزور بنية جداول CSV الواردة بقوالب ملفات الإعداد، وتوزع البيانات في جداول قاعدة البيانات.

الوصول إلى البيانات

يستطيع موظفو شركة العميل الوصول إلى البيانات الموحدة للاختبارات واستخدامها على النحو التالي:

• إصدار تقارير تحليلية بأنفسهم عن طريق الدخول إلى قاعدة البيانات باستخدام برنامج Excel أو Power BI.
• استخدام المخزن المركزي للبيانات لاستكشاف ملفات المصدر يدويًا.

تستطيع شركة العميل منح موظفيها إمكانية الدخول إلى قاعدة البيانات عن طريق استخدام أداة SQL Server Management Studio المخصصة لإدارة قواعد بيانات نظام SQL Server.

إعداد تقارير تفاعلية باستخدام برنامج Power BI لمتابعة الاختبارات

أنشأ مهندسو البيانات في فريقنا تقارير بصرية تفاعلية باستخدام برنامج Microsoft Power BI لمتابعة أنواع متعددة من الاختبارات. في كل اختبار، تسجل المعدات العديد من القراءات كل 5 ثوانٍ لرصد وتحليل بيانات الاختبارات. وتعرض التقارير هذه القراءات (مثل: بيانات جهد الخلايا، والقيم المتعلقة بالقطب الموجب والقطب السالب) في صورة مخططات مرئية تفاعلية. وفي حال تغيير الفترة الزمنية، تتغير المخططات التفاعلية تلقائيًا بالتبعية وتعرض القراءات حسب النطاق الزمني المطلوب: بدءًا من أي فترة زمنية معينة مدتها 5 ثوانٍ وحتى فترة الاختبار بأكملها.

أتمتة التحليلات وتوفير رؤية شاملة لنتائج الاختبارات

كان العميل راضيًا للغاية عن الخدمات قدمتها ساينس سوفت. في غضون 6 أشهر فقط، أصبح لدى شركة العميل حل تحليلي فعّال لجمع البيانات المتباينة متعددة المصادر في مخزن مركزي واحد. وبفضل الحل الذي طورته ساينس سوفت، تخلصت شركة العميل من العمل اليدوي لموظفيها، وأصبح تحليل البيانات أسرع بقدرٍ ملحوظ. ليس هذا فحسب، بل قدم فريقنا أيضًا تقارير ديناميكية باستخدام برنامج Power BI تعرض بيانات الاختبارات في صورة مخططات مرئية تفاعلية، ما يتيح للعميل تحليل نتائج الاختبارات بدقة فائقة.

التقنيات والأدوات

Azure, Azure SQL Database, Microsoft SQL Server, Microsoft Power BI.