إنشاء حل ذكاء أعمال (BI) يمتثل للوائح التنظيمية، ويوفر تقارير أسرع 30 مرة بتكاليف سحابية أقل بنسبة 30%

العميل

شركة إماراتية ناشئة في مجال التقنية المالية، لديها منصة دفع رقمية مبتكرة.

الاستعلامات التحليلية الكثيفة تؤثر في أداء منصة الدفع

كانت منصة الدفع الرقمية المملوكة لشركة العميل تستخدم خدمة قاعدة البيانات الارتباطية Amazon RDS كقاعدة بيانات تشغيلية، وكمصدر رئيسي للبيانات المستخدمة في التحليلات الداخلية، حيث كانت الشركة تستخدم خدمة AWS Glue لاستخراج بيانات المعاملات والعملاء من المنصة وعرضها باستخدام جداول بيانات Excel. بهذه الطريقة، تمكَّنت الشركة من مقارنة إيراداتها عبر فترات زمنية مختلفة، والحصول على أفكار ومعلومات قيِّمة حول مُستخدمي المنصة. ومع نمو قاعدة العملاء وزيادة حجم البيانات، أثرت الاستعلامات التحليلية الكثيفة في قاعدة البيانات، ما بدأ يؤثر أيضًا في أداء منصة الدفع. بالإضافة إلى ذلك، أصبحت عمليات التحليلات أبطأ بكثير مما سبق.

في الوقت ذاته، كان العميل يخطط لدخول سوق جديدة في منطقة جغرافية تُطبِّق قوانين صارمة لحماية البيانات، ولم يكن لدى منصة AWS خوادم محلية متوافقة مع اللوائح التنظيمية لتلك المنطقة. كذلك، لم يكن العميل راضيًا عن الرسوم العالية لخدمات AWS، لذا؛ بدأ البحث عن حل سحابي بديل بتكلفة أقل.

للتغلب على كل هذه التحديات، خطط العميل لترحيل منصة الدفع الرقمية إلى بيئة سحابية أخرى تلبي كافة متطلبات الامتثال التنظيمي وتوفر أداءً عال بتكلفة أقل. ولإثبات جدوى الترحيل السحابي الكامل للمنصة، قرر العميل البدء بترحيل العمليات التحليلية أولًا.

نتيجةً لرضا العميل عن تعاونه السابق مع ساينس سوفت في تطوير منصة لخدمات الشراء الآن والدفع لاحقًا (BNPL)، قرر التعاون معنا مجددًا لتنفيذ هذا المشروع.

تطوير نهج تحليلي مواكب لمتطلبات المستقبل

بدأ فريقنا عمله بمراجعة مصادر البيانات والعمليات التحليلية لدى العميل، واستنتج أن نموذج البيانات كان فعّالًا، لكن كانت استعلامات SQL تضم العديد من المشكلات. ولمعالجة مشكلات أداء منصة الدفع وتحسين كفاءة إعداد التقارير، أوصى خبراؤنا بإنشاء حل تحليلي شامل عوضًا عن ترحيل العمليات التحليلية.

اقترحت ساينس سوفت إنشاء مستودع بيانات (DWH) يستخدم استعلامات نسخ البيانات لاستدعاء البيانات من قاعدة البيانات RDS. ولأن هذه الاستعلامات أقل استهلاكًا للموارد مقارنةً بالاستعلامات التقليدية، فإنها ستقلل بقدرٍ كبير من الأعباء على منصة الدفع. إلى جانب ذلك، سيتيح مستودع البيانات استخدام إحدى أدوات ذكاء الأعمال (BI) الذاتية بدلًا من الاعتماد على جداول بيانات Excel التقليدية. باستخدام حل ذكاء الأعمال، سيتمكَّن موظفو العميل من الحصول على تحليلات أكثر وضوحًا وفائدةً، وعرض مؤشرات الأداء والمقاييس المستهدفة بشكل مرئي، بالإضافة إلى إعداد تقارير مُخصصة دون الحاجة إلى أي مساعدة تقنية خارجية. اقترحت ساينس سوفت أيضًا إصلاح وتحسين كود SQL الذي يستخدمه العميل، لأن ذلك سيستغرق وقتًا وتكلفة أقل بكثير من تطوير استعلامات جديدة من الصفر.

نظرًا لخطط العميل المستقبلية لترحيل منصة الدفع بأكملها إلى بيئة سحابية جديدة، سيكون من الضروري استبدال قاعدة البيانات RDS بمصدر آخر للبيانات. ولتجنب أي مشكلات محتملة تتعلق بالاتصال، ركزت ساينس سوفت على ضمان قابلية التشغيل المتبادل بالكامل بين مستودع البيانات ومصدر البيانات الجديد، بغض النظر عن نوعه. كما اقترح خبراؤنا استخدام منصة نقل البيانات Airbyte، لتوافقها مع العديد من مصادر البيانات، ولقدرتها على تمكين نسخ البيانات بكفاءة، بالإضافة إلى احتوائها على أدوات لتطوير البرمجيات تتيح إنشاء مُوصِّلات مُخصصة عند الحاجة.

في الوقت نفسه، بدأت ساينس سوفت البحث عن بيئة سحابية متوافقة مع اللوائح التنظيمية وموفرة للتكلفة. وقد أوصى خبراؤنا بمنصة جوجل السحابية (GCP)، لقدرتها على تغطية المناطق الجغرافية المطلوبة، وتوفير مصادر تشغيلية وتحليلة كافية بتكلفة مناسبة.

تصميم وتنفيذ حل ذكاء الأعمال القائم على منصة جوجل السحابية

بعد موافقة العميل، نفَّذ خبراء ساينس سوفت نظام التحليلات الجديد بالوظائف الآتية:

استيراد البيانات الأوَّلية من قاعدة البيانات Amazon RDS

يعمل الحل على نسخ البيانات بأمان من المصدر المؤقت (قاعدة البيانات Amazon RDS) باستخدام منصة Airbyte، ثم تخزينها في بحيرة بيانات مستندة إلى خدمة التخزين السحابي Google Cloud Storage. وعند معالجة بيانات معاملات الدفع، يُحمِّل الحل التحديثات فقط، ما يحقق أقصى استفادة من استهلاك الموارد، ويقلل الأحمال على مخازن قاعدة البيانات RDS، بالإضافة إلى تقديم أحدث الرؤى والمعلومات عن الإيرادات لإعداد تقارير دقيقة بكفاءة.

تحويل البيانات وتنظيمها

بعد معالجة بيانات الدفع، تُزال التكرارات منها وتهيئتها لتلائم نموذج البيانات القياسي قبل نقلها إلى منطقة التخزين المؤقت داخل مستودع البيانات Google BigQuery. ولأن خدمة قاعدة البيانات AWS RDS تُخزِّن البيانات المُنظمة في جداول، بينما تتعامل خدمة Google BigQuery مع البيانات غير المُنظمة، فقد كان من الضروري ضمان التمثيل الدقيق للبيانات في منطقة التخزين المؤقت. لتحقيق ذلك، أنشأنا جداول مخصصة داخل مستودع Google BigQuery متوافقة هيكليًا مع بنية بيانات المصدر.

لإعداد البيانات المنقحة سابقًا للتحليلات، يتحقق الحل من صحتها، ويُثريها، ويُجمِّعها، ثم يرسلها إلى مستودع البيانات (DWH). تنتقل البيانات بين الطبقات من خلال إجراءات SQL المُخزنة المُدارة بواسطة أداة تنسيق البيانات Airflow. إلى جانب ذلك، أعدت ساينس سوفت نظام إشعارات باستخدام منصة Slack لإخطار فريق العميل بأي مشكلات متعلقة بإدارة البيانات.

تمكين الأمان

تمكَّن خبراء ساينس سوفت من تهيئة إعدادات الأمان في منصة جوجل السحابية، بما في ذلك آليات إدارة الهوية والوصول وتشفير البيانات. نتيجة لذلك، لا يمكن الوصول إلى البيانات إلا من خلال عناوين IP مُحددة سابقًا. كما يستخدم الحل استعلامات SQL الأصلية لدى العميل التي تمكن فريقنا من تصحيحها وتحسينها بكفاءة.

تطوير حل قائم على ذكاء الأعمال متوافق وموفر للتكلفة في 3 أشهر فقط

في غضون 3 أشهر فقط، حصل العميل على حل تحليلي شامل لاستبدال عمليات التحليلات البطيئة التي كانت تؤثر في أداء منصة الدفع الرقمية المملوكة للشركة. وبفضل نظام ذكاء الأعمال ذاتي الخدمة الجديد، تمكَّن العميل من إعداد التقارير أسرع بمقدار 30 مرة مقارنةً بالعمليات التحليلية القديمة القائمة على جداول البيانات، كما ساعد الانتقال من منصة AWS إلى منصة جوجل السحابية (GCP) على تقليل التكاليف السحابية بنسبة 30%، مع ضمان الامتثال للوائح خصوصية البيانات المعمول بها في السوق المستهدف.

نظرًا لرضا العميل عن إمكانات وأسعار البيئة السحابية الجديدة، تخطط الشركة حاليًا لتحويل منصة الدفع الرقمية بالكامل إلى منصة جوجل السحابية (GCP).

التقنيات والأدوات

Google Cloud Platform, Google Cloud Storage, Google Big Query, Looker.