بناء مستودع بيانات لتحليل المعاملات المالية واكتشاف الاحتيال

قمت بتصميم وبناء مستودع بيانات متطور لتحليل المعاملات المالية الضخمة، مع التركيز على تحسين الأداء واكتشاف المخاطر المالية باستخدام أدوات المعالجة الحديثة.

أبرز المهام التقنية والنتائج:

• هندسة خطوط البيانات (Medallion Pipeline):

بناء مسار بيانات متكامل يعتمد على هيكلية Medallion لمعالجة أكثر من 22.2 مليون سجل مالي باستخدام DuckDB و Apache Airflow.

• تحسين كفاءة الاستيعاب (Ingestion Optimization):**

استخدام DuckDB للقضاء على مشاكل انهيار الذاكرة (Memory Crashes) ومعالجة البيانات المعقدة من نوع JSON وتحويلها إلى جداول منظمة بكفاءة عالية.

• هندسة التحويلات باستخدام dbt:

بناء مخططات dbt (dbt Lineage) لتنظيم تسلسل تحويل البيانات، مع تفعيل اختبارات جودة البيانات (Data Tests) بشكل آلي في كل مرحلة لضمان دقة النتائج.

• نمذجة البيانات والأداء:

تصميم Star Schema مع تطبيق تقنيات SQL Indexing المتقدمة لتحقيق سرعة استعلام فائقة (Sub-second performance) في الطبقة الذهبية.

• تحليل المخاطر والبيانات المالية:

تطوير لوحات تحكم تفاعلية باستخدام Power BI ساهمت في اكتشاف مخاطر احتيال بقيمة 1.4 مليون دولار، خاصة في قطاعات الدخل المنخفض.

التقنيات المستخدمة:

• DuckDB (High-performance analytics)
• dbt (Transformations & Lineage)
• Apache Airflow (Orchestration)
• Power BI
• SQL Server