يدور موضوع الحلقة حول ثلاث أدوات "ثقيلة" ومتقدمة تهدف إلى إدارة البيانات الضخمة

(Big Data) وضمان جودتها: PySpark، وDVC، وGreat Expectations.1. PySpark (سيد البيانات الضخمة)

• الغرض الرئيسي: معالجة البيانات الضخمة (Petabytes) من خلال المعالجة الموزعة (Distributed Computing) والتوسع (Scaling).
• مقارنة مع Pandas: بينما تعمل Pandas على جهاز واحد وتتقيد بالذاكرة العشوائية (RAM)، يقوم PySpark بتوزيع البيانات والعمليات على عنقود (Cluster) من الأجهزة.
• المميزات الأساسية:
  • التسامح مع الأخطاء (Fault Tolerance): يستخدم مفهوم RDD (Resilient Distributed Datasets) لاسترجاع البيانات المفقودة تلقائياً عبر تتبع Lineage Graph للعمليات.
  • In-Memory Computing: يفضل إبقاء البيانات في الذاكرة لزيادة السرعة (أسرع بـ 100 مرة في بعض الحالات).
• الدمج مع Pandas: يمكن استخدام بيئة Pandas المألوفة داخل PySpark من خلال:
  • Pandas API on Spark: لكتابة كود Pandas عادي يتم تنفيذه بواسطة محرك Spark القوي.
  • Pandas UDFs (Vectorized UDFs): لتوزيع تنفيذ الدوال المعقدة على Cluster باستخدام تقنية Apache Arrow.

2. DVC (Data Version Control)

• الغرض الرئيسي: هو تخزين وتتبع نسخ (Versioning) الملفات الكبيرة والبيانات الخام، وهي مهمة لا يستطيع Git القيام بها بكفاءة.
• الفرق بين DVC وMLflow: هما أداتان مكملتان لبعضهما:
  • MLflow: هو "كراسة النتائج" ويهتم بتسجيل الـ Metrics والـ Parameters والـ Model النهائي (Tracking).
  • DVC: هو "المخزن الذكي" ويهتم بتخزين "تاريخ" تغيّر البيانات (Versioning).
• التكامل: يقوم الفريق الشاطر باستخدام DVC لأخذ "Snapshot" للداتا، وتسجيل الـ Hash الناتج في MLflow كـ Parameter، مما يضمن قابلية استنساخ النتائج الكاملة (Reproducibility).

3. Great Expectations (حارس جودة البيانات)

• الغرض الرئيسي: بناء "Unit Tests" لجودة البيانات، حيث يقوم بتطبيق مجموعة من التوقعات (Expectations) للتحقق من سلامة البيانات قبل دخولها لنموذج التعلم الآلي.
• أمثلة على التوقعات:
  • Range Validation: التحقق من أن القيم تقع ضمن نطاق محدد (مثل الأعمار بين 18 و 100).
  • Null Counts: التأكد من أن نسبة القيم المفقودة (Nulls) لم تتجاوز حداً معيناً.
  • Distribution Matching: التحقق من أن توزيع البيانات اليوم لم يختلف بشكل جذري عن الأمس (Data Drift).
• المميزات الإضافية:
  • Data Docs: يقوم بإنشاء صفحات HTML مرئية تُظهر حالة جودة البيانات (النجاح والفشل) لإرسالها للمديرين.
  • Automated Documentation: تتحول التوقعات المكتوبة تلقائياً إلى Documentation، مما يساعد أعضاء الفريق الجدد على فهم طبيعة البيانات.

Facebook page: https://www.facebook.com/Data-Science-Belarabi-101963665978677

Linkedin Page: Data Science بالعربي: Company Page Admin | LinkedIn

تناقش الحلقة فكرة أن نجاح مشاريع علم البيانات لا يعتمد فقط على مهارة كتابة الكود (مثل Python وSQL)، بل على استخدام الأدوات المناسبة لتنظيم العمل وجعله قابلًا للتطوير (Scalable).الأدوات الثلاثة التي تم تسليط الضوء عليها هي:

1. Polars (السرعة هي الملك):
   • الوصف: مكتبة بُنيت بلغة Rust وتُعتبر "المستوى التالي" بعد Pandas، خاصةً عند التعامل مع مجموعات البيانات الكبيرة.
   • الميزة الرئيسية: تعتمد على خاصية الـ Lazy Evaluation (التقييم الكسول)، مما يجعل تنفيذ الكود أسرع بكثير من Pandas من خلال إنشاء خطة تنفيذ ذكية (Execution Plan).
   • الفوائد: التعامل مع الملفات الكبيرة (Multi-GBs)، كتابة كود أنظف وأسرع (Multithreading)، والعمل بكفاءة مع تحسين الاستعلامات (Query optimization).
2. MLflow (وداعاً لعشوائية التجارب):
   • الوصف: أداة أساسية في مجال الـ MLOps لتنظيم وإدارة دورة حياة نماذج التعلم الآلي.
   • الميزة الرئيسية: تضمن عدم ضياع تفاصيل النماذج والتجارب المختلفة.
   • الفوائد:
     • Experiment Tracking: تسجيل كل تجربة (المعاملات، المقاييس، الرسوم البيانية).
     • Model Registry: تتبع حالة النموذج (Staging أو Production).
     • Reproducibility: ضمان قدرة أي عضو في الفريق على إعادة تنفيذ النموذج بنفس النتائج.
3. Streamlit (حول الكود لمنتج):
   • الوصف: أداة لسحر "Data Monetization" تسمح لعلماء البيانات بتحويل الكود إلى منتج ملموس (App) يمكن عرضه على أصحاب المصلحة (Stakeholders).
   • الميزة الرئيسية: لا تتطلب معرفة بالـ Front-end (HTML/CSS/JS)، ويتم بناء التطبيقات التفاعلية بالاعتماد على Python فقط.
   • الفوائد: بناء لوحات معلومات (Dashboards) تفاعلية وكاملة في بضعة أسطر من الكود، وممتازة لإنشاء النماذج الأولية (Prototypes) ومنتجات الحد الأدنى القابلة للتطبيق (MVP).

الخلاصة: يؤكد تأكد الحلقة أن استخدام هذه الأدوات يُسهل عمل عالم البيانات ويساعده على الانتقال من مجرد "تجربة كود" إلى "بناء منتجات بيانات حقيقية" لاتخاذ القرارات.

استخدم Polars عشان تنجز في الوقت والـ Performance.

https://www.youtube.com/playlist?list=PLo9Vi5B84_dfAuwJqNYG4XhZMrGT

استخدم MLflow عشان تنظم تجاربك وتبقى محترف MLOps.

https://youtu.be/VokAGy8C6K4?si=HFK9vXNjcyBvlwsa

استخدم Streamlit عشان تظهر قيمة شغلك وتخليه ملموس

https://youtu.be/D0D4Pa22iG0?si=3t2Y3ld9GGNb0R4p

LinkedIn Profile: Data Science بالعربي: Company Page Admin | LinkedIn

Facebook Page: https://www.facebook.com/Data-Science-Belarabi-101963665978677

‘RSSVERIFY’

-يتناول المستند أدوات الذكاء الاصطناعي التي تساعد الأفراد والفرق في حضور الاجتماعات وتلخيصها وتوفير الوقت والمساعده في تحضير العروض التقديمية

جائزة نوبل لعام 2024 في الكيمياء، حصل ديفيد بيكر، ديميس هاسابيس، وجون جمبر على التكريم

بفضل استخدام الذكاء الاصطناعي في التنبؤ بتراكيب البروتينات وتصميمها، مما يمثل إنجازًا غير مسبوق في فهم اللبنات الأساسية للحياة.

الإنجازات الرئيسية:

1. التنبؤ بتراكيب البروتينات: تمكن فريق Google DeepMind بقيادة هاسابيس وجمبر من حل تحدٍ علمي قائم منذ 50 عامًا باستخدام نموذج الذكاء الاصطناعي AlphaFold2. هذا النموذج أتاح التنبؤ بدقة بتراكيب ثلاثية الأبعاد لجميع البروتينات المعروفة تقريبًا، مما سهل أبحاثًا متقدمة، مثل فهم مقاومة المضادات الحيوية وإعادة تدوير البلاستيك.
2. تصميم بروتينات جديدة: حصل ديفيد بيكر من جامعة واشنطن على نصف الجائزة لنجاحه في تصميم بروتينات جديدة تمامًا باستخدام برمجيات حاسوبية متطورة. وقد أدت أبحاثه إلى تطوير بروتينات يمكن استخدامها في تصنيع أدوية ولقاحات ومواد نانوية.

هذه الإنجازات تُظهر كيف أصبح الذكاء الاصطناعي أداة أساسية في البحوث البيوكيميائية، مع وعود هائلة بتسريع الاكتشافات العلمية وتطوير علاجات جديدة للأمراض المعقدة مثل السرطان والاضطرابات العصبية

- فوز ابحاث الذكاء الصناعي بجائزة نوبل في الفيزياء والكيمياء

-أداة تسجيل الاجتماعات FireFlies

-أداة تسجيل الاجتماعات Krisp

-أداة العروض التقديمية Beautiful.Ai

-أضافات البوربوينت Add Ins

-عرض تسلا Tesla