بناء مساعد عربي قائم على RAG يجيب بموثوقية

يجيب روبوت المحادثة العربي القائم على التوليد المعزّز بالاسترجاع (RAG) عن الأسئلة باللغة العربية استنادًا إلى مستنداتكم المعتمدة، مع ذكر المصادر التي اعتمد عليها. غير أن بناء مساعد يجيب بموثوقية يتطلب أكثر من إدخال نصوص عربية في مسار RAG تقليدي: فللكلمة العربية الواحدة أشكال كتابة صحيحة متعددة، وتتصل بها سوابق ولواحق، والتشكيل فيها اختياري، واللهجات شائعة الاستخدام، كما أن كثيرًا من مستندات الأعمال العربية ملفات ممسوحة ضوئيًا أو ملفات PDF ثنائية اللغة. والنهج الموثوق هو تنظيف النص وتطبيعه، والاسترجاع بالبحث بالكلمات المفتاحية والبحث بالمعنى معًا، وإعادة ترتيب النتائج، وضبط لغة الإجابة، واختبار كل ذلك بأسئلة عربية حقيقية.

يتناول هذا الدليل كل خطوة من هذه الخطوات، من إعداد المستندات حتى التقييم والنشر. وإن كنتم لا تزالون تختارون بين مساعد يجيب عن الأسئلة ووكيل ينفّذ الإجراءات، فابدأوا بدليلنا حول RAG أم وكلاء الذكاء الاصطناعي.

لماذا تجعل اللغة العربية بناء RAG أصعب

ينجح نظام RAG أو يخفق في مرحلة الاسترجاع: فإذا لم يُعثر على المقطع الصحيح، أجاب حتى أفضل النماذج من مادة خاطئة. وتطرح اللغة العربية تحديات في الاسترجاع لا تعالجها افتراضيًا المسارات المصمَّمة للإنجليزية أولًا.

الصرف الغني والسوابق المتصلة

تُبنى الكلمات العربية من جذور وأوزان، وتتصل بها مباشرةً حروف العطف والجر وأداة التعريف والضمائر. فكلمة مكتوبة واحدة مثل «وبالعقد» تضم حرف عطف وحرف جر وأداة تعريف والاسم. ولن يطابقها البحث بالكلمة المفتاحية «عقد» ما لم يفصل محرك البحث الكلمة أو يردّها إلى جذعها. كما يُنتج الجذر الواحد صيغًا كثيرة مترابطة، فقد يشترك السؤال والسياسة ذات الصلة في المعنى دون أن يشتركا في كلمة واحدة متطابقة.

التشكيل الاختياري

تُحذف الحركات القصيرة (التشكيل) عادةً في الكتابة اليومية. فكلمة «علم» غير المشكولة قد تُقرأ «عِلْم» أو «عَلَم» أو «علَّم» بحسب السياق. ومعظم مستندات الأعمال غير مشكولة، لكن بعض النصوص مشكولة جزئيًا، فتظهر الكلمة نفسها بشكلين مختلفين في مستنداتكم.

اختلاف أشكال الحروف وعدم اتساق الإملاء

لا تُكتب العربية بطريقة موحّدة. ومن أشيع الاختلافات:

• أشكال الألف والهمزة: كثيرًا ما تُستخدم أ وإ وآ وا بالتبادل، فقد تظهر «إدارة» بصيغة «ادارة».
• التاء المربوطة والهاء: كثيرًا ما تُكتب «ة» في آخر الكلمة «ه»، فقد تظهر «مدرسة» بصيغة «مدرسه».
• الألف المقصورة والياء: يكثر التبديل بين «ى» و«ي» في أواخر الكلمات.
• التطويل (الكشيدة): حرف المدّ «ـ» المستخدم لأغراض الضبط البصري، كما في «مـــدير».
• الأرقام: قد تجمع المستندات نفسها بين الأرقام الهندية (١٢٣) والأرقام العربية الغربية (123).

وبالنسبة إلى الحاسوب، يُعدّ كل شكل سلسلة نصية مختلفة، فيفوت السؤالَ المكتوب بطريقةٍ مستندٌ مكتوب بطريقة أخرى.

اللهجات والتبديل بين اللغتين

تُكتب المستندات عادةً بالعربية الفصحى المعاصرة، لكن الناس يسألون كما يتحدثون. فقد يكتب موظف سعودي «وش» أو «ايش» بدلًا من «ماذا»، أو «ابغى» بدلًا من «أريد». ويبدّل كثيرون بين العربية والإنجليزية في الجملة نفسها، مثل «كيف أسوي approve للـ PO؟»، بل يكتب بعضهم العربية بحروف لاتينية وأرقام (Arabizi). ويجب على المساعد الموثوق أن يربط كل ذلك بالمصطلحات الفصيحة والإنجليزية المستخدمة في مستنداتكم.

إعداد المستندات العربية: التعرّف الضوئي والاستخراج والتطبيع والتجزئة

ترجع معظم الإجابات الخاطئة في أنظمة RAG العربية إلى رداءة النص، لا إلى ضعف النموذج.

المستندات الممسوحة ضوئيًا والتعرّف الضوئي على الحروف العربية

كثيرًا ما تكون العقود القديمة والخطابات الموقّعة والنماذج المختومة صورًا ممسوحة ضوئيًا. والتعرّف الضوئي على الحروف (OCR) في العربية أصعب منه في اللاتينية، لأن الخط متصل، وتتغير أشكال الحروف بحسب موقعها، والنقاط وحدها هي ما يميّز حروفًا مثل ب وت وث ون. فالمسح الباهت والأختام فوق النص والدقة المنخفضة تُضيّع تلك النقاط وتغيّر الكلمة. ومن الخطوات العملية:

• فضّلوا الملف الرقمي الأصلي على النسخة الممسوحة، وأعيدوا مسح المستندات المهمة بدقة جيدة.
• اختاروا محرك التعرّف الضوئي باختباره على عيّنة من مستنداتكم العربية، بما فيها الجداول والكتابة اليدوية إن وُجدت.
• ضعوا علامة على الصفحات ذات الثقة المنخفضة في التعرّف الضوئي لمراجعتها بشريًا بدلًا من فهرستها دون تنبيه.

استخراج النص واتجاهه

حتى ملفات PDF الرقمية قد تُنتج نصًا عربيًا مشوّهًا عند الاستخراج: حروف معكوسة الترتيب، أو حروف مخزّنة بصيغ العرض في Unicode (Presentation Forms)، أو مقاطع عربية وإنجليزية في غير موضعها على الأسطر ثنائية الاتجاه. لذا افحصوا بالعين النص المستخرج من كل نوع من المستندات. ويحوّل تطبيع التوافق في Unicode ‏(NFKC) صيغ العرض إلى الحروف القياسية، لكن اختبروا أثره على محتواكم قبل تطبيقه على نطاق واسع.

خيارات تطبيع النص (Normalization)

يجعل التطبيعُ أشكالَ الكتابة المتكافئة متطابقة. والقاعدة الأهم: طبّقوا التطبيع نفسه تمامًا على النص المفهرس وعلى أسئلة المستخدمين، واحتفظوا بالنص الأصلي للعرض والمراجع.

وللبحث بالكلمات المفتاحية، أضيفوا ردًّا خفيفًا إلى الجذع (Light Stemming) أو ردًّا إلى الأصل المعجمي (Lemmatization) حتى لا تمنع السوابق واللواحق المتصلة المطابقة. وتتضمن محركات بحث كثيرة محللًا للنص العربي لهذا الغرض؛ فاختبروه بمصطلحاتكم، لأن الرد المفرط إلى الجذع قد يدمج كلمات مختلفة المعنى.

تجزئة المستندات العربية وثنائية اللغة (Chunking)

تقسّم التجزئة المستندات إلى مقاطع قابلة للاسترجاع. وفي المحتوى العربي:

• قسّموا وفق العناوين والمواد والبنود لا وفق عدد ثابت من الأحرف، واحتفظوا بعنوان المستند والقسم ورقم الصفحة بيانات وصفية.
• في المستندات ثنائية اللغة ذات العمودين المتقابلين، افهرسوا كل لغة جزءًا مستقلًا يشترك مع نظيره في مرجع القسم نفسه.
• حوّلوا الجداول إلى صفوف تكرر عناوين الأعمدة، حتى يبقى الصف المسترجع مفهومًا بمفرده. وتحققوا من ترتيب الأعمدة، إذ كثيرًا ما تُستخرج الجداول المكتوبة من اليمين إلى اليسار بأعمدة معكوسة.

الاسترجاع: التضمينات متعددة اللغات والبحث الهجين وإعادة الترتيب

نماذج التضمين متعددة اللغات

يحوّل نموذج التضمين النص إلى أرقام تمثّل معناه. وتضع نماذج التضمين متعددة اللغات النصوص العربية والإنجليزية في الفضاء نفسه، فيستطيع سؤال عربي أن يعثر على مقطع إنجليزي والعكس. وتتفاوت نماذج التضمين تفاوتًا كبيرًا في جودة العربية وتغطية اللهجات، لذا اختاروا قائمة قصيرة منها وقارنوها بمجموعة اختبار مبنية من مستنداتكم وأسئلتكم، بدلًا من الاعتماد على التصنيفات العامة.

البحث الهجين بالكلمات المفتاحية والمتجهات

يعثر البحث المتجهي على المقاطع المتشابهة في المعنى حتى إن اختلفت الصياغة، وهو ما يفيد مع أسئلة اللهجات والأسئلة المعاد صياغتها. أما البحث بالكلمات المفتاحية فيعثر على المصطلحات الدقيقة التي قد يفوّتها البحث المتجهي: أرقام العقود، ورموز الأصناف، والأسماء، ومراجع البنود، والمصطلحات التخصصية. ويشغّل الاسترجاع الهجين الطريقتين معًا ويدمج نتائجهما، مثلًا بأسلوب دمج الترتيب التبادلي (Reciprocal Rank Fusion). وفي العربية، يكون هذا الجمع عادةً أمتن من أي طريقة منفردة.

إعادة صياغة الاستعلام

قبل البحث، يستطيع نموذج لغوي إعادة صياغة السؤال: تحويل اللهجة إلى الفصحى، وفك الاختصارات، وإضافة المقابلات الإنجليزية للمصطلحات الرئيسية. ابحثوا بالسؤال الأصلي والسؤال المعاد صياغته معًا، وسجّلوا كليهما.

إعادة الترتيب (Reranking)

يُلقي الاسترجاع شبكة واسعة؛ ثم يقرأ نموذج إعادة الترتيب السؤال مع كل مقطع مرشّح ويعيد ترتيب المقاطع وفق صلتها بالسؤال. استخدموا نموذج إعادة ترتيب يدعم العربية، ولا ترسلوا إلى النموذج اللغوي إلا المقاطع الأعلى ترتيبًا، فذلك يقلل التشويش ويحسّن الدقة.

ضبط لغة الإجابة والمراجع

اكتبوا قواعد اللغة ضمن تعليمات النظام:

• لغة الإجابة. عادةً لغة السؤال، وبالفصحى حتى إن كان السؤال باللهجة.
• المصطلحات. أبقوا المصطلحات الرسمية وأسماء المنتجات والرموز كما وردت في المصدر تمامًا دون ترجمتها.
• التواريخ والأرقام. قد تستخدم المستندات السعودية التاريخ الهجري أو الميلادي. وجّهوا النموذج إلى ذكر التقويم الذي يتبعه التاريخ وعدم تحويل التواريخ إلا عند الطلب.
• الاقتباس عبر اللغتين. إذا كانت الإجابة بالعربية والمصدر بالإنجليزية، فاعرضوا المقطع الأصلي في المرجع حتى يتمكن القارئ من التحقق من الترجمة.

وينبغي أن تذكر كل إجابة المستند والقسم والصفحة التي تستند إليها كل نقطة، مع رابط يفتح المصدر. ووجّهوا المساعد إلى التصريح بوضوح حين لا تتضمن المصادر المعتمدة الإجابة، بدلًا من سدّ الفجوة من المعرفة العامة.

تقييم الإجابات باللغة العربية

العرض التوضيحي الناجح لا يثبت الكثير. قيسوا أداء المساعد قبل الإطلاق، وكلما تغيّر النموذج أو الموجّهات أو المستندات أو الإعدادات.

• ابنوا مجموعة اختبار عربية. اجمعوا أسئلة حقيقية من الأشخاص الذين سيستخدمون المساعد، مع إجابات صحيحة ومقاطع مصدرية يؤكدها خبراء الموضوع. وضمّنوها صياغات بالفصحى واللهجة، وأشكال إملاء مختلفة، وأسئلة تمزج العربية بالإنجليزية، وأسئلة لا توجد إجابتها في المستندات.
• قيسوا استدعاء الاسترجاع (Recall). تحققوا لكل سؤال مما إذا كان المقطع الصحيح ضمن النتائج المسترجعة. فإن لم يكن كذلك، أصلحوا الاسترجاع قبل تعديل الموجّهات.
• قيسوا الأمانة للمصدر (Faithfulness). تحققوا من أن كل عبارة في الإجابة مدعومة بالمقاطع المُستشهد بها، وأن المراجع تشير إلى الموضع الصحيح.
• افحصوا جودة اللغة. تأكدوا من اللغة المتوقعة وسلامة القواعد وصحة المصطلحات.
• استعينوا بمتحدثين أصليين. يفيد التقييم الآلي باستخدام نموذج لغوي بوصفه مقيِّمًا عند التوسع، لكن تحققوا منه مقابل مراجعين ناطقين بالعربية، يلتقطون أخطاءً يفوّتها المقيِّم الآلي.

وبعد الإطلاق، راجعوا المحادثات الحقيقية بانتظام وأضيفوا الإخفاقات إلى مجموعة الاختبار.

ضوابط الوصول ونظام حماية البيانات الشخصية وخيارات النشر

الصلاحيات عند الاسترجاع. يجب ألّا يكشف المساعد أبدًا مستندًا لا يستطيع المستخدم فتحه مباشرة. خزّنوا صلاحيات الوصول مع كل جزء، وصفّوا النتائج وفق هوية المستخدم قبل أن تصل المقاطع إلى النموذج.

البيانات الشخصية. حدّدوا المستندات التي تتضمن بيانات شخصية، واستبعدوا ما لا يحتاج إليه المساعد، وأخفوا الحقول الحساسة حيثما أمكن. وقرّروا مدة الاحتفاظ بالأسئلة والإجابات والمقاطع المسترجعة في السجلات، ومن يحق له الاطلاع عليها. ويحكم نظام حماية البيانات الشخصية ولوائحه كيفية معالجة البيانات الشخصية والاحتفاظ بها ونقلها خارج المملكة؛ لذا تحققوا من التزاماتكم المحددة مع مستشاريكم القانونيين ومستشاري الامتثال.

النشر والاستضافة. كل مكوّن يتعامل مع بياناتكم مهم: النموذج اللغوي، ونموذج التضمين، ونموذج إعادة الترتيب، والفهرس المتجهي، والسجلات، والنسخ الاحتياطية. وتأكدوا لكلٍّ منها من موقع استضافته، ومما إذا كانت منطقة استضافة داخل المملكة متاحة أو مطلوبة لبياناتكم أو عقودكم، ومما إذا كانت الموجّهات يُحتفظ بها أو تُستخدم في التدريب، ومما إذا كان نموذج مستضاف ذاتيًا أنسب للمحتوى الحساس. واجعلوا تصنيف بياناتكم هو ما يحدد الاختيار.

خطة بناء خطوة بخطوة

1. اختاروا حالة استخدام واحدة. مجموعة مستندات وجمهور محدَّدان، مثل سياسات الموارد البشرية للموظفين.
2. راجعوا المستندات. حدّدوا الملفات الممسوحة ضوئيًا، والملفات ثنائية اللغة، والجداول، والإصدارات القديمة؛ وأصلحوا المصادر الرديئة أو استبعدوها.
3. جهّزوا النص. شغّلوا التعرّف الضوئي حيث يلزم، وتحققوا من الاستخراج، وحدّدوا قواعد التطبيع، وجزّئوا وفق بنية المستند.
4. ابنوا الاسترجاع الهجين. افهرسوا بمحلل كلمات مفتاحية يدعم العربية ونموذج تضمين متعدد اللغات، ثم أضيفوا إعادة الترتيب.
5. ضعوا قواعد اللغة والمراجع. اكتبوا تعليمات واضحة بشأن لغة الإجابة والمصطلحات والتواريخ والامتناع عن الإجابة حين تخلو المصادر منها.
6. قيّموا بمجموعة اختبار عربية. قيسوا استدعاء الاسترجاع والأمانة للمصدر وجودة اللغة، مع مراجعة من متحدثين أصليين.
7. أمّنوا النظام وجرّبوه. طبّقوا الصلاحيات والتسجيل، ثم نفّذوا تجربة أولية مع مجموعة صغيرة تُبلغ عن كل إجابة خاطئة أو غير واضحة.
8. راقبوا وتوسّعوا. تابعوا الجودة والتكلفة، وحدّثوا الفهرس كلما تغيّرت المستندات، ثم أضيفوا مجموعة المستندات التالية.

أخطاء شائعة

• فهرسة نص لم يراجعه أحد. فالحروف المعكوسة والنقاط الضائعة والجداول المضطربة تُفسد الاسترجاع بصمت.
• تطبيع المستندات دون الأسئلة، أو العكس، فلا يتطابقان أبدًا.
• الاعتماد على البحث المتجهي وحده، وهو ما يفوّت الرموز والأسماء ومراجع البنود الدقيقة.
• الاختبار بالإنجليزية وحدها أو بالفصحى وحدها، بينما يسأل المستخدمون الحقيقيون باللهجة وبلغة مختلطة.
• تصفية الصلاحيات بعد توليد الإجابة، مما قد يُسرّب محتوى مقيّدًا إلى الإجابة.

الأسئلة الشائعة

هل يمكن لمساعد واحد التعامل مع المستندات العربية والإنجليزية معًا؟

نعم. فباستخدام نموذج تضمين متعدد اللغات واسترجاع هجين، يستطيع البحث في اللغتين والإجابة بلغة المستخدم. واختبروا الأسئلة العابرة للغتين على وجه الخصوص.

هل يفهم المساعد اللهجة السعودية؟

تفهم النماذج اللغوية الحديثة عمومًا التعبيرات الخليجية والسعودية الشائعة، لكن نقطة الضعف هي الاسترجاع، لأن المستندات مكتوبة بالفصحى. وتعالج إعادةُ صياغة الاستعلام إلى الفصحى ومجموعةُ اختبار تتضمن أسئلة باللهجة هذه المشكلة.

هل ينبغي إزالة التشكيل من مستنداتنا؟

أزيلوه من النسخة القابلة للبحث حتى تتطابق النصوص المشكولة وغير المشكولة، لكن احتفظوا بالنص الأصلي للعرض والمراجع. فبذلك تحصلون على بحث متسق دون تغيير ما يقرؤه المستخدمون.

ماذا لو كانت معظم مستنداتنا ممسوحة ضوئيًا؟

قيسوا أولًا جودة التعرّف الضوئي على عيّنة ممثِّلة. واحصلوا على النسخ الرقمية الأصلية أو أعيدوا مسح أهم المستندات، ووجّهوا الصفحات ذات الثقة المنخفضة إلى المراجعة البشرية.

هل نحتاج إلى تدريب نموذج عربي خاص بنا؟

في الغالب لا. فالإعداد الدقيق للمستندات، والتطبيع، والاسترجاع الهجين، وإعادة الترتيب، والتقييم، تحل معظم مشكلات الموثوقية باستخدام النماذج القائمة. وقد يفيد الضبط الدقيق للنموذج في حالات محدودة، لكنه لا يُغني عن الاسترجاع من مصادر محدّثة يمكن الإحالة إليها.

تبني AIMLTS، ومقرها جدة، مساعدات RAG تستند إلى مستنداتكم وبيانات نظام ERP لديكم، مع تقنيات ذكاء المستندات للاستخراج والتعرّف الضوئي، وضوابط الوصول، والتقييم، والضوابط الوقائية المصمَّمة منذ البداية. تعرّفوا أكثر على خدمة وكلاء الذكاء الاصطناعي والأتمتة، أو احجزوا مكالمة استكشافية لمناقشة مستنداتكم العربية وحالة الاستخدام الأولى لديكم.