برج مراقبة لوكلاء الذكاء الاصطناعي: من التجربة إلى التشغيل الموثوق
حين ينتقل وكيل الذكاء الاصطناعي من الإجابة عن سؤال إلى تنفيذ خدمة، تتغير طبيعة المسؤولية. لم يعد كافياً أن نعرف إن كان النموذج يعمل؛ بل يجب أن نعرف من فوّضه، وما البيانات التي استخدمها، وأي أداة استدعاها، وما الأثر الذي أحدثه، ومن يستطيع إيقافه.
لهذا يلفت الانتباه إعلان الإمارات عن تفعيل «برج مراقبة» افتراضي لوكلاء الذكاء الاصطناعي في العمل الحكومي. ووفق وكالة أنباء الإمارات، يهدف البرج إلى متابعة الكفاءة والسلامة والموثوقية وقياس القيمة المضافة، بالتوازي مع السعي إلى تحويل 50% من الخدمات والعمليات الحكومية إلى نماذج مدعومة بالذكاء الاصطناعي المساعد خلال عامين.
لم تُنشر بعد تفاصيل البنية التقنية الداخلية لهذا البرج. لذلك لا نزعم هنا وصف النظام الحكومي، بل نستخلص منه نموذجاً عملياً يمكن أن تبدأ به الشركات والجهات التي تريد توسيع استخدام الوكلاء من دون أن تفقد القدرة على الرقابة والمساءلة.
المراقبة التقليدية ترى الخادم ولا ترى القرار
في التطبيقات المعتادة، تكشف لوحة المراقبة زمن الاستجابة ونسبة الأخطاء وتعطل الخدمات. أما الوكيل فيختار مسار العمل أثناء التنفيذ: يبحث في مصدر، ويستدعي أداة، ويجمع بيانات، ثم يقرر الخطوة التالية. قد تكون كل الخوادم سليمة بينما ينفذ الوكيل الإجراء الصحيح على حساب العميل الخطأ، أو يعيد معاملة مالية مرتين، أو يبني توصية على سياسة قديمة.
لذلك يجب أن تربط المراقبة بين الأداء التقني والأثر الحقيقي. لا يكفي أن نسجل أن استدعاء واجهة برمجية نجح؛ بل ينبغي أن نعرف لماذا كان مسموحاً، وما النطاق الذي مُنح للوكيل، وهل احتاج موافقة بشرية، وما الذي تغيّر في النظام بعد التنفيذ.
تشير تغطية الإمارات اليوم إلى تسجيل أفعال الوكلاء وعمليات اتخاذ القرار وإخضاعها لتدقيق مستمر بواسطة الأنظمة والموظفين، كما تبرز مبدأ تصنيف الخدمات بحسب أثر الخطأ المحتمل. وهذه نقطة مركزية: تجديد وثيقة أو تقديم معلومة أولية ليس مثل رفض استحقاق أو تنفيذ تحويل مالي.
ست طبقات لبرج مراقبة قابل للتنفيذ
- سجل موحد للوكلاء. يحصل كل وكيل وكل إصدار منه على هوية ثابتة، ومالك مسؤول، وغرض معتمد، وقائمة بالأدوات والبيانات المسموح بها، وتاريخ مراجعة أو انتهاء. الأسماء العامة مثل «مساعد خدمة العملاء» لا تكفي للمساءلة.
- إيصال قرار منظم. تُسجل لكل مهمة هوية الطلب والوكيل والإصدار، والموظف أو النظام الذي بدأها، والغرض، ومصادر البيانات، واستدعاءات الأدوات، ونتيجة السياسة، والموافقات، والأثر الخارجي، والنتيجة النهائية، ومرجع التراجع عند الحاجة.
- بوابة سياسات خارج الوكيل. يجب أن تمر الإجراءات الحساسة عبر طبقة مستقلة تستطيع السماح أو الرفض أو تقليص النطاق أو طلب موافقة. لا يجوز أن يكون الوكيل هو الحكم النهائي على صلاحياته.
- موافقات حسب المخاطر. يُبنى التصنيف على قابلية التراجع، وقيمة المعاملة، وحساسية البيانات، والأثر في حياة الإنسان أو مصدر رزقه. تمر الإجراءات المحدودة تلقائياً، وتتوقف القرارات الغامضة أو عالية الأثر للمراجعة.
- احتواء فوري. يحتاج المشغل إلى زر إيقاف، وإبطال سريع للاعتمادات، وقواطع على مستوى الأدوات، وقدرة على عزل إصدار واحد من الوكيل من دون تعطيل المنظومة كلها.
- قياس النتيجة. تُقاس نسبة التصحيح والتراجع والتجاوز البشري وتكرار الإجراءات والادعاءات غير المدعومة، إضافة إلى سرعة التعافي ورضا المستخدم. عدد المهام المنفذة ليس دليلاً كافياً على القيمة.
لا تسجّل كل شيء؛ احتفظ بالدليل الصحيح
قد تحتوي الأوامر والمستندات المسترجعة وردود الأدوات على بيانات شخصية أو أسرار تجارية أو مفاتيح وصول. كما أن تخزين كل شيء ينتج ضوضاء تجعل التحقيق أبطأ. الحل هو «عقد أحداث» موحد يحدد الحقول الضرورية، مع حجب الأسرار قبل إرسال السجلات، وتشفيرها، وفصل صلاحية التشغيل عن صلاحية التدقيق، وتطبيق مدد احتفاظ تختلف باختلاف المخاطر.
والأهم ألا نخلط بين شرح يولده النموذج وبين سجل تدقيق موثوق. قد يساعد الشرح المراجع، لكن الدليل المعتمد هو ما رصدته الأنظمة المحيطة: الهوية الفعلية، والمدخلات المرجعية، واستدعاء الأداة، وقرار الصلاحية، والتغيير الذي حدث في الحالة.
يوفر إطار Google الآمن للذكاء الاصطناعي باللغة العربية سياقاً مفيداً لإدارة المخاطر عبر دورة حياة النظام. ويمكن للفرق التقنية أيضاً الاستفادة من معايير OpenTelemetry المفتوحة لتوحيد السجلات والتتبعات، لكن عليها أن تضيف إليها معنى الأعمال: صاحب القرار، والغرض، والسياسة، والأثر.
ابدأ بالمشاهدة قبل منح سلطة التنفيذ
المسار الآمن للتوسع ليس إطلاق الوكيل بكامل الصلاحيات ثم معالجة الأخطاء. يبدأ العمل بوضع المشاهدة فقط: يقترح الوكيل الإجراء، ويسجل برج المراقبة ما كان سيفعله، ثم تقارن الفرق اقتراحاته بالنتائج المعتمدة. بعد ذلك تُفتح له إجراءات منخفضة الأثر وقابلة للتراجع ضمن حدود ضيقة. ولا تتوسع الصلاحيات إلا بعد إثبات استقرار الجودة وفاعلية السياسات واختبار الاستعادة.
هذا مهم في الخدمات التي تجمع بيانات من جهات متعددة. ففي اليوم نفسه الذي برز فيه خبر برج المراقبة، أعلنت الشارقة إطلاق وكيل «نجم» لمساعدة المستثمرين على الوصول إلى خيارات أولية مرتبطة باحتياجات مشروعاتهم. وتوضح صحيفة الخليج أن الخدمة تقدم خيارات أولية قابلة للاستكمال بأسئلة إضافية. هذا الفصل بين المعلومة المساندة والقرار النهائي مثال جيد على ضبط مستوى التفويض.
رؤية قمرة تك: ابنِ طبقة التحكم قبل زيادة عدد الوكلاء
لا تحتاج المؤسسة في البداية إلى منصة ضخمة. تحتاج إلى قواعد يعاد استخدامها مع كل وكيل جديد: سجل واحد للوكلاء، ومخطط موحد لإيصال القرار، وتصنيف واضح للمخاطر، وبوابة سياسات مشتركة.
ابدأ بوكيلين أو ثلاثة، ثم نفّذ تمريناً عملياً لأربع حالات: معاملة مكررة، ومستند مصدر ملوث، واعتماد منتهي، وتوصية خاطئة عالية الأثر. يجب أن يتمكن الفريق من تحديد الوكيل والإصدار، وإيقافه، وحصر السجلات المتأثرة، واستعادة الحالة الصحيحة بسرعة قابلة للقياس.
على المؤسسين تحديد مالك النتيجة عندما يعبر الوكيل أكثر من إدارة. وعلى فرق التشغيل وضع حدود الاحتواء. وعلى الفرق التقنية توحيد الأدلة وإبقاء قرار السماح خارج النموذج. وعلى قادة المنتجات قياس منفعة المستخدم والضرر المحتمل، لا حجم الأتمتة فقط.
الفكرة التي يلخصها «برج المراقبة» بسيطة وحاسمة: لا تزداد الثقة لأن الوكيل أصبح أكثر ذكاءً، بل لأن كل إجراء مهم أصبح مرتبطاً بهوية وحدود ودليل وطريق واضح للتراجع.