الذكاء الاصطناعي متعدد الوسائط:
نموذج واحد، حواسّ متعددة

يعالج النموذج أحادي الوسيط نوعاً واحداً من المدخلات. فالنموذج اللغوي النصّي الصِّرف أحادي الوسيط: نص يدخل، نص يخرج.

أما النموذج متعدد الوسائط فيمكنه أخذ أنواع مدخلات عدة ويعالجها عبر مُرمِّزات تحوّل كل وسيط إلى متجهات متوافقة مع التمثيل الداخلي للنموذج. فمن منظور النموذج، تصبح الصورة والفقرة موتّرات متشابهة. وتستدلّ آلية الانتباه نفسها على كليهما. ولا تزال معظم النماذج الحالية متعددة الوسائط تُخرج نصاً فقط، وإن كانت النماذج التي تولّد أيضاً صوراً وصوتاً تصل بسرعة.

يتيح لك تعدّد الوسائط طرح أسئلة مثل: اقرأ هذا المخطط وأخبرني بالاتجاه، أو حدّد الخلل في لقطة شاشة واجهة المستخدم هذه، أو فرّغ هذه المذكرة الصوتية واستخرج بنود العمل منها، أو لخّص هذا البودكاست.

لكنه لا يحلّ مشكلة التأصيل بطريقة سحرية: إذ لا يزال بإمكان النموذج أن يهلوس بشأن ما يراه. غير أنه يزيل عناء تحويل الوسائط يدوياً. وصارت كثير من سير العمل الواقعية (مراجعة التصميم، ومسح المستندات، وإتاحة الوصول) ممكنة الآن في مطالبة واحدة حيث كانت تتطلب سابقاً خط أنابيب كاملاً.