LLaVA 1.5: بديل مفتوح المصدر لـ GPT-4 Vision
يمثل التطور السريع لنماذج اللغة متعددة الوسائط (LMM) نقطة تحول في تاريخ الذكاء الاصطناعي التوليدي. هذا التطور، الذي تجسده رؤية GPT-4 من OpenAI، يأخذ بعدًا جديدًا مع وصول LLaVA 1.5، وهو حل واعد مفتوح المصدر. دعونا نتعمق في هذه الديناميكية حيث يسير الابتكار وإمكانية الوصول جنبًا إلى جنب.
ميكانيكا LMM
تعمل LMMs باستخدام بنية متعددة الطبقات. فهي تجمع بين نموذج مدرب مسبقًا لمعالجة العناصر المرئية، ونموذج لغة كبير (LLM) لفهم تعليمات المستخدم والاستجابة لها، وموصل متعدد الوسائط لربط الرؤية واللغة.
ويتم تدريبهم على مرحلتين: مرحلة المواءمة بين الرؤية واللغة، يليها التكيف الدقيق للاستجابة للطلبات البصرية. هذه العملية، على الرغم من كفاءتها، غالبا ما تتطلب موارد حاسوبية كبيرة وتعتمد على قاعدة بيانات غنية ودقيقة.
مميزات برنامج LLaVA 1.5
يستخدم LLaVA 1.5 نموذج CLIP للمعالجة المرئية وVicuna للغة. على عكس النموذج الأصلي، LLaVA، الذي كان يعتمد على الإصدارات النصية من ChatGPT وGPT-4، يربط LLaVA 1.5 نموذج اللغة والمشفر المرئي باستخدام إدراك متعدد الطبقات (MLP). سمح هذا التحديث لـ LLaVA 1.5 بالتفوق على LMMs مفتوحة المصدر الأخرى في 11 من 12 معيارًا متعدد الوسائط، وذلك بفضل إضافة ما يقرب من 600000 مثال إلى قاعدة بيانات التدريب الخاصة بها.
مستقبل LMMs مفتوحة المصدر
يُظهر العرض التوضيحي عبر الإنترنت لـ LLaVA 1.5، والذي يمكن للجميع الوصول إليه، نتائج واعدة، حتى بميزانية محدودة. ومع ذلك، تجدر الإشارة إلى أن استخدام البيانات التي تم إنشاؤها بواسطة ChatGPT يقتصر على الأغراض غير التجارية.
وعلى الرغم من هذا التقييد، فإن LLaVA 1.5 يمهد الطريق لمستقبل LMMs مفتوحة المصدر. إن فعاليته من حيث التكلفة وقدرته على توليد بيانات تدريب قابلة للتطوير والكفاءة في معالجة التعليمات المرئية تجعله مقدمة للابتكارات المستقبلية.
يعد LLaVA 1.5 مجرد خطوة أولى في سلسلة من التطورات التي ستواكب التقدم في مجتمع المصادر المفتوحة. ومن خلال توقع نماذج أكثر كفاءة ويمكن الوصول إليها، يمكننا تصور مستقبل حيث تكون تكنولوجيا الذكاء الاصطناعي التوليدي في متناول الجميع، مما يكشف عن الإمكانات اللامحدودة للذكاء الاصطناعي.