قدرة النماذج الكبيرة على معالجة النصوص الطويلة تتزايد بسرعة، وقد تكون 400000 توكن مجرد البداية

إن قدرة النماذج الكبيرة على معالجة النصوص الطويلة تتزايد بسرعة مذهلة. من 4000 توكن في البداية إلى 400000 توكن اليوم، فإن هذه القدرة في النمو واضحة للعيان.

يبدو أن القدرة على معالجة النصوص الطويلة أصبحت "مواصفة قياسية" جديدة لمصنعي النماذج الكبيرة. على المستوى الدولي، قامت OpenAI من خلال عدة تحديثات بزيادة طول السياق لـ GPT-3.5 و GPT-4 إلى 16,000 و 32,000 توكن على التوالي. بينما قامت Anthropic بمد طول السياق لنموذجها Claude إلى 100,000 توكن. أما LongLLaMA فقد دفعت هذا الرقم إلى 256,000 توكن أو حتى أكثر.

فيما يتعلق بالسوق المحلية، أطلقت شركة الناشئة في نماذج الذكاء الاصطناعي "كيمي شات" المدعومة من "مونز أوف دارك" دعمًا لإدخال 200,000 حرف صيني، وهو ما يعادل حوالي 400,000 توكن. كما أن تقنية "لونغ لورا" التي تم تطويرها بشكل مشترك من قبل جامعة هونغ كونغ الصينية ومعهد ماساتشوستس للتكنولوجيا يمكن أن توسع طول النص لنموذج 7B إلى 100,000 توكن، بينما يمكن أن يصل نموذج 70B إلى 32,000 توكن.

في الوقت الحالي، تركز العديد من شركات النماذج الكبيرة والجهات البحثية الرائدة، بما في ذلك OpenAI وAnthropic وMeta و"الجانب المظلم من القمر"، على توسيع طول السياق كاتجاه رئيسي للتحديث. وكل هذه الشركات بلا استثناء هي المفضلة في أسواق المال. حصلت OpenAI على استثمار يقارب 12 مليار دولار، ومن المتوقع أن تصل قيمة Anthropic إلى 30 مليار دولار، بينما أكملت "الجانب المظلم من القمر" جولات تمويل متعددة بعد ستة أشهر من تأسيسها، مع تقييم يتجاوز 300 مليون دولار.

ماذا يعني الزيادة بمئة مرة في طول السياق؟ على السطح، هذا يوسع نطاق قراءة النموذج. من القدرة على قراءة مقالة قصيرة فقط في البداية، إلى القدرة الآن على قراءة رواية طويلة بسهولة. على مستوى أعمق، فإن تقنية النصوص الطويلة تدفع النماذج الكبيرة نحو تطبيقات في مجالات متخصصة مثل المالية والعدالة والبحث العلمي.

ومع ذلك، فإن طول النص ليس بالضرورة أفضل كلما زاد. تظهر الأبحاث أن دعم النماذج لإدخال سياق أطول لا يؤدي بالضرورة إلى تحسين النتائج. المفتاح هو كيفية استفادة النموذج بشكل فعال من محتوى السياق.

ومع ذلك، يبدو أن الاستكشاف الحالي لطول النص لم يصل بعد إلى "نقطة حرجة". لا تزال شركات النماذج الكبيرة المحلية والأجنبية تحقق اختراقات مستمرة، وقد تكون 400,000 توكن مجرد بداية.

تطور تقنية النصوص الطويلة لم يحل فقط بعض المشكلات المبكرة للنماذج الكبيرة، بل مهد أيضًا الطريق لتعزيز تطبيقات الصناعة. وهذا يشير إلى أن تطوير النماذج الكبيرة يدخل مرحلة جديدة من LLM إلى Long LLM.

في المستقبل، يتطور مساعدو الذكاء الاصطناعي بعيدًا عن دورات الحوار البسيطة نحو الاحترافية والتخصيص والتعمق. قد يصبح هذا أداة جديدة لتحفيز تطبيقات الصناعة وبناء تطبيقات فائقة.

ومع ذلك، لا تزال تقنية النصوص الطويلة تواجه مأزق "مثلث المستحيل": من الصعب التوفيق بين طول النص والانتباه والطاقة الحاسوبية. في الوقت الحالي، يتم السعي لتحقيق突破 بشكل رئيسي من خلال تحسين آلية الانتباه الذاتي، واستخدام أدوات خارجية للمساعدة في المعالجة، وكذلك تحسين النموذج.

الاتجاهات المستقبلية تتعلق بالبحث عن أفضل نقطة توازن بين الثلاثة، من أجل معالجة معلومات كافية مع الأخذ في الاعتبار قيود حساب الانتباه وتكاليف القدرة الحاسوبية. إن التحسين المستمر في القدرة على معالجة النصوص الطويلة سيفتح آفاق تطبيقات أوسع للنماذج الكبيرة.