“الانتباه هو كل ما تحتاجه” المبدعون ينظرون إلى ما هو أبعد من المحولات إلى الذكاء الاصطناعي في Nvidia GTC: “العالم يحتاج إلى شيء أفضل”

اجتمع سبعة من المؤلفين الثمانية الذين كتبوا “الاهتمام الذي تحتاجه” والذي أطلق Transformers معًا لأول مرة كمجموعة للدردشة مع الرئيس التنفيذي لشركة Nvidia Jensen Huang في قاعة مزدحمة في مؤتمر GTC اليوم.

ومن بينهم نعوم شاسير، المؤسس المشارك والرئيس التنفيذي لشركة Character.ai؛ إيدان جوميز، المؤسس المشارك والرئيس التنفيذي لشركة Cohere؛ وأشيش فاسواني، المؤسس المشارك والرئيس التنفيذي لشركة Essential AI؛ وليون جونز، المؤسس المشارك والرئيس التنفيذي للتكنولوجيا في شركة Sagana AI؛ إيليا بولوسوكين، المؤسس المشارك لـ NEAR Protocol؛ جاكوب أوسخوريت، المؤسس المشارك والرئيس التنفيذي لشركة Inceptive؛ ولوكاس كايزر، عضو فريق OpenAI الفني. ولم يتمكن نيكي بارمار، المؤسس المشارك لشركة Essential AI، من الحضور.

في عام 2017، فاز فريق مكون من ثمانية أشخاص في Google Brain بالميدالية الذهبية مع Transformers، وهو اختراق في البرمجة اللغوية العصبية للشبكة العصبية استحوذ على سياق الكلمات ومعناها بدقة أكبر من سابقاتها: شبكة عصبية متكررة وشبكة ذاكرة طويلة المدى. أصبحت بنية Transformer هي أساس برامج LLM مثل GPT-4 وChatGPT، ولكن أيضًا التطبيقات غير اللغوية بما في ذلك OpenAI's Codex و ألفافولد للعقل العميق.

“العالم يحتاج إلى ما هو أفضل من المتحولين”

ولكن الآن، يتطلع منشئو Transformers إلى ما هو أبعد مما قاموا بإنشائه – ما هو التالي بالنسبة لنماذج الذكاء الاصطناعي. قال جوهيرز جوميز: “العالم يحتاج إلى شيء أفضل من المتحولون في هذه المرحلة”. إنها خطوة رائعة لأنني أعتقد ذلك [what is there now] إنه نفس ما كان عليه قبل ستة أو سبعة أعوام.

في مناقشة مع VentureBeat بعد الجلسة، توسع جوميز في تعليقاته قائلاً: “سيكون الأمر حزينًا للغاية. [Transformers] “هذا أفضل ما يمكننا القيام به”، هكذا فكر في اليوم التالي لتقديم الفريق ورقة “الانتباه هو كل ما تحتاجه”. “أود أن أرى أنها تصبح أفضل بعشر مرات، لأن الجميع سيتمكنون من الوصول إلى نماذج أفضل بعشر مرات.”

وأشار إلى أن هناك العديد من أوجه القصور في جانب الذاكرة في Transformers وأن العديد من العناصر المعمارية في Transformer ظلت على حالها منذ البداية، وهي “تحتاج إلى إعادة فحصها، وإعادة فحصها”. وأوضح أنه على سبيل المثال، يمكن أن تصبح البيئة الطويلة جدًا باهظة الثمن وغير قابلة للتوسع. بالإضافة إلى ذلك، “يمكن أن تكون المعلمات كبيرة بشكل غير ضروري، ويمكننا ضغطها أكثر، ومشاركة الأوزان في كثير من الأحيان – يمكن أن تقلل الأشياء بأمر من حيث الحجم.”

“من الواضح أنك بحاجة إلى أن تكون أفضل”

واعترف جوميز بأن مؤلفي البحث الآخرين سيوافقون على ذلك، وقال: “هناك درجات متفاوتة حول موعد حدوث ذلك. وستختلف المعتقدات حول موعد حدوثه. لكن الجميع يريد المثل الأعلى – فنحن جميعًا علماء في القلب – وهذا يعني أننا نريد أن انظر التقدم.”

ومع ذلك، خلال الجلسة، أشار جونز من ساجانا إلى أنه “ليس عليك أن تكون عظيمًا” لتنتقل صناعة الذكاء الاصطناعي إلى الشيء التالي بعد المحولات – أيًا كان ذلك. – من الواضح أنك بحاجة إلى أن تكون أفضل… لذا [right now] إنه عالق بالنموذج الأصلي، على الرغم من أنه من الناحية الفنية ليس أقوى شيء في الوقت الحالي.

وافق جوميز على أن المحول كان شائعًا ليس فقط لأنه كان نموذجًا وهندسة معمارية جيدة، ولكن لأن الناس تحمسوا له، فأنت بحاجة إلى كليهما، على حد قوله. وأوضح: “إذا فاتك أحد هذين الأمرين، فلن تتمكن من تحريك المجتمع”. “لذلك، لتشجيع الزخم للانتقال من هندسة معمارية إلى أخرى، عليك أن تضع شيئًا أمام الناس يثير اهتمامهم.”