أسقطت أبل بهدوء أ نموذج الذكاء الاصطناعى الجديد على الوجه المعانق مع تطور مثير للاهتمام. بدلاً من كتابة التعليمات البرمجية مثل LLMs التقليدية ، قم بإنشاء نص (من اليسار إلى اليمين ، من أعلى إلى أسفل) ، يمكنه أيضًا الكتابة خارج الترتيب ، وتحسين أجزاء متعددة مرة واحدة.
والنتيجة هي توليد رمز أسرع ، في أداء يتصدر منافسيه نماذج ترميز مفتوحة المصدر. إليكم كيف يعمل.
البتات nerdy
فيما يلي بعض المفاهيم (المبسطة للغاية ، باسم الكفاءة) التي من المهم فهمها قبل أن نتمكن من المضي قدمًا.
تصحيح التلقائي
تقليديًا ، كانت معظم LLMs تلقائية. هذا يعني أنه عندما تسألهم شيئًا ما ، فإنهم يعالجون سؤالك بالكامل ، ويتوقعون الرمز المميز الأول للإجابة ، وإعادة معالجة السؤال بأكمله مع الرمز المميز الأول ، والتنبؤ بالرمز الثاني ، وما إلى ذلك. هذا يجعلهم يولدون نصًا مثل معظمنا يقرأ: من اليسار إلى اليمين ، من أعلى إلى أسفل.
درجة حرارة
LLMs لديها إعداد يسمى درجة الحرارة يتحكم في مدى عشوائي يمكن أن يكون الإخراج. عند التنبؤ بالرمز التالي ، يقوم النموذج بتعيين احتمالات لجميع الخيارات الممكنة. درجة الحرارة المنخفضة تجعل من المرجح أن تختار الرمز المميز الأكثر احتمالا ، في حين أن درجة الحرارة الأعلى تمنحها المزيد من الحرية لاختيار أقل احتمالا.
انتشار
بديل لنماذج الانحدار التلقائي هو نماذج الانتشار ، والتي تم استخدامها في كثير من الأحيان بواسطة نماذج الصور مثل الانتشار المستقر. باختصار ، يبدأ النموذج بصورة غامضة وصاخبة ، ويقوم بإزالة الضوضاء بشكل تكراري مع وضع طلب المستخدم في الاعتبار ، وتوجيهه نحو شيء يشبه أكثر فأكثر ما طلبه المستخدم.
لا يزال معنا؟ عظيم!
في الآونة الأخيرة ، نظرت بعض نماذج اللغة الكبيرة إلى بنية الانتشار لتوليد النص ، وكانت النتائج واعدة إلى حد كبير. إذا كنت ترغب في الغوص بشكل أعمق في كيفية عمله ، فإليك شرحًا رائعًا:
لماذا أخبرك بكل هذا؟ لأنه الآن يمكنك أن ترى لماذا يمكن أن تكون نماذج النص المستندة إلى الانتشار أسرع من النماذج التلقائية ، حيث يمكنها أساسًا (مرة أخرى ، أساسًا) صقل النص بأكمله بالتوازي.
هذا السلوك مفيد بشكل خاص للبرمجة ، حيث يهم الهيكل العالمي أكثر من التنبؤ المميز الخطي.
فوز! لقد صنعناها. لذا أصدرت شركة Apple نموذجًا؟
نعم. أصدروا نموذجًا مفتوح المصدر يسمى Diffucode-7b-Cpgrpo، الذي يبني فوق ورقة تسمى Diffucoder: فهم وتحسين نماذج الانتشار المقنى لتوليد الكود، صدر فقط الشهر الماضي.
تصف الورقة نموذجًا يأخذ نهجًا أولاً في توليد الكود ، ولكن مع تطور:
“عندما تزيد درجة حرارة أخذ العينات من الافتراضي 0.2 إلى 1.2 ، يصبح Diffucoder أكثر مرونة في ترتيب توليد الرمز المميز ، مما يحرر نفسه من قيود صارمة من اليسار إلى اليمين”
هذا يعني أنه من خلال ضبط درجة الحرارة ، يمكن أن يتصرف أيضًا إما (أو أقل) مثل نموذج الانحدار التلقائي. في جوهرها ، تمنح درجات الحرارة المرتفعة مرونة أكبر لتوليد الرموز المميزة خارج الترتيب ، في حين أن درجات الحرارة المنخفضة تبقيها أقرب إلى فك التشفير الصارم من اليسار إلى اليمين.
ومع خطوة تدريب إضافية تسمى GRPO CAINGING ، تعلمت إنشاء رمز عالي الجودة مع عدد أقل من التمريرات. النتيجة؟ رمز أسرع لتوليد ، متماسك عالميًا ، وتنافسية مع بعض من أفضل نماذج البرمجة المفتوحة المصدر هناك.
بنيت على قمة LLM مفتوحة المصدر من قبل Alibaba
والأمر الأكثر إثارة للاهتمام ، أن نموذج Apple مبني على رأس QWEN2.5‑7B ، وهو نموذج أساس مفتوح المصدر من Alibaba. قامت Alibaba لأول مرة بضبط هذا النموذج لتوليد الكود الأفضل (مثل QWEN2.5-CODER-7B) ، ثم أخذته Apple وقامت بإجراء تعديلات خاصة بها.
قاموا بتحويله إلى نموذج جديد مع وحدة فك ترميز قائمة على الانتشار ، كما هو موضح في ورقة Diffucoder ، ثم قاموا بتعديله مرة أخرى لمتابعة التعليمات بشكل أفضل. بمجرد الانتهاء من ذلك ، قاموا بتدريب نسخة أخرى منه باستخدام أكثر من 20،000 أمثلة ترميز تم اختيارها بعناية.
وكل هذا العمل يؤتي ثماره. Diffucoder-7b-Cpgrpo حصلت على زيادة بنسبة 4.4 ٪ على معيار الترميز الشهير ، وحافظت على انخفاض تبعيةها على توليد التعليمات البرمجية بدقة من اليسار إلى اليمين.
بالطبع ، هناك مساحة كبيرة للتحسين. على الرغم من أن Diffucoder كان أفضل من العديد من نماذج الترميز القائمة على الانتشار (وكان ذلك قبل نتوء 4.4 ٪ من Diffucoder-7b-Cpgrpo) ، لا يزال لا يصل إلى مستوى انتشار GPT-4 أو الجوزاء.
وعلى الرغم من أن البعض أشار إلى أن 7 مليارات من المعلمات قد تكون محدودة ، أو أن جيلها القائم على الانتشار لا يزال يشبه عملية متسلسلة ، فإن النقطة الأكبر هي: القليل فشيئًا ، كانت شركة Apple تضع الأساس لجهود AI التوليدية مع بعض الأفكار المثيرة للاهتمام والجديدة.
ما إذا كان (أو إذا؟
يتعامل AirPods على Amazon
FTC: نحن نستخدم روابط التابعة لمكسب الدخل. أكثر.
اترك تعليقاً