إيذانا بإطلاق ChatGPT في عصر النماذج اللغوية الكبيرة. بالإضافة إلى عروض OpenAI، تشمل برامج LLM الأخرى عائلة LLM من Google (بما في ذلك Bard)، ومشروع BLOOM (تعاون بين مجموعات في Microsoft وNvidia ومؤسسات أخرى)، وMeta's LLaMA، وAnthropic's Claude.
ولا شك أنه سيتم إنشاء المزيد. في الواقع، أ أبريل 2023 مسح أريز وجدت أن 53% من المشاركين خططوا لنشر LLMs خلال العام المقبل أو قبل ذلك. أحد الأساليب للقيام بذلك هو إنشاء ماجستير إدارة أعمال “عمودي” يبدأ بماجستير إدارة أعمال موجود وإعادة تدريبه بعناية على المعرفة الخاصة بمجال معين. يمكن أن ينجح هذا التكتيك في مجالات علوم الحياة والأدوية والتأمين والتمويل وقطاعات الأعمال الأخرى.
يمكن أن يوفر نشر LLM ميزة تنافسية قوية — ولكن فقط إذا تم تنفيذه بشكل جيد.
لقد أدى حاملو الماجستير في القانون بالفعل إلى قضايا تستحق النشر، مثل ميلهم إلى “الهلوسة” بالمعلومات غير الصحيحة. وهذه مشكلة خطيرة، ويمكن أن تصرف انتباه القيادة عن الاهتمامات الأساسية بالعمليات التي تولد تلك المخرجات، والتي يمكن أن تكون إشكالية بالمثل.
تحديات التدريب ونشر LLM
إحدى المشكلات المتعلقة باستخدام LLM هي نفقات التشغيل الهائلة لأن الطلب الحسابي لتدريبها وتشغيلها شديد للغاية (لا يطلق عليها نماذج لغوية كبيرة من أجل لا شيء).
تعد شهادات LLM مثيرة، ولكن تطويرها واعتمادها يتطلب التغلب على العديد من عقبات الجدوى.
أولا، الأجهزة اللازمة لتشغيل النماذج مكلفة. ال وحدة معالجة الرسومات H100 من NVIDIA، وهو خيار شائع لحاملي LLM، وقد تم بيعه في السوق الثانوية لمدة تقارب 40.000 دولار لكل شريحة. وقدر أحد المصادر أن الأمر سيستغرق تقريبًا 6000 شريحة لتدريب LLM مشابه لـ ChatGPT-3.5. هذا ما يقرب من 240 مليون دولار على وحدات معالجة الرسومات وحدها.
تكلفة أخرى مهمة هي تشغيل تلك الرقائق. من المقدر أن يتطلب مجرد تدريب النموذج حوالي 10 جيجاوات/ساعة (GWh) من الطاقة، أي ما يعادل الاستخدام الكهربائي السنوي لـ 1000 منزل أمريكي. بمجرد تدريب النموذج، ستختلف تكلفة الكهرباء ولكنها قد تصبح باهظة. وقدر هذا المصدر أن استهلاك الطاقة لتشغيل ChatGPT-3.5 يبلغ حوالي 1 جيجاوات في الساعة يوميًا، أو الاستخدام اليومي للطاقة المجمعة لـ 33000 أسرة.
يمكن أن يكون استهلاك الطاقة أيضًا مأزقًا محتملاً لتجربة المستخدم عند تشغيل LLMs على الأجهزة المحمولة. وذلك لأن الاستخدام المكثف على الجهاز يمكن أن يستنزف بطاريته بسرعة كبيرة، مما قد يشكل عائقًا كبيرًا أمام اعتماد المستهلك.
