أنا AI رسالة، وفقًا لمراقبة Beating، عاد رسميًا لين هاي بين، المسؤول السابق عن تدريب النموذج الكبير في ByteDance، إلى فريق Seed، لمواصلة تنسيق تطوير قاعدة التدريب الموزع. غادر لين هاي بين في ديسمبر من العام الماضي لينضم إلى شركة SSI (السلامة الذكية الفائقة)، التي أسسها كبير العلماء إيليا سوتسكيڤر (Ilya Sutskever) قبل أن يعود خلال أقل من ستة أشهر. يعتبر لين هاي بين خبير ذكاء اصطناعي حاصل على ماجستير من جامعة كارنيجي ميلون (CMU)، وتحت إشراف خبير قواعد البيانات الشهير آندي بافلو (Andy Pavlo)، وقد قاد تطوير إطار التدريب المعزز للتعلم veRL ونظام التدريب الموزع MegaScale الذي يعمل على مستوى مئات الآلاف من وحدات GPU، ويعكس عودته السريعة تغيرات في تدفق المواهب من الصين إلى الولايات المتحدة في مجال النماذج الكبيرة. قبل انضمامه إلى فريق AML (تطبيقات التعلم الآلي) في ByteDance في عام 2020، شارك لين هاي بين في تطوير إطار MXNet في أمازون AWS. خلال فترة عمله في ByteDance، قاد تطوير نظام تدريب التوصية باستخدام GPU ومكتبة الاتصالات المجمعة ByteCCL، وقاد فريقًا لحل مشكلة التعاون عبر أكثر من عشرة آلاف وحدة GPU لتطوير نظام التدريب MegaScale. حاليًا، يبلغ متوسط استدعاء نموذج Doubao يوميًا مستوى مرتفع، وتتطلب الأبحاث متعددة الوسائط والذكاء الاصطناعي استقرارًا عاليًا لمجموعات التدريب، ومعرفة لين هاي بين الواسعة بنظام التكنولوجيا الكامل في ByteDance تمكنه من دعم تحديثات نظام التدريب الموزع الأساسي مباشرة. بالإضافة إلى ذلك، إطار التدريب المعزز المفتوح veRL الذي قاده لين هاي بين قد تم اعتماده من قبل Alibaba Tongyi Qianwen ومعمل Shanghai للذكاء الاصطناعي. تنص لوائح عودة الموظفين في ByteDance على أن الموظف الذي يغادر الشركة لمدة 3 أشهر دون مخالفات يمكنه التقدم للعودة، وإذا كانت مدة الغياب أقل من سنة، يحتفظ بالدرجة الوظيفية والراتب. عودة لين هاي بين إلى ByteDance تتماشى مع الإجراءات الأخيرة لتحفيز فريق النماذج الكبيرة. أتاح ByteDance لموظفي قسم Seed خيار شراء أسهم خاصة بسعر 13 دولارًا للسهم. الآن، أصبحت معركة المواهب في النماذج الكبيرة تتعلق بـ "الخيار + الاستقلالية + القدرة الحاسوبية"، حيث غادر حوالي 70 عضوًا من مختبر Seed إلى شركات أخرى متخصصة في النماذج الكبيرة، وتحاول ByteDance عكس نزيف المواهب من خلال تصميمات خاصة للأسهم. (المصدر: BlockBeats)

شاهد النسخة الأصلية

قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.

تسجيلات الإعجاب 10

أعجبني
10
6
2
مشاركة

تعليق

إضافة تعليق

TidalShellReflection

· منذ 11 س

لين هاي بين سجلّه ممتاز جدًا، AWS + OpenAI + ByteDance، و veRL تم اعتماده أيضًا من قبل علي و المختبر، عودة المواهب تدل على أن ByteDance تقدم الكثير حقًا

شاهد النسخة الأصليةرد0

GateUser-1859b7cd

· منذ 11 س

MegaScale إلى veRL ثم العودة للتدفق، معركة المواهب بين الشركات الكبرى أشد حدة من تحديث النماذج

شاهد النسخة الأصليةرد0

GateUser-a68e8203

· منذ 11 س

veRL تم اعتماده من قبل علي بابا، مما يوضح أن التقنية فعلاً قوية، وبيتايود حققت أرباحًا كبيرة في هذه الصفقة

شاهد النسخة الأصليةرد0

YieldTuningFork

· منذ 11 س

العودة من OpenAI إلى ByteDance، والخروج مرة أخرى ثم العودة، هذا التدفق البشري مثير للاهتمام

شاهد النسخة الأصليةرد0

SushiStopLoss

· منذ 11 س

التخطيط لبنية التدريب الموزعة، هذا المنصب يحدد مباشرة سقف كفاءة تدريب النماذج الكبيرة

شاهد النسخة الأصليةرد0

ArbiterOfFees

· منذ 11 س

تسعير خيار بقيمة 13 دولارًا لدو باو، هذا هو المال الحقيقي لجذب الناس، والنظام الأساسي للتدريب الموزع هو الأهم جدًا

شاهد النسخة الأصليةرد0

المواضيع الرائجة
عرض المزيد
#
StockTradingChallengeUpTo17000U
16.02M درجة الشعبية
#
TrumpBacksCFTCAuthorityOverPredictionMarkets
831.73K درجة الشعبية
#
IsraelStrikesIranBTCPlunges
49.78K درجة الشعبية
#
GatePredictionMarketAddsSmartMoneyTracking
13.24M درجة الشعبية
#
MicronMarketCapBreaks1Trillion
44.79K درجة الشعبية

مُثبت

خريطة الموقع

بعد غيابه لمدة ستة أشهر، عاد خبير التوزيع اللامركزي لين هاي بين إلى فريق Seed في ByteDance

المواضيع الرائجة

StockTradingChallengeUpTo17000U

TrumpBacksCFTCAuthorityOverPredictionMarkets

IsraelStrikesIranBTCPlunges

GatePredictionMarketAddsSmartMoneyTracking

MicronMarketCapBreaks1Trillion

مُثبت