NVIDIA เปิดซอร์ส TwoTower Architecture เพิ่มความเร็วในการสร้างข้อความ 2.42x

2026-07-02 08:57:32

ตามรายงานของ Beating NVIDIA ได้เปิดเผยซอร์สโค้ด Nemotron-Labs-TwoTower ซึ่งเป็นสถาปัตยกรรมการแพร่กระจายข้อความแบบไม่ต่อเนื่องที่ออกแบบมาเพื่อเร่งการสร้างข้อความของโมเดลภาษาขนาดใหญ่ การออกแบบแบบสองหอคอยนี้แยกโมเดล autoregressive ที่ถูกตรึงซึ่งคงความสามารถในการให้เหตุผล ออกจากหอคอยกำจัดสัญญาณรบกวนที่ฝึกได้ซึ่งสร้างข้อความแบบขนาน โดยใช้ข้อมูล pretraining เพียง 1/12 ของข้อมูลพื้นฐานบนโมเดล Mamba-Transformer mixture-of-experts ที่มี 30 พันล้านพารามิเตอร์ TwoTower คงคุณภาพไว้ได้ 98.7% ของคุณภาพพื้นฐาน ในขณะที่เพิ่มความเร็วในการสร้างได้ 2.42 เท่า โดยไม่มีค่าใช้จ่ายหน่วยความจำเพิ่มเติม

news.view.source

news.article.disclaimer

news.related.news

1 ชั่วโมง ที่แล้ว

Nvidia เปิดตัวโมเดลความร่วมมือด้านโครงสร้างพื้นฐาน AI ในวันที่ 2 กรกฎาคม

2 ชั่วโมง ที่แล้ว

SoftBank เปิดตัวบริการ AI Cloud ในสหรัฐฯ ตั้งเป้ากำลังการผลิต 10 กิกะวัตต์ภายในปี 2030

4 ชั่วโมง ที่แล้ว

Nvidia เปิดตัวโมเดลความร่วมมือด้านโครงสร้างพื้นฐาน AI พร้อมการแบ่งปันรายได้ 1 กรกฎาคม

5 ชั่วโมง ที่แล้ว

Nvidia เปิดตัวพันธมิตรด้านการประมวลผล AI เพื่อรับประกันการซื้อคืน GPU ที่เกินความต้องการสำหรับผู้ให้บริการคลาวด์สตาร์ทอัพ

06-30 02:39