Moor Thread co-founder Wang Dong: Pasar inferensi tidak memiliki “chip serba guna”, melainkan kombinasi solusi

Odaily星球日报 melaporkan bahwa pendiri sekaligus CEO perusahaan produsen GPU MoE Thread, Wang Dong, mengatakan, “Perkembangan model besar di dalam maupun luar negeri sangat cepat. Saat ini, para pemain terkemuka rata-rata melakukan iterasi versi model dasar mutakhir setiap dua bulan sekali. Sementara itu, terkait biaya pemanggilan model, kami menemukan bahwa model dasar mutakhir di Tiongkok memiliki keunggulan biaya yang jelas dibandingkan model dengan tingkat kecerdasan yang setara dari luar negeri. Dengan demikian, nilai guna model Tiongkok lebih baik. Ini juga menunjukkan bahwa, dalam kondisi keterbatasan daya komputasi, perusahaan model telah melakukan banyak pekerjaan dalam hal cara meningkatkan efisiensi model, efisiensi biaya, serta biaya pelatihan.”

Wang Dong menambahkan bahwa pasar inferensi tidak memiliki “chip serba guna”, melainkan “kombinasi solusi”. “Ambang batas penerapan teknologi di pasar inferensi relatif lebih rendah, dan skenario sangat terpecah-pecah. Tidak ada satu perusahaan pun yang bisa menguasai seluruh skenario aplikasi turunan. Tidak ada satu perangkat keras yang benar-benar sempurna. Melalui kerja sama perangkat lunak dan perangkat keras yang fleksibel, setiap model dapat menemukan kombinasi perangkat keras yang paling sesuai untuknya, sehingga tercapai keseimbangan terbaik antara biaya dan performa. Pasar akan memunculkan banyak perusahaan ISP untuk menyediakan layanan inferensi yang lebih hemat biaya, lebih fleksibel, dan sangat tersesuaikan bagi penyedia MaaS maupun pelanggan terminal.”