Серверы Lenovo AI впервые реализуют локальное развертывание DeepSeek Full Blood Big Model менее чем 1TB, поддерживают 100 параллельных запросов

GoldenOctober2024

2025-03-03 05:21:34

Данные Jinshi 3 марта сообщили, что недавно концерн Lenovo объявил о том, что на сервере Lenovo Wentian WA7780 G3 впервые в отрасли была реализована одноплатная установка глубокой модели DeepSeek-R1/V3 671B с использованием памяти, меньшей, чем 1TGB (фактически 768GB), чтобы обеспечить плавный опыт для 100 одновременных пользователей. По данным Lenovo, в стандартной тестовой среде с 512 токенами этот система может поддерживать стабильный вывод 10 токенов в секунду для 100 одновременных пользователей, сокращая время отклика на первый токен до менее 30 секунд.

DEEPSEEK-1.44%

G3-3.31%

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

3 Лайков