A Tencent lança o modelo Hy3 quantizado com 295 bilhões de parâmetros, implantável em uma única GPU

TENCENT-0,30%
Recentemente, a Tencent Hunyuan lançou versões quantizadas de seu modelo Hy3 em resposta a pedidos da comunidade, permitindo que o modelo com 295 bilhões de parâmetros seja executado em uma única GPU de inferência ou até mesmo em máquinas locais com memória suficiente. A equipe quantizou os pesos do Hy3 para precisão de 1 bit e 4 bits, empacotou-os no formato GGUF e os integrou ao ecossistema do llama.cpp, tornando o que antes exigia clusters com múltiplas GPUs acessível para cenários mais amplos de implantação.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários