De acordo com reportagens, pesquisadores da NVIDIA e do MIT lançaram o Lightning OPD (Offline On-Policy Distillation), um novo framework de pós-treinamento para grandes modelos de linguagem que elimina a necessidade de manter um modelo professor em execução durante o treinamento. Ao pré-computar, offline, os log-probabilities do modelo professor, o framework melhora a eficiência do treinamento em 4x, enquanto libera todos os recursos de GPU para o treinamento do modelo aluno.
Em testes com 8 GPUs NVIDIA H100, o Lightning OPD conseguiu fazer a destilação de Qwen3-30B-A3B-Base (um modelo MoE com 30 bilhões de parâmetros) e atingiu 71,0 no benchmark AIME 2024, enquanto o OPD padrão ficou sem memória no mesmo hardware. Para o modelo Qwen3-8B menor, o framework exigiu apenas 30 horas de GPU para chegar a 69,9 pontos.
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
Cerebras fará IPOs esta semana com avaliação de US$ 55 bilhões, dando à OpenAI potencial de participação de 11%
De acordo com a Odaily, o fabricante de chips de inteligência artificial Cerebras abrirá capital esta semana com uma avaliação de IPO de US$ 55 bilhões. O compromisso de investimento de US$ 200 bilhões da OpenAI poderia lhe garantir uma participação de 11% na empresa.
GateNews10m atrás
Cerebras vai abrir capital esta semana com avaliação de US$ 5,5 bilhões; participação de 11% da OpenAI pode render mais de US$ 5 bilhões
De acordo com The Information, a fabricante de chips de IA Cerebras abrirá capital esta semana em uma avaliação de US$ 5,5 bilhões em IPO. O compromisso de investimento de US$ 20 bilhões da OpenAI poderia lhe dar uma participação de 11% na empresa, potencialmente gerando mais de US$ 5 bilhões em receitas.
GateNews10m atrás
A SAP investe na n8n, dobrando a avaliação da plataforma de automação de fluxos de trabalho para US$ 5,2 bilhões
De acordo com a Bloomberg, a SAP investiu em n8n na terça-feira, dobrando a avaliação da plataforma de automação de fluxos de trabalho para US$ 5,2 bilhões. A gigante alemã de software também assinou um acordo de parceria de vários anos com a n8n para integrar as ferramentas da plataforma ao mecanismo de construção de agentes de IA da SAP, o Joule Studio, conforme declaração da SAP.
GateNews28m atrás
Startup de IA White Circle conclui rodada seed $11M com executivos da OpenAI e da Anthropic
De acordo com a Odaily, a startup de IA White Circle recentemente concluiu uma rodada de investimento seed de US$ 11 milhões, com participação do executivo da OpenAI Romain Huet e da pesquisadora da Anthropic Durk Kingma, entre outros. A empresa oferece uma API unificada para monitoramento em tempo real das entradas e saídas de modelos de linguagem em larga escala, projetada para detectar alucinações, ataques de prompt injection, conteúdo prejudicial, deriva do modelo e comportamento malicioso d
GateNews41m atrás
A Artificial Analysis lança um benchmark de agente de codificação; Zhipu GLM-5.1 fica em primeiro lugar entre os modelos de código aberto
A Artificial Analysis lançou hoje um novo Coding Agent Index para avaliar como modelos de IA se saem quando combinados com frameworks de agentes em benchmarks importantes, incluindo SWE-Bench-Pro-Hard-AA, Terminal-Bench v2 e SWE-Atlas-QnA. O Zhipu GLM-5.1 ficou em primeiro lugar entre os modelos de código aberto na avaliação, demonstrando desempenho líder em cenários reais de agentes de codificação.
GateNews43m atrás
Yuntianliyifei Introduz 3D Arquitetura de Memória Empilhada no Desenvolvimento de Chips de Inferência
De acordo com divulgações de relações com investidores em 12 de maio, o chip de inferência em desenvolvimento de Yuntianliyifei adota uma arquitetura GPNPU como tecnologia-base do seu roteiro. Os principais destaques técnicos incluem capacidade de programação universal no nível GPGPU compatível com ecossistemas CUDA comuns, núcleos NPU otimizados para eficiência na inferência e uma arquitetura de memória empilhada em 3D projetada para aumentar a largura de banda e reduzir a latência de acesso, s
GateNews43m atrás
