Gemma 4在llama.cpp上终于稳了


4月2号Google发了Gemma 4,第一天就有llama.cpp支持但bug多。现在所有问题都修完了
E2B、E4B、26B MoE、31B Dense
31B在Arena AI排行第3,26B排第6
开源模型最强梯队
用--chat-template-file加载interleaved模版
建议开--cache-ram 2048
上下文长度根据显存来
去年本地最好的是Llama 3.1 70B量化版,勉强能用
现在Gemma 4 31B Q5在Mac Studio上流畅跑,接近GPT-4级别
不依赖API的AI应用开始有商业可行性。数据不出本机,成本为零,延迟极低
对于一人企业,本地模型是真正的基础设施。竞争对手在付API费,你的边际成本是电费
Gemma 4 + llama.cpp = 本地推理最优解,可以上生产了
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论