(资料图)
4月30日凌晨,智谱发布技术博客,首次系统披露GLM-5系列模型在超大规模Coding Agent调用场景下的底层推理技术突破。包括系统吞吐最高提升132%,相同硬件条件下服务能力的显著扩容。KV cache 修复方案(改进了模型在长对话中的记忆缓存机制,从而提升推理效率)获SGLang开源社区采纳。此外,公司推理优化还在进一步加速,大幅提升单位算力token吞吐效率,降低推理成本。
关键词: 推理 GLM 智谱 披露 实践 Coding Agent
more>>
消费要闻
消费观察
险资权益投资风险因子下调,2000亿“活水”蓄势
险资权益投资风险因子下调 2000亿“活水”蓄势
武汉预制菜产业蓄势待发:“老字号”与“新势力”携手按下“加速键”|智造预制菜·观城记
为全面电动化做准备:沃尔沃计划在美国、加拿大裁员约700人
消费315
湖南农业大学专家为君山食用菌与养殖产业出谋划策
红豆大米粥怎样做 红豆大米粥怎么做好吃窍门
美股成交额前20:特斯拉超级充电桩全球数量突破5万个
兴县领导在蔚汾镇乔家沟移民安置点、宝山花园社区调研督导易地扶贫搬迁后续扶持工作
识真辨假
关于我们 联系我们:855 729 8@qq.com
版权所有 新消费网 xiaofei.7812.cn
粤ICP备18023326号-7