当前位置:首页> AI资讯> 蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存,提升推理效率

蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存,提升推理效率

释放双眼,带上耳机,听听看~!
蚂蚁集团旗下CodeFuse代码大模型开源ModelCache大模型语义缓存,降低大型模型应用的推理成本,提升用户体验。ModelCache支持一键清空和缓存淘汰策略,数据隔离和回流功能,以及持续优化的embedding模型和语义相似度准确性。了解更多请访问CodeFuse-ModelCache项目地址。

AICMTY(aicmty.com)11月6日 消息:蚂蚁集团旗下CodeFuse 代码大模型宣布开源了 ModelCache 大模型语义缓存,可以降低大型模型应用的推理成本,提升用户体验。

ModelCache 的架构包括 adapter、embedding、similarity 和 data_manager 模块。adapter 模块处理业务逻辑,embedding 模块将文本转换为语义向量表示,similarity 模块对向量进行相似度排序和评估,data_manager 模块负责数据的存储和查询。ModelCache 还支持一键清空和缓存淘汰策略等缓存数据管理功能,数据隔离功能以确保不同环境、产品和模型之间的数据独立性,以及数据回流功能来保存重要数据。

蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存,提升推理效率

ModelCache 的线上效果统计表明,命中缓存可以将平均耗时降低10倍,提速率可达14.5%。此外,ModelCache 还对 embedding 模型进行了持续优化,以提高语义相似度的准确性。

未来,ModelCache 将继续优化性能和精度,通过算法优化、数据存取和计算资源调配等手段提升召回时间和准确率。同时,将进一步改进语义表示技术和相似度评估模块,以提高模型对复杂语义的理解能力和召回率。

CodeFuse-ModelCache 项目地址:

https://github.com/codefuse-ai/CodeFuse-ModelCache

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

ViralKit:一款AI驱动的竞赛、送礼和抽奖工具,助力社交媒体增长

2023-11-6 16:41:00

AI资讯

百度虚拟数字人度晓晓亮相淘宝,开设“晓晓 AI 万事屋”店铺

2023-11-6 16:48:00

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索