释放双眼，带上耳机，听听看~！
蚂蚁集团旗下CodeFuse代码大模型开源ModelCache大模型语义缓存，降低大型模型应用的推理成本，提升用户体验。ModelCache支持一键清空和缓存淘汰策略，数据隔离和回流功能，以及持续优化的embedding模型和语义相似度准确性。了解更多请访问CodeFuse-ModelCache项目地址。
AICMTY（aicmty.com）11月6日 消息:蚂蚁集团旗下CodeFuse 代码大模型宣布开源了 ModelCache 大模型语义缓存，可以降低大型模型应用的推理成本，提升用户体验。
ModelCache 的架构包括 adapter、embedding、similarity 和 data_manager 模块。adapter 模块处理业务逻辑，embedding 模块将文本转换为语义向量表示，similarity 模块对向量进行相似度排序和评估，data_manager 模块负责数据的存储和查询。ModelCache 还支持一键清空和缓存淘汰策略等缓存数据管理功能，数据隔离功能以确保不同环境、产品和模型之间的数据独立性，以及数据回流功能来保存重要数据。
ModelCache 的线上效果统计表明，命中缓存可以将平均耗时降低10倍，提速率可达14.5%。此外，ModelCache 还对 embedding 模型进行了持续优化，以提高语义相似度的准确性。
未来，ModelCache 将继续优化性能和精度，通过算法优化、数据存取和计算资源调配等手段提升召回时间和准确率。同时，将进一步改进语义表示技术和相似度评估模块，以提高模型对复杂语义的理解能力和召回率。
CodeFuse-ModelCache 项目地址:
https://github.com/codefuse-ai/CodeFuse-ModelCache
本网站的内容主要来自互联网上的各种资源，仅供参考和信息分享之用，不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益，请联系我们，我们将尽快采取行动，包括删除或更正。
