当前位置:首页> AI教程> 私有化部署大模型的优势和必要性

私有化部署大模型的优势和必要性

释放双眼,带上耳机,听听看~!
本文探讨了私有化部署大模型的优势和必要性,分析了私有化部署与使用OpenAI等公司API的区别,以及私有化部署大模型对于企业和个人开发者的重要性。

编者按:8月29日凌晨,OpenAI在官网宣布,推出企业版ChatGPT(ChatGPT Enterprise)。前不久,OpenAI又刚刚发布了针对企业的GPT-3.5 Turbo微调功能。因而引发了一场热烈的讨论——是否仍需要私有化的大模型?

我们今天为大家带来的文章,作者探讨了与仅通过 OpenAI 等公司的 API 使用 LLM 相比,私有化部署大模型的优势。有力地说明了私有化的大模型仍然是我们理想的一种选择。

作者认为,私有化大模型的核心优势和必要性在于:1) 能够更好地控制LLM的特征和行为; 2)能够实现更深入的模型集成,以及根据自身需求进行模型优化和调整; 3) 能够在快速变化的环境中积累技术经验,构建壁垒。

总的来说,作者认为私有化部署LLM能让公司与LLM建立更紧密的关系,从而取得更大的主动权。本文值得对大模型应用感兴趣的公司和个人开发者研读。

以下是译文,Enjoy!

作者 | Andrew Marble (andrew@willows.ai)

编译 | 岳扬

在《终结者》这部电影中,主角们的团结合作和集体智慧战胜了“反派”技术上的优势。凯尔·里斯(Kyle Reese)和莎拉·康纳(Sarah Connor)利用智慧打败了先进的 T-800,而 T-800 又帮助莎拉和约翰战胜了更加先进的 T-1000。OpenAI的GPT-4目前是公开可用的最强语言模型,此外,有分析表明,一般情况下GPT-4的运行成本比私有化部署的同类大模型更低。不过我认为,尽管 OpenAI 的模型有很多优点,但还是值得考虑私有化部署大模型,尤其是需要构建商业产品或内部应用时。

如果仅为了满足用户的某些需求,而在应用程序中使用语言模型,可以使用OpenAI或Anthropic等公司的API,向 API 提交 prompt,然后获取响应,并支付相应的使用费用。或者,我们也可以配置私有化模型,并将其托管在本地或云端中,目前市面上有许多模型可供私有化部署。最近有几项分析指出[1][2],如果只考虑成本和性能,使用OpenAI API的优势更为明显。可以进行非常详细的成本计算,调用API最明显的成本优势是,我们只需要在使用时支付硬件使用费用。大多数私有化部署的大模型应用程序都很难充分利用部署的 GPU 算力资源,因此需要为闲置时间支付大量费用。

对于语言模型的性能评估,存在许多复杂的因素需要考虑——我个人认为,市面上的各种基准测试和“排行榜” [3] ,与在具体商业相关任务中的表现之间并不存在 1:1 的关系。 但毫无疑问,在多种自然语言处理任务中,GPT-4 的表现都明显优于其他大模型,只有最好的公开可用的模型(publicly available models)才能与Claude(Anthropic的大模型)和GPT-3.5 竞争。

尽管使用OpenAI等公司的API有其优点,但使用公开可用的模型(publicly available models)也有其优势。(这里需要注意,我并没有使用“开源”这个词,因为许多模型存在一些使用限制,不能被视为完全“开源”[4]。但我不会在这里深入探讨这个问题。)对我而言,这个问题的关键在于“你与大模型之间的关系(relationship)”。 使用API意味着你只是OpenAI等公司提供的服务的使用者。模型的特性、自定义功能、价值观(包括审查机制和世界观)等都由这些公司决定,你只能构建前端页面调用这些服务。这也意味着你无法了解模型的内部状态,因此在应用更高级别的问责技术和防护措施时(译者注:这些技术和措施可能包括应用模型的可解释性、模型监控、数据隐私保护等等)会受到限制。这些问题都可能是有益的,因为你不必担心如何处理这些问题。但这也意味着你构建的任何应用都完全依赖于这些初创公司。

对于“基于开发者与AI模型之间的互动和依赖关系”的开发,使用私有化部署的模型有很多好处。 对模型架构和权重的控制,一定程度上消除了未来可能面临的不确定性,也意味着你不必接受OpenAI等公司提供的服务。市场上已经形成了一个丰富的生态系统,有多种不同模型可供尝试,还可以根据自己的要求进行微调。这种结构最终能够让开发者与AI模型建立一种长期的关系,并围绕它调整产品,让构建的产品与选择的模型保持一致,并影响我们何时以及是否决定进行更改的决策。这让你构建的东西不仅仅是别人语言模型的前端,而是深度集成的。

此外,对于许多大模型应用而言,GPT的多方位优势并非推动产生价值的主要因素。运行像GPT-4这样大的模型可能每月需要花费数万美元。但在笔记本电脑上就可以运行7B和13B的模型(具有70亿和130亿个参数的模型,是LLaMA和其他公共模型的常见规格)。这些模型也足够大,可以胜任许多常见任务,并且作为用户本地计算机或服务器的一部分,可以更具性价比。

“负责任地使用AI”这句话有多种含义。科技公司通常关注的是表面问题,如政治正确和避免偏见,这比较有效地避免了像ChatGPT这些具备多种能力的公共模型引发争议。对于许多应用,尤其是专业的知识工作型应用[5],这些顾虑大多无关紧要,取而代之的是关于事实准确性、完整性或仅仅是能否紧扣主题等这些实际问题。许多“保持模型稳定”的技术需要了解模型的内部状态、梯度和中间输出结果。 [6](译者注:梯度(gradients)是机器学习中非常重要的概念,是优化模型的关键。)使用基于API的模型,会限制进一步进行实验和增强模型的可能性。

对于缓存内部模型状态以及模型微调等各种模型优化措施也是如此。虽然API提供了一些功能选择,但与现有的可用技术相比,这些选择仍然是有限的。大模型技术仍在不断发展,每天都有新的模型和技术问世。对于那些将 LLM 作为产品或工具的一个紧密集成部分的用户来说,要想灵活地随着技术的发展而发展,唯一的方法是拥有私有化部署的大模型。

目前,语言模型变化速度如此之快的另一个原因是,与大模型技术相关的技能和知识也在迅速发展。使用私有化部署的大模型,可以让机构和个人在这种不断变化的市场环境中积累经验,而单单使用 API 则无法做到这一点。 对于许多公司,特别是那些正在构建商业应用的公司来说,将“AI”保持在更深层次的技术水平上,对于员工的专业发展层次和适应变化能力的提升都非常重要。这不是一项成熟的技术,而我们从业者所拥有的”护城河”的一部分就是了解正在发生的事情。甚至可以进一步说,任何使用AI构建重要应用的组织或公司,都应该在内部或通过顾问获得一些关于AI技术的深层次知识,而不仅仅是API的参考资料,以便能够更好地去理解AI最擅长的能力。随着人工智能被商品化和大肆炒作,它能做什么与其建议用途之间往往会出现很大的脱节。

我预计在未来几年,情况将会大不相同——人们将会就使用大模型的关键事项达成共识,而API将会支持这些共识。对于一项新的、仍处于实验阶段且快速发展的技术,要真正参与其中,需要深入了解模型和代码。这并不意味着所有公司或产品都需要深入了解大模型技术——有些公司或产品可以通过使用API来构建有价值的产品,这种情况下去私有化部署可能是浪费时间的。但这些是不同类型的产品,不可混为一谈。

回到《终结者》所描述的故事,里斯和T-800建立起了牢固的“关系”(译者注:与前文描述开发者和大模型的“关系”相呼应),从而成功完成了任务。而接受天网任务的终结者们只是四处施展他们高超的技术实力,这并不足以赢得胜利。人和智能体建立“关系”的一部分就是获取他们的权限。我知道这是个“愚蠢”的比喻,但我相信这些模型也是如此,关键在于能否深入了解工具的优势,并构建一个高度集成的应用,而这是API所无法实现的。

在译者与原文作者接触时,原文作者又补充了一点“为什么要私有化部署大模型”的理由,详见下文:

Another advantage of self-hosting that I didn’t mention in the post is to be able to have better control over performance in different languages, so I belive this is a good option for people using LLMs in languages other than English.

私有化部署大模型的另一个优点:可以通过微调等方式,使其更好地适应不同语言的特点和要求,从而提升大模型的性能。因此我认为对于使用LLM的非英文用户来说,使用私有化部署的大模型是一个不错的选择。这一点我在文章中没有提到,可以在译文中指出。

END

参考资料

1.betterprogramming.pub/you-dont-ne…

2.www.cursor.so/blog/llama-…

3.huggingface.co/spaces/lmsy…

4.marble.onl/posts/softw…

5.a16z.com/2023/06/20/…

6.There is a wide range of literature and research into model accountability. For a narrow example, see “The Internal State of an LLM Knows When its Lying” arxiv.org/pdf/2304.13…  but also arxiv.org/pdf/2307.00…

本文经原作者授权,由Baihai IDP编译。如需转载译文,请联系获取授权。

原文链接

marble.onl/posts/why_h…

🚢🚢🚢欢迎小伙伴们加入AI技术软件及技术交流群,追踪前沿热点,共探技术难题~

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

ChatGPT提示语设计指南

2023-11-21 17:31:55

AI教程

构建高效的模型训练服务

2023-11-21 17:44:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索