当前位置:首页> AI教程> Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

释放双眼,带上耳机,听听看~!
Meta AI内部离职潮,算力争夺,生成式人工智能团队重组,LLaMA核心团队离职。

过去 6 个月,ChatGPT 的爆火,彻底让 Meta 坐不住了。

从 2 月开始开源大模型系列 LLaMA 的发布,到 Llama 2 升级、再到编码模型 Code Llama,Meta 可谓是赌上所有去 ALL IN AI。

在开源社区,Llama 系列模型的免费研究和商用,直接点燃了平替模型裂变的火种。

可是,Meta 在风光的同时,AI 团队正面临着离职潮。

The Information 独家报道,因内部算力之争,LLaMA 和 OPT 项目的团队成员,大半已经辞职。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

甚至,Meta 直接弃掉他们正研发能与 PaLM 匹敌的模型,将 Meta AI 的两个实验室团队重组,以专注研发 Llama 2。

Meta 大部分研究人员的离职,恰恰暴露了,算力短缺是布局生成式 AI 的核心难题。

LLaMA 论文 14 位作者,一半离职

在外界看来,科技巨头拥有比大多数公司更多的计算资源。一些公司包括 Meta 在内,在招聘 AI 研究人员时,一致强调自己是「GPU RICH」。

但事实上,自己心知肚明,Meta 的计算资源供应方面也存在限制。

由此,算力纷争便在内部团队开启,让许多人弃 Meta 而去。

具体来讲,今年 2 月发布的初代 LLaMA 模型中的 14 位作者,已经超过一半的人全部离职。

有的转向 AI 初创公司,有的加入了科技巨头。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

论文地址:arxiv.org/pdf/2302.13…

离开 Meta 的研究科学家和工程师包括原 LLaMA 论文的作者之一 Timothée Lacroix、Guillaume Lample 和 Marie-Anne Lachaux。

他们现在在法国初创公司 Mistral AI 工作,该公司由 Lacroix 和 Lample 于 6 月共同创办。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

还有其中的一位作者——Meta AI 的研究总监 Armand Joulin 已经在 5 月离开了 Meta,目前已加入苹果。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

Meta 人工智能研究实验室「基础 AI 研究」的负责人 Joelle Pineau 在接受采访时表示:

留住和吸引优秀人才可能是我花费时间最多的地方,因为没有优秀的研究人员,我什么都做不了。

Meta 正在面临的离职潮,恰恰凸显了大型科技公司在应对对人工智能人才需求激增的挑战。

大模型浪潮当前,各大科技公司唯恐落后,急于将 AI 接入自家产品和服务。

Riviera Partners 的高管 Kyle Langworthy 称,「求贤若渴」的公司们,都排着队想挖角 Meta 的人工智能研究人员。

2 月份的时候,继 LLaMA 的发布点燃社区热情后,小扎曾连夜对外官宣了公司的大动作:成立顶级产品团队,专注 AIGC。

简言之,小扎将 Meta 未来的核心重点放在,生成式人工智能,以试图追赶谷歌、微软、OpenAI 等竞争对手。

而曾经在 2021 年 All In 的「元宇宙」,也被放在了次要的位置。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

紧接着,Meta 时不时地发布并开源了在人工智能领域的最新研究,包括通用视觉模型 SAM「分割一切」、多模态 AI 模型 ImageBind、Llama2、Code Llama 等等。

这些研究一经发布,都在开源社区引起了很大的反响,得到一致好评。

而现在,随着有经验的研究人员流失,Meta 在追赶竞争对手的路上多了一重阻碍。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

那么,具体是怎么回事,让这些高级研究人员愤而离去?

LLaMA 和 OPT 的算力之争

2013 年,Yann LeCun 入职 Meta 后,担任 AI 研究主管时成立了人工智能研究实验室 Meta AI(原 FAIR)。

除了在加利福尼亚州门洛帕克和纽约设立主要实验室(LeCun 的所在地),Meta AI 还在蒙特利尔(Pineau 的所在地)、巴黎、伦敦和西雅图设有分部。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

Meta AI 实验室的成立,主要致力于 AI 的研究,将人工智能应用在翻译、MRI 扫描等各种场景。

但是,ChatGPT 横空出世之后,公司的高管们对 AI 更深层次融入产品的要求,变得更加急切。

其实,在 ChatGPT 发布之前,Meta 也一直在开发自己的 LLM。

2022 年 5 月,Meta AI 的一个北美团队对外公布,并开源了大模型 OPT-175B。

Meta 声称,这个模型的能耗要比 GPT-3 低,尽管这两个模型在训练期间学习的内容,在数量上是一样的。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

几个月后,该团队开始着手开发第二个更大的模型,旨在与谷歌的 PaLM 竞争。

与此同时,另一个位于巴黎的 Meta AI 团队,已经开始着手开发一个单独的大型语言模型,也就是 LLaMA。

知情人士表示,这个模型比 OPT 要小。研究团队认为较小的模型在推理时会高效。

随之问题就来了,分别来自北美和巴黎两个实验室的团队,开启了获取算力资源之争,进而加剧了内部团队的纷争。

尤其是,LLaMA 团队感觉自己被忽视了,自己的模型小,但获得的计算资源比北美的 OPT 团队少的多。

「基础 AI 研究」的负责人 Joelle Pineau 表示,

关于在 Meta 如何分配计算资源的决策,是由来自业务不同部门的领导人组成的小组,大致每月做出一次。

最终分配多少,分配给谁,取决于组织优先事项,以及项目距离发布还有多远来决定。

如果 Meta AI 的员工就分配发生争议,就会提交到上级,也就是 Pineau 这一层去处理。

在采访中,Pineau 承认在 LLaMA 和 OPT 团队之间在算力分配上有些紧张,并补充道,「我们试图找到一条路,听取每个人的发声,即使无法去满足每个人的需求。」

对某些研究人员来说,这感觉像是一场竞赛。

Meta AI 的一些高管也在质疑,为什么两个团队都做着相似的项目,但又互相竞争有限的资源。

2 月巨变

两个团队之间的紧张关系,到今年 2 月达到了高潮。

恰在这个月,为了追赶竞争对手,Meta AI 首次将 LLaMA 作为开源模型发布,授权用于研究目的。

其实,在发布的前一周,Meta AI 的联合主管兼巴黎分部负责人 Antoine Bordes 就离开了 Meta,而对外的离职原因是⼯作时间与加州⼀样让自己筋疲⼒尽。

现在,Bordes 已经加入了人工智能公司 Helsing。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

知情人士表示,他的离职进一步,让 LLaMA 团队与北美的高管隔离开来。另外,Pineau 也承认了 Bordes 的离职为团队「带来了一些不确定性」。

这不仅仅是 LLaMA 团队研究士气受挫的问题,与此同时,OPT 团队在过去几个月里,一直也在面临人员流失的问题。

据称,OPT 团队正在研发的更大型的模型,直接被 Meta 放弃。也不难理解,OPT 的人员流失,和这个决定有着直接的关系。

根据研究作者 Linkedin 个人资料,19 位 OPT 论文的作者中,也有一半人已离职 Meta。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

论文地址:arxiv.org/pdf/2205.01…

「基础 AI 研究」的负责人 Pineau 无奈地表示,「当所有团队都想在这个时候升级模型,那时你要么选择其中一个,要么就让他们合作。」

团队重组,定位不清

在这一切发生的同时,Meta AI 也被公司的频繁地变动搞得焦头烂额。

自从去年 11 月开始,小扎进行了数次全公司范围的裁员。其中,Meta AI 也没能幸免。

今年 2 月,Meta AI 领导人决定将相互竞争 LLaMA 和 OPT 团队的一些成员聚集起来,正式成立「生成式 AI」团队,(由前苹果高管 Ahmad Al-Dahle 负责),同时也从 Meta AI 抽调了大量人员。

其实,我们在 Llama 2 论文中,可以看到不少 LLaMA 和 OPT 作者的身影。

比如 OPT 的团队中,Moya Chen、Todor Mihaylov、Punit Singh Koura 加入「生成式 AI」团队。

初代 LLaMA 团队中,Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez 加入「生成式 AI」团队。

有趣的是,在 Llama 2 的致谢中,提到的 4 位最先发起这项研究的团队,其中三位已经离职,目前仅有 Edouard Grave 还在。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

尽管备受赞誉的开源模型 LLaMA 取得了不小的成功,但随着 Meta 对人工智能研究态度的不断变化,研究人员之间的紧张关系仍在酝酿。

传统上来讲,Meta AI 拥有一种由研究人员主导的自下而上的文化,从而使团队能够专注于 AI 领域,并取得突破性的进展。

但随着小扎越来越倾向于将 AI 融入 Meta 的应用程序之中,Meta AI 的关注点也随之缩小——解散了那些不以产品为导向的研究,比如蛋白质折叠。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

与此同时,新的项目也在生成式 AI 团队和 Meta AI 之间「反复横跳」。

比如,Meta 在 7 月发布的 Llama 2,以及在 8 月发布的专攻代码生成的 Code Llama,就是分别由两个团队负责的。

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

Meta AI内幕:LLaMA核心团队离职,算力争夺撕破脸

对此,Pineau 表示,「这个领域发展得实在是太快了,我们现在还在探索,哪个项目应该由 Meta AI 来负责?哪个项目又该由生成式 AI 团队来负责?」

台前,开源模型光鲜靓丽,而幕后,AI 研究人员离职潮涌、算力纷争、团队重组,为 Meta 倾力 AI 赶超对手带来了许多不确定性因素。

参考资料:

www.theinformation.com/articles/in…

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

如何利用OpenAI强化客服,基于大模型

2023-11-19 13:19:14

AI教程

5款最佳AI动漫角色创作工具:轻松打造个性化动漫角色

2023-11-19 13:31:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索