“大模型的安卓”也不好过,Meta内部“算力宫斗”,一半Llama核心团队已离职!

在过去半年的AI混战里,提供免费开源大模型的Meta,成了与眼里只有生意的谷歌、微软&OpenAI截然相反的平民英雄。

然而,尽管凭借Llama,Meta已经拿下了“大模型里的安卓”的名头,但据科技媒体The Information报道,团队内部实际上充满了混乱和内斗,许多参与开发的工程师和科学家都已经离职。知情人士表示,2月份发表的Llama原始研究论文的14位作者中,有一半以上已经离开了公司,有几位去了人工智能初创公司或其他大公司。

算力宫斗

导致Meta内斗的主因,是算力。

以图灵奖得主Yann LeCun为首的The Fundamental AI Research (FAIR) 实验室,主导着Meta的AI研究和开发。FAIR在加州、纽约、巴黎、伦敦等地都有分支机构,但各地实验室之间缺乏统筹,甚至可以称得上山头林立。

例如,2022年5月,一个主要位于美国的FAIR团队发布OPT-175B,对标OpenAI的GPT-3,据称能耗比GPT更低,这个团队也在开发对标谷歌PaLM、参数量级更大的模型。

与此同时,FAIR巴黎团队也在开发他们的大模型——即Llama,后者的参数比OPT要小,因为巴黎团队相信,小模型在推理方面效率更高。

多线并进没有给Meta带来好结果。英伟达的算力供给昂贵而有限,即使是Meta,也没有足够的GPU满足两个团队同时推进。

两位直接知情人士对The Information表示,由于Meta的GPU资源不足,巴黎团队和美国团队关系变得越来越紧张。据知情人士透露,巴黎团队获得的算力配额比美国团队要少。

FAIR负责人Joelle Pineau对The Information表示,算力分配是由多部门的中层领导每月开一次会来决定的,主要考虑的是组织的优先级,以及项目发布日期。如果员工们对算力分配有异议,需要层层上报等Pineau来定夺。

在采访中,Pineau承认Llama与OPT各自的开发团队在这个问题上“有些紧张”。

据The Information了解,许多研究人员实际上都不理解FAIR为什么要采取多线并进的方式。两个团队都在做大模型,看起来似乎是在鼓励内部竞争。

内斗再加上Meta去年底的大裁员和公司组织调整,Llama和OPT的开发团队都出现了士气问题,多位关键研究人员选择离职加入其他大科技公司或AI初创企业。

直到今年2月份,FAIR终于把两家人马收拢到一起,全力开发Llama2,而OPT模型则被彻底放弃。原因倒不在于Llama比OPT出色,而是因为没人了——5月份OPT论文的19位作者中,已经有一半离开了Meta。

商业化转向提速 FAIR未来命运存疑

从去年11月开始,Meta CEO 扎克伯格开始在全公司范围内进行裁员,FAIR也未能幸免。

此外,今年2月,Meta成立了一个新团队,专注于自家App开发AI功能。新团队由苹果前高管Ahmad Al-Dahle负责,从FAIR吸纳了大量人员。据Pineau称,其中包括开发Llama 2的团队。

更重要的是,AI热潮之下,FAIR所肩负的使命也发生了微妙的变化。之前,它和OpenAI一样,是一个由研究人员领导的学术研究机构,以人工智能领域技术攻坚为核心使命。但扎克伯格后来愈发希望加速令AI技术商业化。

即使有了Llama 2后来的大获成功,也没有改变FAIR的命运。开源模型变成了Meta打造声誉、吸引用户、创造营收的有力工具。

在上半年Llama 2爆红,AI研究人员纷纷对其进行魔改之际,扎克伯格就已经开始憧憬,随着开发者对模型的改进,他可以进一步把AI融入广告和消费产品中。未来,像OpenAI一样背负商业化压力,可能是FAIR必然的道路。