买更多H100卡,Meta将于明年初训练新模型,能力堪比GPT4

为缩小与谷歌、微软、OpenAI等竞争对手的差距,Meta将于明年开始训练新模型,可能开源。

根据微软知情人士透露,这个正在开发的新人工智能模型对标OpenAI推出的GPT-4,能够帮助公司构建可生成复杂文本、分析和其他输出的服务。

为建设该项目工作所需的数据中心,Meta正在购入更多的H100。根据知情人士透露,尽管Meta与微软合作,在微软的云计算平台Azure上提供Llama 2,但它计划在自己的基础设施上训练新模型。

Meta计划于明年年初开始训练这款人工智能模型,目标是比两个月前发布的Llama 2模型强大数倍。今年7月,为打破OpenAI在大语言模型(LLM)市场的主导地位,Meta发布了Llama 2模型。但在关于Llama 2的论文中,Meta自己指出,Llama 2与GPT-4和谷歌的PaLM-2等闭源模型之间仍存在巨大的性能差距。

Meta的Llama 2模型的最强大版本已经接受了700亿个参数的训练,参数是用于测量尺寸的人工智能系统中的变量的术语。OpenAI尚未透露GPT-4的大小,但估计大约是该大小的20倍,参数为1.5万亿个。一些人工智能专家表示,可能还有其他方法可以实现GPT-4的功能,而不必达到这种规模。

据悉,目前Meta CEO Mark Zuckerberg(马克·扎克伯格)正在努力推动让这款模型开源,这能降低该模型所需成本,提高其普适性。

但Meta追求的这种开源模式也有潜在问题,一些法律专家表示,模型开源会提高使用受版权保护信息的风险、致使生成或传播虚假信息等不良行为等。

联邦贸易委员会前顾问、现任联邦贸易委员会顾问Sarah West(萨拉·韦斯特 )也对此表示担忧:

“你无法轻易预测系统会做什么或它的漏洞——一些开源人工智能系统提供的只是有限程度的透明度、可重用性和可扩展性。”