gg
gg
当前位置:首页 >  企业 > 内容

谷歌大模型团队并入DeepMind,誓要赶上ChatGPT进度

谷歌大模型团队并入DeepMind,誓要赶上ChatGPT进度

为应对 ChatGPT,谷歌在大模型方面的动作还在继续。

最新消息,其旗下专注语言大模型领域的“蓝移团队”宣布,正式加入 DeepMind,旨在共同提升 LLM 能力!

DeepMind 科学家们在推特下面“列队欢迎”,好不热闹~

蓝移团队隶属于谷歌研究,和谷歌大脑实验室同等级。

之前谷歌耗时 2 年发布的大模型新基准 BIG-Bench,就有该团队的重要贡献。

还有谷歌 5400 亿大模型 PaLM,背后也有蓝移团队成员提供建议。

综合此前消息,DeepMind 表示要在今年发布聊天机器人麻雀内测版本。

如今又有擅长大模型研究的团队加入,强强联手,或许会加快谷歌应对 ChatGPT 的脚步?

这下有好戏看了。

蓝移团队是谁?

他们专注于了解 Transformer 的局限性,并挑战将其能力扩展到解决数学、科学、编程、算法和规划等领域。

具体可分为如下几方面分支。

团队的代表性工作有数学做题模型 Minerva。

它曾参加数学竞赛考试 MATH,得分超过计算机博士水平。

综合了数理化生、电子工程和计算机科学的综合考试 MMLU-STEM,它的分数比以往 AI 高了 20 分左右。

并且它的做题方法也是理科式的,基于谷歌 5400 亿参数大模型 PaLM,Minerva 狂读论文和 LaTeX 公式后,可可以按照理解自然语言的方式理解数学符号。

作者透露,让该模型参加波兰的数学高考,成绩都超过了全国平均分数。

还有蓝移团队曾和 MIT 的科学家一起,通过训练大模型学会程序员 debug 时“打断点”的方式,就能让模型读代码的能力大幅提升。

还有谷歌耗时 2 年发布的大模型新基准 BIG-Bench,蓝移团队全部成员均参与了这项工作。

BIG-bench 由 204 个任务组成,内容涵盖语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等方面的问题。

以及如上提到的谷歌大模型 PaLM,蓝移团队成员 Ethan S Dyer 也贡献了建议。

Behnam Neyshabur 现在是 DeepMind 的高级研究员。他在丰田工业大学攻读了计算机博士学位,后来在纽约大学进行博士后工作,同时是普林斯顿大学高等研究理论机器学习项目组的成员。

研究领域是大语言模型的推理和算法能力、深度学习和泛化等。

Vinay Ramasesh 在加州大学伯克利分校获得物理学博士学位,曾致力于研究基于超导量子比特的量子处理器,硕士毕业于麻省理工学院。

最近他主要在研究语言模型,职位是研究科学家。

Ethan Dyer 博士毕业于麻省理工学院,2018 年加入谷歌工作至今。

Anders Johan Andreassen 同样是物理专业出身,博士毕业于哈佛大学。在哈佛大学、加州大学伯克利分校都做过博士后,2019 年起加入谷歌。

谷歌还有多少后手?

这次蓝移团队的调动,也不免让外界猜测是否是谷歌为应对 ChatGPT 的最新举措。

ChatGPT 引爆大模型趋势后,谷歌几乎是最先打响“阻击战”的大厂。

尽管加急发布的 Bard 效果确实有失水准,但这并不意味着谷歌会就此丧失竞争力。

诚如 OpenAI 之于微软,谷歌也有 DeepMind。

DeepMind 还是上一轮 AI 浪潮的引爆者。

消息显示,DeepMind 手里也有聊天机器人。

去年 9 月,他们介绍了一个对话 AI 麻雀,它的原理同样是基于人类反馈的强化学习,能够依据人类偏好训练模型。

DeepMind 创始人兼 CEO 哈萨比在今年早些时候说,麻雀的内测版本将在 2023 年发布。

他表示,他们将会“谨慎地”发布模型,以实现模型可以开发强化学习功能,比如引用资料等 —— 这是 ChatGPT 不具备的功能。

但具体的发布时间还没有透露。

蓝移团队的加入公告中提到,他们是为了加速提升 DeepMind 乃至谷歌的 LLM 能力,不知这一动向是否会加速该对话模型的发布。

与此同时,谷歌也没有把目光完全局限在自家开发能力上。

本月初,劈柴哥重磅宣布,斥资 3 亿美元,紧急投资 ChatGPT 竞品公司 Anthropic—— 由 GPT-3 核心成员出走创办。

1 月底,该公司内测聊天机器人 Claude,

这是一个超过 520 亿参数的大模型,自称基于前沿 NLP 和 AI 安全技术打造。

它同 ChatGPT 一样,靠强化学习来训练偏好模型,并进行后续微调。

但又与 ChatGPT 采用的人类反馈强化学习不同,Claude 训练时,采用了基于偏好模型而非人工反馈的原发人工智能方法(Constitutional AI),这种方法又被称为 AI 反馈强化学习(RLAIF)。

如今,Claude 尚未作为商业产品正式发布,但已有人拿到了内测资格。有人说效果比 ChatGPT 要好。

目前,这家公司的最新估值已经达到 50 亿美元。

总而言之,谷歌虽然在 Bard 上栽了跟头,但也没把鸡蛋放在一个篮子里。接下来它在大模型上还有哪些新动作?还很有看头。

参考链接:

声明:免责声明:此文内容为本网站转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。