由北京智源人工智能研究院研发的语言AI模型悟道(Wu Dao)可以根据需要写诗,回答问题,生成图像的描述文本,根据上传的图像生成歌词,依据文本生成图像,甚至由文本生成一系列想象的场景等。研究人员称,悟道2.0 在九个广泛的 AI 基准测试中达到甚至超过了当前最先进的AI模型GPT-3。
悟道于今年3月推出1.0版,该AI项目由中文预训练模型“悟道·文源”、认知预训练模型“悟道·文汇”、多模态预训练模型“悟道·文澜”、蛋白质预训练模型“悟道·文溯”等4个不同规模的AI模型组成,是迄今为止最大的中文语言模型。近日推出的2.0版参数大小为 1.75 万亿,是OpenAI 的AI模型GPT-3 的十倍,比谷歌Switch Transformer的参数大 1500 亿。
目前,悟道的官方网站已经提供文源、文汇、文澜和文溯这4个语言AI模型的在线使用体验。
悟道 2.0类似于OpenAI的DALL-E和CLIP或者谷歌的LaMDA和MUM的多模态模型。它用 1.2 TB 的中文和 1.2 TB 的英文文本以及总共 2.5 TB 的图像进行了训练。在悟道 2.0中,某些信息只会转发到大型模型内的专家网络。这降低了所需的计算能力,因为根据处理的信息,只有模型的某些部分处于活动状态。
参与的研究人员将悟道2.0视为朝向通用人工智能迈出的重要一步。当初,OpenAI的GPT-3 的发布也伴随这类似的观点,但有争议。Gary Marcus和Melanie Mitchell等AI研究者警告说,用目前的AI研究方法来实现通用AI的想法过于乐观。
[…] 该宣言由北京智源人工智能研究院、瑞莱智慧联合发起,百度、华为、蚂蚁集团、寒武纪、爱笔科技、第四范式、出门问问等人工智能行业的核心骨干企业、学术研究机构共同参与拟定,旨在更好地推动人工智能技术创新和产业稳健发展,形成更完备规范的创新体系和产业生态。 […]
[…] 目前,GPT-3和悟道2.0等语言AI均能自动撰写叙事性文本,但都是根据给定的条件来撰写,或基于已有的语句或段落来续写,缺乏与人类作者的互动。而作为一种协作文本编辑器,Wordcraft可让人类作家与创造性的 AI 助手一起编写文本。 […]
[…] 中文语言 AI 模型悟道可写诗、由文本生成场景,超越 GPT-3 […]