GPT-3 �…
今年,OpenAI推出的自然语言模型GPT-3引起了巨大的轰动。
这是迄今为止最大的NLP模型,包含1750亿参数,光是训练就调用上万块GPU,花费了460万美元的成本。
但GPT-3是基于英语语料库进行训练,而且并不开源,业内一直期待着能有一个中文的超大型NLP模型。
现在,它终于来了!

最近,北京智源人工智能研究院和清华大学研究团队,合作开展了一项大规模预训练模型开源计划——清源CPM(Chinese Pretrained Models)。
11 月中旬,CPM将开放第一阶段的26亿参数规模的中文语言模型 (CPM-LM) 和217亿参数规模的结构化知识表示模型 (CPM-KM) 下载,以及相应的Demo。
该项目的源代码和模型已经在GitHub和官网开放下载。

CPM中文语言模型与GPT-3模型类似,仅需要通过少次、单次学习甚至零次学习,就能完成不同自然语言处理任务,具备一定的常识和认知的泛化能力。
官方表示,清源CPM计划所有模型免费向学术界和产业界开放下载,供研究使用。
模型特点
与已有的中文预训练模型相比,本次发布的清源 CPM 大规模预训练模型具有以下特点:

1、语料丰富多样:收集大量丰富多样的中文语料,包括百科、小说、对话、问答、新闻等类型。
2、模型规模大:本次发布的 CPM-LM 的参数规模为 26 亿,预训练中文数据规模100 GB,使用了 64 块 V100 GPU 训练时间约为 3 周。
3、学习能力强:能够在多种自然语言处理任务上,进行零次学习或少次学习达到较好的效果。
4、行文自然流畅:基于给定上文,模型可以续写出一致性高、可读性强的文本,达到现有中文生成模型的领先效果。
Demo展示
为了更直观地展示清源CPM预训练模型的效果,官方提供了一些文本生成的Demo。
GPT-3能胜任的常识性问答,CPM预训练模型一样可以应对:

它能够根据真实的天气预报内容,生成天气预报文本模板:

除了生成文字外,清源CPM还具有一定的数理推理,根据之前的规律生成计算结果:

甚至可以续写红楼梦片段:

另外,智源和清华团队还在几项基准测试中验证了清源CPM的实际性能。
1、中文成语填空
ChID 是 2019 年清华大学对话交互式人工智能实验室(CoAI)收集的中文成语填空数据集,其目标是对于给定的段落,在 10 个候选项中选择最符合段意的成语进行填空。

表中汇报了预测的准确率,可以看到,CPM(大) 在无监督的设定下甚至达到了比有监督的 CPM (小) 更好的结果,反应了清源 CPM 强大的中文语言建模能力。
2、对话生成
STC是2015年华为诺亚方舟实验室提出的短文本对话数据集,要求在给定上文多轮对话的条件下预测接下来的回复。

在无监督的设定下,清源 CPM 具有更好的泛化性,在有监督设定下,清源 CPM 能达到比 CDial-GPT 更优的效果,尤其在多样性指标上表现更佳。以下为生成的对话样例。

3、文本分类
清源 CPM 使用头条新闻标题分类 (TNEWS,采样为4分类),IFLYTEK应用介绍分类 (IFLYTEK,采样为4分类),中文自然语言推断 (OCNLI,3分类) 任务作为文本分类任务的基准。

可以看出,清源CPM能够在无监督的设定下达到比随机预测 (TNEWS/IFLYTEK/OCNLI 随机预测精确度分别为0.25/0.25/0.33) 好得多的精确度。
4、自动问答
CPM 使用 DuReader 和CMRC2018 作为自动问答任务的基准,要求模型从给定的段落中抽取一个片段作为对题目问题的答案。其中DuReader 由百度搜索和百度知道两部分数据组成。

在单样本设定下,CPM 能从给定的样本中学习到生成答案的模式,因此效果总是比零样本设定更好。由于模型的输入长度有限,多样本输入的场景将在未来进行探索。
5、实体生成
CPM 采用 XLORE 中的几种常见的关系三元组作为实体生成任务的基准。在少样本设定 (把少量真实样本拼在待预测样本前作为提示) 下,不同规模的 CPM 模型的 BLEU-1 值如下表所示。

可以看出参数量越大时,模型对于预测实体效果越好。同时,模型在给定 2 个样本时就可以达到不错的效果,大部分时候 N=2 和 N=4 的效果是接近的。

64块V100训练3周
智源和清华本次发布的大规模预训练模型,难以在单块GPU上运行,因此需要将模型在多个 GPU之间分配参数,进行并行化训练。
CPM正是基于英伟达的大规模并行计算训练项目Megatron-LM。
CPM模型预训练过程分布在多块 GPU 上,采用层内并行的方法进行训练,并基于当前已有的成熟技术,减少同步提高通讯速率。
本次发布的CPM-LM的参数规模为26亿,预训练中文数据规模100GB,使用64块英伟达V100 GPU,训练时间约为3周。
而CPM-KG的参数规模为217亿,预训练结构化知识图谱为WikiData全量数据,包含近 1300 个关系、8500万实体、4.8 亿个事实三元组,使用了8块英伟达V100 GPU训练时间约为2周。
未来计划
今年年底开源的两个项目只是清源NLP研究计划的第一步,据了解,清源 CPM 未来一年的研究和开源计划是:

gpt-4中文版下载安装为大家带来全新发布的GPT-4智能AI对话系统,该软件还有许多主要特色。首先,其使用不受限制,能够帮助用户更好地进行沟通。其次,该软件非常小巧,不会占用手机内存,且运行非常平稳。用户可以进入不同的聊天室,发表自己感兴趣的话题,这非常有趣。此外,该软件不含任何广告,可以让用户在使用时更加舒适便捷。总之,这是一款功能丰富,使用便利的聊天软件,能够给用户带来更多的乐趣。
软件特色
1、每次玩家都可以在游戏中进行互动探讨,与其他玩家一起尝试各种火爆玩法,轻松便捷;
2、使用手机聊天功能,玩家可以随时随地与其他玩家进行沟通交流,并通过游戏生成文章等操作,体验更全面的功能;
3、全面的优质服务让玩家享受更加丰富的游戏体验,手机聊天也变得更加有趣。
软件优势
1、游戏所有玩法均为免费操作,玩家可以尽情享受所有畅玩功能,并获得更全面的服务;
2、通过智能体验,玩家可以获得更加有趣的聊天乐趣,并且能够全面尝试多样的功能;
3、在游戏平台上,玩家可以随时提出问题并得到详细解答,享受高品质服务。
软件内容
1、通过输入模拟人类对话模式来操作聊天,游戏将随时提供与其他玩家进行交流的机会,玩家还可以轻松生成聊天文章;
2、各种疑难问题都可以及时得到解答,玩家还可以通过代码生成查看各种功能,时刻了解游戏的最新动态;
3、游戏提供了丰富多样的功能,让玩家可以与机器人进行对话,享受更加有趣的游戏体验。
软件玩法
这款聊天软件采用人工组与机器组的对抗模式,丰富的聊天方式能让您获取更多有趣的交互经验。
随着您的对话不断升级,与您聊天的人工智能也会发生不同程度的变化。
您甚至可以自己训练一个有趣的人工智能,并体验惊奇的效果。
小编测评
这款软件有许多亮点。首先,随着用户对话的进行,与用户对话的人工智能也会逐渐发生变化,与用户的对话更加逼真。其次,用户可以自己训练一个有趣的人工智能,从而创造出很有趣的效果。此外,该软件还提供各种画面,用户可以尽情发挥,创造出有趣的效果。
3dm手游网为您提供gpt-4 中文版的 手机软件,欢迎大家记住本站网址,3dm手游网是您下载安卓手机软件app最好的网站!
如果您觉得这个手机游戏好玩,请分享给您的好友:https://shouyou.3dmgame.com/android/333294.html
阶段1 (2020年10月-12月):中文大规模预训练语言模型,含约 30 亿参数,训练数据包括 100GB 中文数据。
阶段2 (2021年01月-06月):以中文为核心多语言大规模预训练语言模型,含约 200 亿参数,训练数据包括 500GB 以中文为核心的多语言数据。
阶段3 (2021年07月-09月):知识指导的大规模预训练语言模型,含约 1000 亿参数,训练数据包括 1TB 以中文为核心的多语言数据和亿级实体关系图谱。
清源 CPM 计划将积极配备算力、数据和人力,注重开展原创研究,尽早实现与国际顶尖机构在超大规模预训练模型技术方面并跑,提升中文自然语言的深度理解和生成能力。
与此同时,智源研究院也将积极与产业界合作,在智能客服、个性推荐、文本生成、自动编程等方面,探索新型的人工智能应用和商业模式。
关于清源CPM计划
清源CPM计划是以中文为核心的大规模预训练模型。
首期开源内容包括预训练中文语言模型和预训练知识表示模型,可广泛应用于中文自然语言理解、生成任务以及知识计算应用。
清源CPM计划由北京智源人工智能研究院和清华大学研究团队合作开展。“自然语言处理”是智源研究院重点支持的重大研究方向之一。
智源在该方向上集结了大量国内权威学者,这些学者在NLP领域积累了丰富的研究成果。
如清华大学孙茂松、刘知远团队和李涓子、唐杰团队提出了知识指导的预训练模型 ERNIE 和 KEPLER,循环智能杨植麟团队提出了性能显著优于 BERT 的 XLNet 模型,清华大学朱小燕和黄民烈团队提出了面向情感分析的预训练模型 SentiLARE,融合常识知识的预训练语言生成模型 StoryGPT,面向中文对话生成的 CDial-GPT模型,等等。
研究团队将在智源研究院大规模算力平台的支持下,开展以中文为核心的超大规模预训练模型研究,包括跨语言学习、文本生成、知识融合、模型并行和压缩等前沿课题,并将相关模型及时通过智源社区开源共享。
生成型预训练变换模型 4(英語:Generative Pre-trained Transformer 4,简称GPT-4)是由OpenAI公司开发並於2023年3月14日发布的自回归语言模型[1][2]。Vox称GPT-4从各方面来说都优于OpenAI之前发布的GPT-3和GPT-3.5。[3]The Verge还在报道中引用了关于将大幅增加GPT-3的参数数量(从1750亿到100万亿)的传言,但OpenAI首席执行官山姆·柯曼将其斥责为“完全是胡说八道”。[4]美国众议员堂·拜尔和刘云平向《纽约时报》证实,奥尔特曼于2023年1月访问国会展示GPT-4及其与其他人工智能模型相比所改进的“安全控制”。[5]
微软表示GPT-4是多模态的(将支持文本以外的内容)。[6]微软表示還將GPT-4置入該公司旗下的Microsoft Office。[7]
能力[编辑]
OpenAI 在宣布 GPT-4 时表示,它“比 GPT-3.5 更可靠、更有创意,并且能够处理更细微的指令。” [8] 他们制作了两个版本的 GPT-4,上下文窗口分别为 8,192 和 32,768 个令牌,比分别限制为 4,096 和 2,049 个令牌的 GPT-3.5 和 GPT-3 有了显着改进。[9]与其前身不同,GPT-4 可以将图像和文本作为输入;[10] 这使它能够描述不寻常图像中的幽默、总结截屏文本以及回答包含图表的试题。[11] 尽管有这些新能力,GPT-4 和它的前辈一样,仍然倾向于产生幻觉答案。[12]