灵糧
生命福音[120]…
音频 三分钟
「尚青的时候，还没有割下，比百样的草先枯槁；」【伯8: 12】
尚青幼嫩这类植物没有自我支撑的能力。它们倚靠水来支托。如果没有水，它们就会下垂而死亡。如果神从人身上撤回，人就会像一度繁茂的芦苇那样灭亡。比勒达用这个比喻说明，惩罚将会落到一度正直而兴旺，但后来离开神的人。约伯就是如此。
不敬虔之人的指望要灭没。耶和华已经弃绝你所倚靠的。你得慰藉的盼望是徒然的。你必须归正，不只为了将来永远的安全，也为了在今世能得慰藉。没有归正，你就不知道神平安道路的奧祕。
不敬畏神的人，不能蒙圣灵的安慰。神只将平安赐给他的百姓、他的圣民。如果你在你的罪中得平安，既然这不是来自神的，你就可以猜到是从那里来的。罪恶是真实的病痛， 事实上是最严重的病痛，是心里有灾、是压伤的骨头；刺透我们的肉、折磨我们的身。
我们的良知要先得洁净，才能真正得平安 ，使人安乐和平安是智慧的道路。犯罪中的平安受神的咒诅。我们当惧怕罪恶相容的平安，并死在罪恶里的平安。
诗人曰：你来世得救恩的盼望是徒然的，这是得罪神的盼望，也是伤害自己的盼望。这是个進入其中有死亡、 绝望、和亵渎的盼望。你要从所倚靠的帐棚被拔出，带到惊吓的王那里。你虽然倚靠这房屋，房屋却站立不住；它要像一栋破旧的房屋，人靠着它，它就垮在人身上。
在这盼望中有绝望 。“不敬虔的人，神夺他的命时，他还有什么指望呢”。但“义人临死，有所投靠”。“恶人一死，他的指望必灭绝；罪人的盼望也必灭没”。他所仰赖的要折断，他所倚靠的要像蜘蛛网。恶人的眼目必要失明；他们的指望就是气绝。
盼望在重生之外见神的国，盼望在宽大的路上寻找永生，人的盼望误入岐途。大卫说：“我仰望你的应许” 。但这是在神应许之外的盼望。
神很厌恶地拒绝这个盼望。弥迦所咒诅的人仍然继续活在他们的罪中，但弥迦说： “他们却倚赖耶和华”。神不会忍受人在他们的罪中，把他当作一个后盾，耶和华拒绝了那些擅敢行事的罪人。他们继续在他们的罪中，却说他们仍倚赖以色列的神， 这种举动就像一个人很干脆地刷掉黏在他衣服上的荆棘一样。
如果你的盼望有任何价值，祂必定洁净你的罪，但那允许人继续在罪中的盼望是被咒诅的。
若在归正之外能进天堂的盼望，感到绝望。你必须对你在圣洁之外能 见神的面的盼望，感到绝望。但，你千万不要对借着悔改和归正寻找怜悯的盼望，感到绝望。我们都活在基督里，呈现归正的盼望。你也不要对使用神恩典之道而获得悔改和归正的盼望感到绝望。感谢神 ! 奉主蒙恩 ! 阿们 !
每日活灵(232)…
音频 三分钟
「我为主被囚的劝你们，既然蒙召，行事为人就当与蒙召的恩相称；」【弗4:1】
神呼召我们，并不是要我们离世而生活，乃是要我们在世界中过一种照着神恩召的目的而「行事为人」的生活。神的『恩典』需要藉基督徒的生活行事将它表明出来。
基督教不只有供应，并且乃是供应在先，要求在后。我们只能劝勉神的儿女，不能劝没有悔改的人过基督徒的生活。人不能凭行为得救，但是得救的人，绝对要有符合被召标准的好行为。
主是在十字架上成就了和平，十字架的工作乃是制造和平；只有当我们取用十字架的原则，把自己钉在十字架上，才能真正与别人和平。
信徒若不强调自己的背景与习惯，就会希奇地发现：虽然在外面有许多的不同，但在我们里面却有一个最重要的东西是相同的，就是灵里的生命。
我们要行事为人与神的呼召相配，有正确的身体生活，需要先顾到一。我们必须保守那灵的一。这对基督的身体是重大且紧要的。
严格的说，一与联合不同。联合是许多人联在一起，而一乃是那灵这一在信徒里面的实质，使我们众人成为一。我们的一乃是个人位，就是实化为赐生命之灵的主耶稣自己。今天主在我们里面是那赐生命的灵，这灵就是我们的一。所以我们的一不是远在诸天之上的客观人位，乃是住在我们里面，作我们生命的主观人位。
对在基督里的信徒来说，也是同样的原则。内住在我们里面的那灵，乃是我们的一。在我们里面并在我们中间的一，就是那赐生命的灵。所以，保守一就是保守那赐生命的灵。奉主蒙恩 ! 阿们 !
每日活灵(251)…
音频 三分钟
「穿上了新人。这新人在知识上渐渐更新，正如造他主的形像。惟有基督是包括一切，又住在各人之内。」【西3: 10,11】
归正后，我们里外所有的不同，都已被基督取代；基督是信徒外面的彰显，又是信徒里面的丰富；得着了基督，就得着了一切；一切都是为着基督，也都归于基督。
「穿上了新人」是指在我们的灵里已经完成的事实，但仍未及于我们的魂和身体，因此我们必须被更新。
我们的心意需要被更新而变化；对神的认识越多，里面的新人生命就越长进，外面的新人生活也越过越像主。
神使我们重生的目的，是要从迷途中领回我们，以达成当初创造我们的用意。这脱去旧人、穿上新人的转折点，并不要我们来努力完成，乃是基督早已借着死而复活为我们成就了。
我们在生活上要表现神，不是根据人的仁义和圣洁，乃是根据真理的仁义和圣洁，也就神性情的显露。我们无论对神或待人，都应存真挚的心，因为虚伪不能瞒骗真神。
新人是属于基督的。这新人就是祂的身体，是祂在十字架上在自己里面所创造的。新人是由许多不同的人组成的。在这团体的新人里，惟有基督是一切，又在一切之内。在新人里，基督是众人，也在众人之内。所以，在团体的新人里，基督是一切，又在一切之内。
教会是蒙召之人的聚集，因此是一个会集。这是教会初步的一面。这些比初步的一面高，但比不上召会是基督的身体这一面。然而，新人比基督的身体还要高。教会是基督的身体，需要基督作生命；这新的团体人该过一种生活，如同耶稣在地上所过的，就是实际的生活，彰显神并叫人认识神是实际。奉主蒙恩! 阿们!
生命福音[119]…
音频 三分钟
「所以，我亲爱的弟兄们，你们务要坚固，不可摇动，常常竭力多作主工；因为知道，你们的劳苦在主里面不是徒然的。」【林前15: 58】
属肉体的人也是盼望，在那里要讨神的喜欢。结果盼望是徒然的。
当属『肉体』的犯罪累累，神已经全然绝望，只把所有的盼望，都寄托在祂儿子基督身上。神既如此，我们为何还对自己的肉体有所盼望呢？我们为何还不肯断离一切，惟独基督作我们荣耀的盼望呢 ？
属灵与属肉体、基督与玛门。两者不可并论。决定了你的服事；人所看重的，神却不看重；神所看重的，属肉、属世的信徒却不看重。求主怜悯给我们有正确的属灵眼光，能按神的旨意来看待一切的人与事。
恩赐、才干和信心并不等于是『爱』；没有爱的人也可以表现出非常属灵的外表，但却缺少属灵的实际内容。也就是假冒偽善；我们千万不要凭外表来判断属灵的事，而要凭爱心、凭实际内容在基督里。
爱的传承，正是那一位爱之神具体的表现丰满的基督。所以基督乃是一切恩赐的实际；无论是话语的职事 -万人的方言、天使的话语、先知讲道，或是属灵的认识『各样的奥秘，各样的知识』，或是全备的信心，或是最好的行为将所有的赒济穷人，又舍己身叫人焚烧，若没有基督作内容、作实际，仍是全然虚空『算不得甚么』。哦，丰满的基督，乃是一切的价值！所有的『爱』字，可用『基督』来代替。神的道暢通天地。
虽然人的服事对神是很宝贵，但若假冒为善者神却不喜悦。假冒为善者的宰牛，好像杀人；转耳不听律法的，他的祈祷也为可憎。难道这人的光景不是很可怕吗？只要你们的心仍未成圣，神不会接受你们所做的。耶户杀尽拜巴力的人，但神拒绝了他，因为他的心不正直。未归正之前，就律法上的义而言，如保罗是无可指摘的，但因他仍未归正，故一切皆算为亏损。
徒然劳碌工作是悲惨的。建造房屋却不得居住其内，栽种葡萄却不得收割，寄居的人将因你的劳力而得利，神警告说这是最严厉暂时性的审判。人不要自欺；如果你继续住在你的罪中，即使你向神举手，时时祈祷，祂也必掩面不听。盼望也是徒然的。感谢神 ! 奉主蒙恩 ! 阿们 !
生命福音[118]…
音频 三分钟
「祂大声喊着说：『巴比伦大城倾倒了！倾倒了！成了鬼魔的住处和各样污秽之灵的巢穴，并各样污秽可憎之雀鸟的巢穴。」【启18: 2】
属世的巴比伦城今天就已经充满了污鬼和邪灵的活动，欧美各国的人早就热衷于万教归一运动、新时代运动、瑜珈术、万圣节、极端灵恩等，正在为此处预言的成就铺路。
人若不归正，就会落入鬼魔的住处和各样污秽之灵的巢穴里，也就不能达到被神所造的目的。还未重生之人不知道天国的奥秘。他必须先蒙神的呼招，学习如何祷告，如何交通，如何谦卑，活出基督耶稣的形象。
我们听了祂的道，领会祂的教导，也学了祂的真理。主所立的约乃是将祂的律法放在我们里面，写在我们心上；祂要做我们的神，我们要做祂的子民。行祂的道，这样我们心里必得安息。
信徒若没有力量做神的工，他的心何等懦弱！他很快就累了，守安息日何等繁琐！他是无力的，甚至死在罪中。他不愿意明白神的道。也不知道如何寻求神的道路，昏昏噩噩过白子！他必会掉進鬼魔和各样污秽之灵的巢穴。
未曾归正的人在世上不但没有目标，反而像行屍走肉。仍未归正之人，里面藏有污秽如可憎之鸟的巢穴，里面充满污秽、腐烂的坟墓，表里不一致；里面没有生命，是死的，却要在外表掩盖其死亡枯干的灵魂。
人类到末世，抢夺了神在世界上一切的荣耀，难道这不是非常可怕的吗？“一切受造之物一同叹息”，因为未成圣的人滥用一切受造物。人用这些来满足自己的私欲，这就違反神的受造物之用意了。
当人爱神爱又玛门的宗教行为都要落空，因为不能使你讨神的喜悦，也不能救你的灵魂。
背约的人不能逃脱被灭，离弃神结局悲惨。只得屈身在被掳人之下，仆倒在被杀人之下。神怒气还未消，祂手仍伸不缩。经上说：背弃立约，已投降又背叛，必不能逃脱。 我必使这罪归他头上。将我网撒他身上，他必在我网罗中缠住，带到巴比伦，因他干犯我的罪刑罚他【结17: 18】。
摩西说：为何违背耶和华的命令呢？这事不能顺利了！率领我们的是神，我们这里也有神的祭司拿号向你们吹出大声。以色列人哪，不要与耶和华你们列祖的神争战，因你们必不能亨通！有这前車之鉴，世人也当速速回归于神。感谢神 ! 奉主蒙恩 ! 阿们 !
GPT1、GPT2…
GPT-1：无监督学习 GPT-1原理介绍 预训练模型（无监督） fine-tuning（有监督） 小结
GPT-2：多任务学习 GPT-2的改进 模型参数 为什么GPT-2能够适应多任务？
GPT-3：海量参数 Abstract Introduction
GPT-1：无监督学习
GPT-1原理介绍
GPT模型主要包含两个阶段，第一个阶段，先利用大量未标注的语料预训练一个语言模型，接着，在第二个阶段对预训练好的语言模型进行微改，将其迁移到各种有监督的NLP任务，并对参数进行fine-tuning。
预训练模型（无监督）
给定一个没有标注的大语料，记每一个序列为 u = u 1 , . . . , u n u = {u_1, …, u_n}u=u1,…,un，GPT通过最大化以下似然函数来训练语言模型：
L 1 ( U ) = ∑ i log P ( u i ∣ u i − k , … , u i − 1 ; Θ ) L_{1}(\mathcal{U})=\sum_{i} \log P\left(u_{i} \mid u_{i-k}, \ldots, u_{i-1} ; \Theta\right)L1(U)=i∑logP(ui∣ui−k,…,ui−1;Θ)
其中，k 表示上下文窗口的大小，这里计算每个单词的预测概率时，只考虑左侧窗口大小的词汇信息（单向Transformer），在GPT中，作者基于一个12层的Transformer decoder作为语言模型的结构，并将decoder的中间那层线性变换删除，其结构和计算过程如下
GPT用的结构和Transformer的encoder、decoder都不一样，encoder是两个线性层，但是没有masked，decoder是三个线性层，有masked。
其中，U = u − k , . . . , u − 1 U={u_{-k}}, … , u_{-1}U=u−k,...,u−1 表示左侧窗口的词汇向量，n表示Transformer的层数，W e W_eWe 表示词向量矩阵，W p W_pWp表示position embedding矩阵，在GPT中，作者对position embedding矩阵进行随机初始化，让模型自己学习，而不是采用正弦余弦函数进行计算。(原Transformer用的三角函数)
从GPT的计算公式来看，其实跟Transformer基本是一样的，只是对每个时间步，都只考虑左侧窗口大小的上下文信息。
由于使用了Masked Self-Attention，所以每个位置的词都不会“看见”后面的词，也就是预测的时候是看不见“答案”的，即避免了see themselves 的问题，保证了模型的合理性，这也是为什么OpenAI采用了单向Transformer的原因。
fine-tuning（有监督）
当语言模型训练结束后，就可以将其迁移到具体的NLP任务中，假设将其迁移到一个文本分类任务中，记此时的数据集为 C ，对于每一个样本，其输入为 x 1 , . . . , x m x^1, …, x^mx1,...,xm，输出为 y yy。对于每一个输入，经过预训练后的语言模型后，可以直接选取最后一层Transformer最后一个时间步的输出向量 h l m h_l^mhlm，然后在其后面接一层全连接层，即可得到最后的预测标签概率：
P ( y ∣ x 1 , . . . , x m ) = s o f t m a x ( h l m W y ) P(y | x^1, …, x^m) = softmax(h_l^m W_y)P(y∣x1,...,xm)=softmax(hlmWy)
其中，W y W_yWy为引入的全来凝结层的参数矩阵。因此，可以得到在分类任务中的目标函数：
L 2 ( C ) = ∑ x , y l o g P ( y ∣ x 1 , . . . , x m ) L_2(C) = \sum_{x,y} logP(y | x^1, …, x^m)L2(C)=x,y∑logP(y∣x1,...,xm)
在具体的NLP任务中，作者在fine-tuning时也把语言模型的目标引入到目标函数中，作为辅助函数，作者发现这样操作可以提高模型的通用能力，并且加速模型手来你，其形式如下：
L 3 ( C ) = L 2 ( C ) + λ ∗ L 1 ( C ) L_3(C) = L_2(C) + λ * L_1(C)L3(C)=L2(C)+λ∗L1(C)
其中 λ一般取0.5。
可以发现，在fine-tuning阶段，此时新增的参数只有最后一层全连接层的参数 W y W_yWy，这比ELMo算法要容易得多。
不过，上面这个例子知识对与文本分类任务，如果是对于其他任务，比如文本蕴涵、问答、文本相似度等，那么GPT该如何进行微调呢？
-
文本蕴涵：对于文本蕴涵任务（文本间的推理关系，问题-答案），作者用一个$负号将文本和假设进行拼接，并在拼接后的文本前后加入开始符 start 和结束符 end，然后将拼接后的文本直接传入预训练的语言模型，在模型再接一层线性变换和softmax即可。
-
文本相似度：对于文本相似度任务，由于相似度不需要考虑两个句子的顺序关系，因此，为了反映这一点，作者将两个句子分别与另一个句子进行拼接，中间用“$”进行隔开，并且前后还是加上起始和结束符，然后分别将拼接后的两个长句子传入Transformer，最后分别得到两个句子的向量表示 h l m h_l^mhlm，将这两个向量进行元素相加，然后再接如线性层和softmax层。
-
问答和尝试推理：对于问答和尝试推理任务，首先将本经信息与问题进行拼接，然后再将拼接后的文本一次与每个答案进行拼接，最后依次传入Transformer模型，最后接一层线性层得到每个输入的预测值。
具体的方法可以查看下图，可以发现，对这些任务的微调主要是：
-
增加线性层的参数
-
增加起始符、结束符和分隔符三种特殊符号的向量参数
小结
-
GPT其实跟ELMO非常相似，只是把语言模型直接迁移到具体的NLP任务中，因此，更容易进行迁移学习。
-
不过GPT主要还是针对文本分类和标注性任务，如果对于生成任务，比如机器翻译等，则其结构也没法进行很好的迁移。
https://zhuanlan.zhihu.com/p/69290203
GPT原理介绍
Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[J]. 2018.
GPT-2：多任务学习
GPT-2继续沿用了原来在GPT中使用的单向 Transformer 模型，而这篇文章的目的就是尽可能利用单向Transformer的优势，做一些BERT使用的双向Transformer所做不到的事。那就是通过上文生成下文文本。
GPT-2的改进
**1. 去掉了fine-tuning层：**不再针对不同任务分别进行微调建模，而是不定义这个模型应该做什么任务，模型会自动识别出来需要做什么任务，是很通用的设计。
**2. 增加数据集：**GPT-2手机了更加广泛，数量更多的语料组成数据集。该数据集包含800万个网页，大小为40G。这些数据是经过过滤后得到的高质量文本。
**3. 增加网络参数：**GPT-2将Transformer堆叠的层数增加到48层，隐层的维度为1600，参数量达到了15亿。（5倍于BERT的参数量）
**4. 调整Transformer：**将layer normalization放到每个sub-block之前，并在最后一个self-attention后再增加一个layer normalization。
-
此外，GPT-2将词汇表数量增加到50257个；最大的上下文大小从GPT-1的512提升到了1024 tokens；batch-size增加到512.
模型参数
-
同样使用了使用字节对编码构建字典，字典的大小：50257
-
滑动窗口大小：1024
-
batch-size：512
-
Layer Normalization移动到了每一块的输入部分，在每个self-attention之后额外添加了一个Layer Normalization
-
将残差层的初始化值用 1 ( N ) \frac{1}{\sqrt(N)}(N)1进行缩放，其中N是残差层的个数
GPT-2训练了4组不同的层数和词向量的长度的模型，见表：
| 参数量 | 层数 | 词向量长度 |
|---|---|---|
| 117M（GPT-1） | 12 | 768 |
| 345M | 124 | 1024 |
| 762M | 36 | 1280 |
| 1542M | 48 | 1600 |
效果如下：
可以看出随着模型的增大，模型的效果是不断提升的。模型仍欠拟合，后续还会加大数据量，做大做强。
为什么GPT-2能够适应多任务？
在训练的时候，采用了多任务的方式，不单单只在一个任务上进行学习，而是多个，每一个任务都要保证其损失函数能收敛，不同任务是共享主题Transformer参数的，进一步提升模型的泛化能力，因此在即使没有fine-tuning的情况下，依旧有非常不错的表现。
在fine-tuning有监督任务阶段，GPT-2根据给定输入与任务来做出相应的输出，那么模型就可以表示成下面这个样子：
p ( o u t p u t ∣ i n p u t , t a s k ) p(output | input, task)p(output∣input,task)
例如可以直接输入：(“自然语言处理”, 中文翻译)来得到我们需要的结果(“Nature Language Processing”)，因此提出的模型可以将机器翻译，自然语言推理，语义分析，关系提取等10类任务统一建模为一个分类任务，而不误再为每一个子任务单独设计一个模型。
当我们说GPT2是基于Transformer Decoder的时候，我们在说什么？
Transformer结构及其应用详解–GPT、BERT、MT-DNN、GPT-2
GPT-3：海量参数
Abstract
-
提出问题：最近的许多研究都表明pre-train模型搭配下游任务fine-tune在许多情况下效果显著，但是微调过程需要大量的样本。这一框架不符合人类的习惯，人类只需要少量的示例或说明便能适应一个新的NLP下游任务。
-
主要贡献：本文证明了通过增大参数量就能让语言模型显著提高下游任务在Few-shot（仅给定任务说明和少量示例）设置下的性能，即证明了大规模语言模型使用元学习策略的可能和fine-tuning策略的非必要性
-
具体贡献：
-
训练了包含175billion参数（以往非稀疏语言模型的10倍大小）的GPT3自回归语言模型，并在多个数据集上测试没有fine-tune过程的性能表现。
-
虽然GPT3在文本翻译、问答系统、完型填空、新词使用和代数运算等任务表现不错，但在阅读理解和推理任务数据集上的表现仍有待提高。
-
由于GPT-3的训练依赖于大量的网页语料，所以模型在部分测试数据集上可能出现方法论级别的data containation问题。
-
GPT3能够编写出人类难以区分的新闻文章，本文讨论了该能力的社会影响力。
Introduction
-
提出问题：许多基于RNN或Transformer结构的语言模型通过“pre-train + fine-tune”过程在阅读理解、问答系统等任务中有不俗的性能。然而本文认为上述架构最大的问题在于必须拥有大量的下游任务fine-tune样本才能取得很好的性能。因此，本文基于下述原因认为移除fine-tune是必要的：
-
每一个新的任务都需要大量的标记数据不利于语言模型的应用的。
-
提升模型表征能力的同时降低数据分布的复杂度是不合理的。比如，大模型并不能在样本外推预测时具有好效果，这说明fine-tune导致模型的泛化性降低了。
-
人类在接触一个下游语言任务时不需要大量的样本，只需要一句对新任务的描述或者几个案例。人类这种无缝融合和切换多个任务的能力是我们当前自然语言技术所欠缺的。
-
模型移除fine-tune有2个解决方案：
-
meta-learning（如图1.1）：模型在训练阶段具备了一系列模式识别的能力和方法，并通过在预测过程中利用这些能力和方法以快速适应一个下游任务。最近的一些研究尝试通过称为in-context learning的方法来实现上述过程，然而效果距离期待的相差甚远。
-
Large scale transformers：Transformer语言模型参数的每一次增大都会让文本理解能力和其他的NLP下游任务的性能得到提升。此外，有研究指出描述许多下游任务性能的log损失能让模型的性能和参数之间服从一个平滑趋势。考虑到in-context learning会将学习到的知识和方法存在模型的参数中，本文假设：模型的情境学习能力也会随着参数规模的增长而增长。
情境学习（in-context learning）：在被给定的几个任务示例或一个任务说明的情况下，模型应该能通过简单预测以补全任务中其他的实例。即，情境学习要求预训练模型要对任务本身进行理解。情境学习三种分类的定义和示例如下：
-
few-shot learning
-
定义：允许输入数条反例和一则任务说明
-
示例：向模型输入“这个任务要求将中文翻译为英文。你好->hello，再见->goodbye，购买->purchase，销售->”，然后要求模型预测下一个输出应该是什么，正确答案应为“sell”。
-
-
one-shot learning
-
定义：只允许输入一条范例和一则任务说明
-
示例：向模型输入“这个任务要求将中文翻译为英文。你好->hello，销售->”，然后要求模型预测下一个输出应该是什么，正确答案应为“sell”。
-
-
zero-shot learning
-
定义：不允许输入任何范例，只允许输入一则任务说明
-
示例：向模型输入“这个任务要求将中文翻译为英文。销售->”，然后要求模型预测下一个输出应该是什么，正确答案应为“sell”。
-
-
本文研究内容：本文训练了一个拥有175billion参数的自回归语言模型（GPT-3），并利用两组NLP数据集和一些全新的数据集评估了模型的情境学习能力和快速适应新任务能力。对于每一个任务，作者都测试了模型“few-shotlearning”，“one-shot learning”和“zero-shot learning”三种条件的性能。虽然GPT-3也支持fine-tune过程，但本文并未测试。
具体GPT-3论文内容看参考文献1，写得非常好，不想再复制粘贴了，直接去原链接[1]看。
GPT-1，GPT-2和GPT-3发展历程及核心思想，GTP-4展望
前言 Generative Pre-trained Transformer（GPT）系列是由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，Q&A等，而完成这些任务并不需要有监督学习进行模型微调。而对于一个新的任务，GPT仅仅需要非常少的数据便可以理解这个任务的需求并达到接近或者超过state-of-the-art的方法。 当然，如此强大的功能并不是一个简单的模型能搞定的，GPT模型的训练需要超大的训练语
GPT系列解读–GPT1
GPT-1采用了Transformer架构，并使用了大规模的无监督预训练方法，能够生成连贯的自然语言文本。具体来说，GPT-1使用了一个基于Transformer解码器的自回归语言模型（auto-regressive language model），通过最大化文本序列的概率，预测下一个单词。其中，GPT-1在单个英文句子的语言模型任务上表现最好，达到了0.99的困惑度（perplexity），超过了之前的SOTA模型。GPT-1的成功为基于预训练的自然语言处理模型的发展提供了新的思路和方法。
GPT-1和GPT-2的发展_gpt1_hyzhyzhyz12345的博客
1、预训练(无监督样本) gpt1.0的语言模型是auto regressive language model,由序列的上文推断下文。gpt1.0处理非监督序列文本(?1,?2,…,??),采用最大似然估计方法来训练,其损失函数为L1(X),不断通过SGD策略调整神经网络的…
GPT系列:GPT1 -> 2 -> 3 -> InstructGPT ->ChatGPT_gpt 系列_zhurui…
在没有见过数据的zero-shot任务中,GPT-1的模型要比基于LSTM的模型稳定,且随着训练次数的增加,GPT-1的性能也逐渐提升,表明GPT-1有非常强的泛化能力,能够用到和有监督任务无关的其它NLP任务中。GPT-1证明了transformer对学习词向量的…
通俗易懂的GPT原理简介
综上所述，GPT是自然语言处理领域中最强大的模型之一，它的出色表现已经使得它在各种应用场景中得到了广泛的应用。GPT1、GPT2、GPT3、InstructGPT
GPT1、GPT2、GPT3、InstructGPT
GPT-1面试题_onlyfansnft.art的博客
GPT-1 是一种用于自然语言处理的机器学习模型,它是基于 Transformer 架构的。它是 OpenAI 在 2018 年发布的第一个 GPT 模型,有 1.17 亿个参数,比之前的语言模型有了显著的提升。GPT-1 的一个优点是它能够根据给定的提示或…
李宏毅自然语言处理——GPT3简介
热门推荐
超级火的GPT3还不知道吗？
从GPT到chatGPT（一）：GPT1
GPT1，出自于OpenAI的论文，是最早的将transformer以多层堆叠的方式构成语言模型的模型，其出现时间早于BERT，但二者有一个最大的区别在于BERT只用的是transformer的encoder层，而GPT1只用了transformer的decoder层。除此以外二者在目标函数等地方也有各自的方法，感兴趣的可以自行阅读对比，这里不再展开。我们通过单一任务不可知（task-agnostic）模型实现了一个强大的自然语言理解框架，主要包括生成性预训练和区分性微调两部分。
GPT/GP2/GPT3
GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩
笔记：李沐老师GPT系列讲解 – 知乎今天分享的是李沐大神讲解GPT系列论文的读书笔记。GPT可以简单理解为是transformer的解码器。 GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bi
最新最全GPT-3模型网络结构详细解析
最近，GPT3很火，现在有很多讲GPT-3的文章，比如讲解它可以做什么， 思考它的带来的影响， 可视化其工作方式。看了这些文章并不足以详细了解GPT-3模型，仍然需要认真研究相关论文和博客。 因此，本文主要目标：帮助其他人对GPT-3体系结构有一个尽可能详细的了解。 原始模型 首先，原始的Transformer和GPT模型的网络结构如下图所示： 上图详细描述了GPT-3网络结构基础，要深入学习其网络结构，仍需进一步深入研究。 输入与输出 在了解其他内容之前，我们需要知道：GP..
总结GPT1和GPT2
【NLP】预训练模型——GPT1
废话不多说，先把三篇论文链接放出来：GPT1:Improving Language Understanding by Generative Pre-Training、GPT2:Language Models are Unsupervised Multitask Learners、GPT3:Language Models are Few-Shot Learners。李沐老师也在B站上放了介绍GPT模型的视频：GPT，GPT-2，GPT-3 论文精读【论文精读】.首先我们理一下Transformer出现后一些语
gpt2-chinese-cluecorpussmall
包括模型，配置文件等预训练相关的文件
这就是GPT 的画车水平
ChatGPT 大家都比较熟悉了，这次笔者让它的同门师兄弟 Dall-E 来为大家画车。 ChatGPT 和 Dall-E 同属 OpenAI，且都来自于 GPT 架构，OpenAI 旗下还有个重磅产品叫 CLIP，有兴趣的小伙伴可以去了解了解，因为涉及到很专业的内容，就不过多赘述了。 除此之外，
keras-gpt-2：加载GPT-2检查点并生成文本
凯拉斯GPT-2 [| ] 加载预训练的权重并使用预测。
保存之前阶段训练的参数，在上述结构的基础上，去掉softmax层，然后加上一层全连接层与特定任务的softmax，然后用有标签的数据集训练，在这期间，半监督学习的参数可以选择处于冻结状态，然后只更新新的全连接层参数。GPT-1主要针对的是生成型NLP任务，如文本生成、机器翻译、对话系统等。GPT-2在初代的模型架构上变得更大了，参数量达到了1.5B，数据集改为百万级别的WebText，Bert当时最大的参数数量为0.34B，但是作者发现模型架构与数据集都扩大的情况下，与同时期的Bert的优势并不大。
ChatGPT 能够自动生成类似于人类写作的文本，这一点非常引人注目，也令人意外。但它是如何实现的？为什么它能够如此出色地生成我们认为有意义的文本？我的目的是在这里概述ChatGPT内部的运行情况，并探讨它能够如此出色地产生有意义文本的原因。首先需要解释的是，ChatGPT的基本目标是尝试产生一个“合理的延续”，无论它当前所拥有的文本是什么。这里的“合理”是指“在浏览了数十亿网页等人类书写的内容后，人们可能会写什么”。
gpt2-chinese
最新发布
gpt2的预训练小模型
GPT-2 的原理
GPT-2（Generative Pre-trained Transformer 2）是一种自然语言生成模型，由 OpenAI 开发。它的基本原理是使用自注意力机制，通过预先训练一个自然语
AI倫理與神學反思…
三段視頻
我們來看幾段視頻，進一步了解，腦機對接是不是馬斯克的偉大發明？
第一個視頻，看到馬斯克的現場示範，得知他的團隊研發出一種腦際對接的晶片，大約銅板大小，用母豬來做實驗。在腦門上開一個洞，和晶片接口的大小一致，在晶片的另一端有電極植入腦部，可以收集即時的腦波信號。
每次母豬葛楚德（Gertrude）的鼻子接觸到東西，這接口就會送出可見的信號。其實馬斯克的團隊去年就已經發佈過類似的腦機接口，不過是放在耳後，連接電極植入腦中。今年的更新版則是以無線傳送信號。
第二個視頻是密西根大學的醫學研究團隊發表的，他們已經取得和放大控制手掌的信號，用以控制人工製造的機器義肢。
密西根大學於2006年開始研究，希望為截肢的病人提供更好的人工手掌，可以靈活如真手。雖然機器手掌可以做到非常靈活，但如何從斷肢中截取控制手指的信號？這方面這些年有很大的進步（20多年前在我的實驗室中，萊斯大學的博士生也做過類似研究，可是那時取信號技術還不夠成熟）。
這團隊在截肢的神經末梢上移植一片肌肉組織，既能避免長出神經瘤的疼痛，又可以大幅度地放大信號，因而目前能做到信號與噪音比 (S/N) 達到10-60, 且每一隻手指的多個自由度的信號都能辨別出來，用以控制整個機器手，已非常成功。截肢的志願者只要“想”控制任何手指，機器手就會跟著做動作。
我相信一般人對在腦殼上開一個洞會覺得很恐怖，而從腦內取信號則更恐怖，因此會有馬斯克是敵基督一說！認定腦機對接必定是噩夢與禍害！其實從腦部取集信號，其來已久，並不一定需要打洞開腦殼。作腦波研究的醫學界用這種帶電極的頭罩來探測腦波，此外用核磁共振掃描研究腦部信號也相當有成果。
以下是我們所知醫學界已經成就的一些事實：
-
腦波信號與電腦界面的研究已有60年以上歷史，非馬斯克發明。
-
取得腦波信號不一定需要頭顱開洞。
-
得到信號，不等於了解信號，就像數據不等於資訊。
-
要能了解數據，並且能應用才算達到AI的層面。
-
腦波信號的應用可以是雙方向進出的。
所以”噩夢“與否的關鍵，是不是只要腦殼不開洞，腦波與機器連接就比較能夠接受呢？相信許多朋友和信徒會有這樣的疑問。
第三個視頻 是幫助帕金森病人控制穩定動作的研究，稱為Deep brain stimulation (DBS)，用深入腦部手術，植入電極，並釋放出電波來控制帕金森症手腳的顫抖。從1997年開始研究，2002年開始人體試驗，到2016年FDA批准，使原本手顫抖無法控制的病人，可以改善到甚至能簽名。
類似的研究，也能應用到癲癇症的病人，但腦部的部位和使用的信號不同。目前已經可以做到在癲癇發作之前測試到異常的腦波信號，進而用電極放出適當信號反制異常信號，甚至能預防和保護病人因癲癇發作引起的意外。史丹福大學從2004年開始研發，2014年得到了FDA的批准，稱為 (RNS)，腦波步伐調節器(NeuroPace®)。類似的心率調節器（Pace Maker）和 心臟電擊除顫器（defibrillator）等，在醫學領域使用在病人身上已經許多年，救治了許多人的性命。
由此可見“人工”（artificial）製造不一定不好，或者一定是噩夢或災害，若是以“人工精製”與“量產製造”比較，當然是“人工”作的好。因而這人工的“人”就是關鍵了。AI 是人訓練出來的，什麼樣的資訊與數據輸入進電腦，所訓練出來的AI就會被它的設計者左右。若這設計者“人”不好，在辨別和應用信號的處理上具有邪惡的意念，那設計出來的“人工智能”當然就不好，會成為噩夢與禍害！
虛擬（Virtual）與德行（Virtue）
讓我們回到這一堂的總題 “From Virtual to Virtue”來看, “Virtual” 的意思是虛擬，而“Virtue”是指德行。
這兩個字在聖經裡有沒有根據呢？第一“Virtual”這個字在聖經裡還真的找不到。最接近的只有在《耶18: 20》豈可以惡報善呢？他們竟(幾乎)挖坑要害我的性命。求你記念我怎樣站在你面前為他們代求，要使你的忿怒向他們轉消。”這裡的“幾乎”在英文的翻譯是 “Virtually”，也就是“幾乎”，“簡直”，但“不全是”的意思。所以 (VR) 就是指虛擬實境，看起來好像是實境，可又不是真正的實境。
至於 “Virtue” 的意思是“德行”，在聖經裡有相當多地方講到。《彼後1: 4》“因此，祂已將又寶貴、又極大的應許賜給我們，叫我們既脫離世上從情慾來的敗壞，就得與神的性情有分。”《彼後1: 5》“正因這緣故，你們要分外地殷勤。有了信心，又要加上德行；有了德行，又要加上知識；……”原來“Virtue” 是神的性情之一！
所以我們若要從“Virtual”到“Virtue”（從“虛擬”到“德行”），一定要回歸到神的性情的本源！回到神創造人的“德行”，那麼人所創造出來的機器人才能夠有道德！
機器人的道德律
講到機器人的道德律，最早提出來的是Issac Asimov，他是一位非常著名的科幻小說家，本身也是一位科學家，生化博士，大學教授。他在1942年的小說《我，機器人》 （I, Robot）中提出了三條機器人的道德律：
1.機器人絕不可傷害人，或讓人被傷害。
2.機器人必須服從人類給的命令，除非違反第一條。
3.機器人必須保護自己，但這保護的行動不可違反第一和第二律。
但從今天看來，現代發展出來的各式各樣的軍用機器人其目的就是要傷害人的！
因此，2010年在英國的工程師與人工智能學會開會商討，提出下列這幾條設計機器人的倫理原則（當然其前提是設計者必須認同這些道德觀）：
1.機器人的設計，若不是為了國家安全，絕不可唯一的目的是殺人或傷人。
2.人類必須為機器人的行動負責，因機器人是人類設計的工具，為達成人類制定的目的。
3.機器人的設計必須保證它的安全和維繫安全。
4.機器人是人造的器具，不應該設計來利用使用者心理的弱點而操縱人，讓人心裡依賴。機器人與真人必須能夠分辨。
5.誰是有法律責任的特定機器人設計者，必須能追查得到。
神造人的本意與目的
由此看來，不是機器人本身需有倫理，而是設計機器人的設計者，必須要有倫理道德。因此，我們必須回歸本源，設計機器人的“人”必須要有“德行”，要有神的性情！所以我們必須回頭去看神造人的形像，回歸到伊甸園裡神造人的本意與目的。
《創1: 26-27》 神說：‘我們要照著我們的形像，按著我們的樣式造人，使他們管理海裡的魚、空中的鳥、地上的牲畜和全地，並地上所爬的一切昆蟲。’ 神就照著自己的形像造人，乃是照著祂的形像造男造女。”
照著神的形像造人其“形像”是指神的性情，而不是外在的形像，因為“從来没有人看見神，只有在父懐裡的獨生子將祂表明出来《約1: 18》。就如《彼得後書》裡提到的“信實、德行、知識、愛心……”等，這些都是神的性情，又稱為神的屬性。人是按著這些形像所造，因此人就成了“有靈的活人”。
所以人被造，有他的目的。《創1: 28》 神就賜福給他們，又對他們說：‘要生養眾多，遍滿地面，治理這地；也要管理海裡的魚、空中的鳥，和地上各樣行動的活物。’” 《創2: 7》耶和華神用地上的塵土造人，將生氣吹在他鼻孔裡，他就成了有靈的活人，名叫亞當。”因此人要成為神的代表，管理地球上的所有萬物。
在伊甸園中，人原本有神的形像，如慈愛、德行、知識、信心……等等屬性。但在伊甸園中，人受到魔鬼的誘惑而墮落犯罪，因而被趕出伊甸園。人犯罪的根源是什麼？有人以為，是魔鬼以蛇的形像誘惑人吃了那果子，那果子裡可能有罪的病毒，人吃了就被感染，因此世代流傳都有罪了。其實我們了解聖經必須讀上文下理。《創3: 4-5》蛇對女人說：‘你們不一定死，因為 神知道，你們吃的日子眼睛就明亮了，你們便如神能知道善惡。’”
魔鬼的誘惑
魔鬼的誘惑顯示在第一：“你們不一定死”，而不是“一定會”或“一定不”！換句話說，就是“幾乎”，“好像”，“差不多”，其實就是Virtual，看起來差不多，但不完全是。魔鬼誘惑人，常常不是講百分之百的假話，因為容易被辨別出來。魔鬼誘惑人，往往是講90%的真話，加10%的假話，讓人難以分辨。所以這就叫作“仿真”，“虛擬”，看起來像真的，可是又不是真的。
第二：“你們便如 神能知道善惡”。有人以為在伊甸園裡，亞當夏娃原來都是傻子，吃了善惡樹的果子後才變為聰明。其實神造他們之初就滿有智慧，能為萬物命名。夏娃更是知道神的吩咐，那棵樹的果子不能吃，違反了就是惡，所以她本來就知道善惡；只是還沒有經歷和實際的去嘗試“惡”。
魔鬼的誘惑是：“你們便如神”，這才是“罪”的根源。所有的“罪行”都是因為人的“罪性”，而這罪性就是人想要自己當神。小罪人是自己要當自己的神，就像大多中國人中的高級知識分子不是常很自豪地說“我什麼都不信，我就信我自己”嗎？大罪人，是還要當別人的神。所以會有種族大屠殺，希特勒在二戰中屠殺了600萬的猶太人，因為他自以為神，要掌握別人的生命。
所以當人墮落失去了神的形像，被“自己要當神”的罪性充滿後，的確變得很惡毒。因不把“真神當神”，人就會不把“人當人”看待。如此設計出來的人工智能就非常可怕。
追究本源，如何要“人工智能”有倫理，必須設計“人工智能”的人有道德，有倫理，回歸到神的形像才有可能。
歸真（Authentic）與真實（True）
“人工”和“虛擬”的對比是什麼呢？就是“歸真”和“真實”。“歸真”的定義是：表裡如一，完全原創；“真實”的定義是不造假，不隱瞞，完全實在。人必須要回歸到“真實”，所設計出來的“人工智能”，與設計出來的機器人，才不會成為禍害和噩夢。
看到華人商業中的山寨品牌，令人會心微笑，也令人扼腕嘆息！
而在西方，用Deep Fakes AI的軟件可以捏造政治人物的假演說，假消息，甚至造成社會的動亂，影響選舉的局勢。
如何能從“人工”囘歸“真實”？必須回歸真理的源頭。《約8: 32》你們必曉得真理，真理必叫你們得以自由。”《約8: 34》耶穌回答說：我實實在在地告訴你們：所有犯罪的，就是罪的奴僕。……《約8: 36》所以天父的兒子若叫你們自由，你們就真自由了。”真神的兒子自己宣告，“耶穌說：我就是道路、真理、生命；若不藉著我，沒有人能到父那裡去。”《約14: 6》
耶穌基督是真理的本身，在祂毫無虛假，唯有藉著祂，我們才能到天父那裡去，回歸到伊甸園中的樣式。
如何由“智能”（Intelligence）回歸誠信（Integrity）？
《太22: 16》説到，“……就打發他們的門徒同希律黨的人去見耶穌，說：‘夫子，我們知道你是誠實人，並且誠誠實實傳神的道，甚麼人你都不徇情面，因為你不看人的外貌。’ ”那些假冒為善的宗教領袖們想要陷害耶穌，因為那時猶太人在羅馬帝國的統治下，他們要鼓動民族主義的熱忱，知道耶穌的誠信，對上帝的忠實，故意想要套取耶穌的話來鼓勵猶太人逃稅，好抓祂的把柄。
但“ 耶穌說：‘這樣，凱撒的物當歸給凱撒；神的物當歸給神。參《太22: 21》那些猶太宗教領袖好像很有智能，但卻很詭詐。耶穌以完全的“誠信”回應他們，該歸地上政府的一分都不能少――“凱撒的物當歸給凱撒”；同時對神的忠誠更要全心全力，對聖殿的奉獻更不可少――“神的物當歸給神”！這是耶穌基督教導人“誠信”的作人原則！
所以我們的結論是，AI(Artificial Intelligence) 必須回歸 AI（Authenticity and Integrity）, 即人工智能必須回歸到“真實”與“誠信”。唯有設計者和使用者具有“真實”與“誠信”，有神造人原本的形像，AI才能造福人群，而不會成為噩夢、禍害！
人神互動-新民
最近名噪一時的人機較量，是谷歌的“阿爾法圍棋”（AlphaGo）三連勝國際圍棋冠軍、韓國九段棋手李世石。第四局對壘，李世石終於贏了。阿爾法屬於希臘文首字母，表示首當其衝的霸主地位，我們姑且把半音譯的“阿爾法圍棋”全部意譯為“無敵圍棋”，或“棋聖”。
有人為這次人工智慧的漂亮得勝叫好，也有人表達某種憂慮，擔心有一天人類成為機器的奴隸，甚至被機器所取代。筆者試從神學的視角來解讀人機較量與人神互動。
按照聖經啟示，人類是造物主卓越智慧的作品，而且是按照上帝的形像與樣式受造，具有來自造物主的部分稟賦，比如自由意志、智慧與創造力。人類科技進步，各種發明創造，正是造物主部分稟賦的表彰。但從人類與造物主貌合神離的交往歷史來看，我們不得不得出一個推論：人類這幅擁有自由意志的偉大作品，一開始就與造物主分庭抗禮，對造物主說不。
很明顯，造物主沒有把人打造成木偶，也沒有時時刻刻操縱人的一舉一動與所思所想，完全符合祂的心意。造物主藉著舊約聖經《雅歌書》，一而再、再而三地說：“不要驚動，不要叫醒我所親愛的，等他自己情願。”而新約聖經《路加福音》第15章的浪子回頭故事裡，那位暗喻天父的地上父親，也是耐心等待浪子主動回家。
造物主期待人與祂良性的互動中，可以心甘情願，主動回應祂的愛，作上帝名符其實的兒女。而心甘情願，懂得以愛回應，可以說是人工智慧的最高境界。
我們可以想像有一天，新一代“棋聖”機器人在自我學習中，不斷提高棋藝，不僅有本事得勝對手，而且充滿人類豐富的精神情感世界，有公義與惻隱之心，充滿仁愛、喜樂、和平、忍耐、恩慈、良善、信實、溫柔、節制。
比如，新一代機器人知道在什麼時候採取主動，施予對方不配得的恩典，甚至故意輸給與它切磋棋藝的初學棋手，讓對方品嘗得勝的喜樂。正如一個父親跟自己的小孩嬉鬧時，主動敗下陣來，輸給跌跌撞撞弱不禁風的孩童，帶來一起成長的極大喜樂。
我們也可以想像，未來寵物機器人，具有不吃不喝也不拉不撒的特點，但通情達理，超級可愛，是人類的新式鐵杆玩伴。筆者在制藥業工作逾四分之一世紀，深切期待量體裁衣又幾乎沒有明顯副作用的個人化藥物，以納米機器人形式出現。
那個未來的時代，每個新生兒的基因藍圖，出生前就已經被合宜管控下的基因精確修改技術，矯正引發各種遺傳疾病的基因變異。而如影隨形的新高科技手段，以智慧衣服或佩戴裝飾，及時體察人的健康指標，在必要的時候，勞駕納米機器人，遊走人體深處，包括那總累積長度高達16萬公里的血液循環系統，與各種組織器官，完成實地精確修復與重建的保健工程。
那時，藥業不再是如今私營企業逐鹿中原的戰國時代，已經被高度集中化的納米機器人藥物網購，甚至上門服務所取代，成為公民的基本保健權利。醫生的職業也將成為歷史。
人機和諧共處的人類科技前景非常令人激動人心。因為人類壽命大大增加，也許接近甚至超過人類初代人瑞瑪土撒拉的969年高夀，外太空移民計畫被擺在未來科技的議事日程上。
比這種近乎神話的人間天堂更令人神往的，就是上帝早就安排妥當的天堂移民。
移民天堂不靠姻親關係，也不靠投資，更無法靠偷渡達成。唯一的出路，就是人類藉著耶穌基督與上帝和好，成為上帝的兒女，成為耶穌基督的兄弟姐妹，在新天新地享受永生，與基督同為上帝的後嗣，共同承受萬有，共同管理萬有，永遠相愛相屬，永遠同心同行。