图1 ChatGPT技术原理图

第一阶段：训练监督策略模型。首先会在数据集中随机抽取问题，由标注人员给出高质量答案，然后用人工标注好的数据来微调GPT-3.5模型，获得SFT（Supervised Fine-Tuning）模型。

第二阶段：训练奖励模型（Reward Model，RM）。在数据集中随机抽取问题，使用第一阶段生成的模型生成多个不同的回答。标注人员对输出进行打分排序，使用排序结果数据来训练奖励模型。

第三阶段：采用强化学习中的PPO（Proximal Policy Optimization，近端策略优化）[9]来优化策略。首先使用第一阶段中的初始权重构造一个初始的PPO模型。针对在数据集中采样的新的问题，使用PPO模型生成回答，并用第二阶段训练好的RM模型给出回报分数。PPO策略可以会通过回报分数计算出策略梯度，并更新PPO模式参数。

2）国外主要申请人专利分析

随着2017年谷歌Transformer模式的提出，预训练语言模式开始显著发展，因此本文关于预训练语言模式技术的检索主要针对2017年之后申请的专利。在DWPI摘要数据库中，对于关键词“language model”、“train”、“fine-tune”进行简单检索共有2600多篇专利文献。此次检索仅限于专利摘要并且为同族合并后的结果。

图2 预训练语言模式技术申请人来源国家

在预训练语言模式领域中国企业发展迅速。百度、阿里、腾讯、华为都是主要申请人，同时也都在海外展开布局，而国外申请人的主体包括微软和谷歌。但是还应注意到，一些国外公司对于神经网络编结构改进等相关技术方案，在摘要中并未提及，但这些技术能够应用于更广泛的人工智能领域因此实际上关于预training language model technology 的申请量会更多。

为了更全面地了解国外申请人的布局情况，我们再次针对全文进行了检索，并统计了合并同族后的结果。

图4 谷歌部分专利

基于BERT模块微软于2020年提出了DeBerta模块，并提交了相关美国专利“具有解开注意力和多步解码的高效变压器语言model”的应用案例（US2021334475A1），利用多步解码更好地重建掩蔽标记以促进自然语言model自适应性。此外微软还在下游任务展现了其布局，如其提交到美国国际智慧产权组织的一个国际特殊保护请求WO/2022221045A1涉及跨任务共同特征表示以及共享编码器和单独编码器与用于各个任务线性的特定层等结构设计。

我们通过Patentics英文全文库搜索DeepMind作为关键词，以“DeepMind”作为查询条件查找27篇相关文献，这表明深度学习领域深入研究神经网络方面的一些改进方法，其中中国的一个发明名称为“用于推理的大规模生成神经网络”，该发明可以基于损失函数，该损失函数包括样本部分或潜在部分鉴别器损失项，以及至少一个单一鉴别器损失项。这份信息证实DeepMind在中国拥有渊慧科技有限公司这个名字，他们不仅涉足大型分布式系统，还能处理不同类型输入如图片视频音频等内容创建跨模态理解交互能力，从而提高用户界面转换功能效果。而Google近期提交了一种UI转换算法，用以识别三种类型输入—图片结构视觉层次以及文字—执行多种功能，如UI对象检测自然语言处理屏幕摘要UI可敲击性评估。此类算法对于提升新兴用户界面的性能至关重要；此外Microsoft 提出了视觉与语义知识之间交互方式，将语义特征集与文本特征集结合起来，以确定输入文本与输入图片之间关系信息，为未来的人工智能系统提供基础框架。

03 国内相关技术发展情况

我们通过Patentics中文数据库搜索关键词“预培训、大型、高级、调整、小样本或无样本学习、知识库”的简易检索找到12292篇相似文献，这说明国内大型AI项目自2018年起快速增长尽管截至目前21-22年度尚未完全公开但据此看这将成为未来AI研究重点之一

图7 人工智能大型项目国内特别重要企业[11]

图9 domestic AI projects development status and major players [11]

国际合作背景下的人机交互应用探讨

国内一些公司已提出将跨语言目标和跨模态目标融合，使得既能从可用的英语影像字幕数据中获取又能从单语或者平行语料库中获取，使得两者皆能整合到统一框架之内，从可用的所有资源一起学习影像和文字。这使得双方都有可能同时参与开发自己的产品，不必依赖对方。在这种环境下，当需要大量能源支持时，也可以选择合作，比如当某一次实验要求巨大的计算资源时，可以借助其他公司帮助完成实验，从而减轻成本负担。当需要最新最快速度的时候，也许就要考虑是否应该寻求更多合作伙伴，因为个人力量可能无法达到最佳效果，而团队协作则能够加快过程甚至取得比个人工作更高效率的成果。

4) 对当前chatgpt-3.5聊天截断的情况进行探讨

根据以上描述，我们发现ChatGPT虽然能够准确回答很多问题，但它没有联网，所以对于很多无法获取到的信息，它只有一定的猜测能力。如果要精确了解某个具体的问题或者想要获得详细信息，那么它就很难做到，而且它不能保证每一次答复都是正确无误，有时候错误是由之前被错误答案影响造成的一系列连锁反应所致。但如果你想让他提供法律条款上的建议的话，他也不一定能提供满意答案，因为他并不了解中国法律体系，这意味着即便你问的是什么法律条款都不一定得到准确答案，只不过他的回复看起来像是来自大量法律文件积累出来，但是根本不是真正意义上的法律咨询服务。他只能告诉你哪个地方说过类似这样的东西，但不能保证那个地方说的就是真的，也不知道那句话是什么意思。你需要自己去查阅原始资料才能判断是否符合你的需求。如果你需要真实有效且专业的话，你应该直接去咨询律师或直接查看官方发布的地方这样才不会出现误导情形发生。而现在我们的世界里似乎越来越少有人愿意花时间去阅读那些书籍，而他们倾向于相信那种听起来好像懂点事情却其实啥也不懂的事情所以这个时代带来了许多挑战，无论是在教育还是社会规范方面，如果我们希望维持健康稳定的社会，就必须重新审视如何教授人们批判性思维技能，让他们学会区分信任哪些来源以及为什么要信任它们，以及如何不受偏见影响地思考观察事物。这是一个全球性的挑战，没有简单解决办法只有不断努力改变人们心态思想观念后才能逐渐走向正道途径。我认为这是人类历史上最伟大的挑战也是最危险也是最美丽的事业之一因为这是关于人类精神自由创造力的终极考验，是决定我们是否能够继续存在下去的问题，是决定我们是否能够实现我们的梦想的问题。在这里，我只是小小的一个声音，大概讲述我的见解，不知您觉得怎样？