Re62：读论文 GPT-2 Language Models are Unsupervised Multitask Learners

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：Language Models are Unsupervised Multitask Learners
论文下载地址：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

官方博文：
Better language models and their implications
GPT-2: 6-month follow-up
GPT-2: 1.5B release

官方GitHub项目：openai/gpt-2: Code for the paper “Language Models are Unsupervised Multitask Learners”
对代码的整理和用代码实现GPT-2的解决方案请参考本文第4章

本文是OpenAI于2019年推出的GPT-2论文，核心思想是用无监督思路构建的语言模型来直接解决NLP问题，做一个通用大模型而非领域专家。
GPT-2本身也是个纯英文的模型。

GPT-1：Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training

GPT-2是因果/单向LM，预训练目标是通过前文预测下一个单词。

huggingface提供的在线试用GPT-2-large的平台：https://transformer.huggingface.co/doc/gpt2-large
打字后按Tab获得提示。
在这里插入图片描述

文章目录

  • 1. 研究背景
  • 2. 模型
  • 3. 实验
    • 3.1 数据集
    • 3.2 实验结果
      • LM实验结果
      • 下游任务实验结果
      • Generalization vs Memorization
      • OOD生成样例
  • 4. 复现
    • 4.1 官方代码
    • 4.2 基于transformers实现GPT-2
      • 4.2.1 基于GPT2LMHeadModel + PyTorch原生框架实现S2S任务微调和推理
      • 4.2.2 基于GPT2LMHeadModel + transformers.Trainer微调GPT-2
  • 5. 本文撰写过程中参考的其他网络资料

1. 研究背景

现在的有监督方法的缺点：有监督模型不鲁棒，只能在IID测试集上表现良好。当前已经开始研究多任务通用模型，但多任务学习表现不好，而且要求高标注量。

现在的预训练方法还需要有监督微调。

2. 模型

语言模型：
在这里插入图片描述

在这里插入图片描述

可以用文本生成任务来建模所有NLP任务，这种思路统一了无监督和有监督任务的形式。

不同大小的GPT-2：
在这里插入图片描述

  1. tokenization
    Byte Pair Encoding (BPE) 改造版：原始BPE是贪心，这导致重复相似词出现，导致非最优和占空间。本文改为不让它在字节序列之间合并。
  2. Layer normalization：加到每个sub-block输入，和最后一个self-attention block后
  3. 词表、上下文长度、batchsize增大
  4. 学习率是手动调整的，目标使测试集（5% WebText）perplexity最低
  5. 模型仍未收敛
  6. 位置向量
    绝对位置编码，默认pad到右边。

3. 实验

3.1 数据集

语料：WebText
来源于爬虫

在预训练时删掉了非英语网页（所以翻译效果不好也很正常）

语料中蕴含的翻译知识：
在这里插入图片描述

下游多任务：
阅读理解：CoQA
翻译：WMT-14 Fr-En
摘要：CNN and Daily Mail
QA：Natural Questions

3.2 实验结果

LM实验结果

基本上都是模型尺寸越大，效果越好。

在这里插入图片描述

CBT：
在这里插入图片描述

LAMBADA

Winograd Schema Challenge：commonsense reasoning
在这里插入图片描述

在这里插入图片描述

下游任务实验结果

零样本多任务，模型尺寸越大，效果越好：
在这里插入图片描述

生成摘要的prompt：TL;DR:
在这里插入图片描述

翻译给出少样本上下文（english sentence = french sentence）和prompt（english sentence =）

QA：
在这里插入图片描述
可以看出GPT-2置信度高的样本准确率确实高。

Generalization vs Memorization

训练集与测试集重复度较低，所以可以认为模型是真的实现了泛化，而不是单纯的记忆。

语料训练集与测试集的重复程度：（第一行是原始数据的训练集，第二行是WebText的训练集）
在这里插入图片描述
文字描述的下游数据上的重复率略。

这个是通过8-gram布隆过滤器计算的，具体略。

8-gram覆盖率

在这里插入图片描述

OOD生成样例

在这里插入图片描述

更多示例见论文附录和官方博客，我就不列出来了。

4. 复现

4.1 官方代码

官方代码是5年前的TensorFlow 1，想想就知道我不可能会。TensorFlow是不可能学的，这辈子都不可能学TensorFlow的，PyTorch又好用，社区丰富，超喜欢这里的。

BPE tokenize：https://github.com/openai/gpt-2/blob/master/src/encoder.py

建模：https://github.com/openai/gpt-2/blob/master/src/model.py

生成：https://github.com/openai/gpt-2/blob/master/src/sample.py

无条件生成文本：https://github.com/openai/gpt-2/blob/master/src/generate_unconditional_samples.py

有条件（基于prompt）生成文本：https://github.com/openai/gpt-2/blob/master/src/interactive_conditional_samples.py

4.2 基于transformers实现GPT-2

GPT-2是AR语言模型，所以要用语言模型（AutoModelWithLMHead）来实现各项任务。不是seq2seq模型，所以应该不能用seq2seq模型的框架……
不过我也没试过那么干就是了……

官方提供的GPT-2权重（都是纯英文的）：
openai-community/gpt2 · Hugging Face：OpenAI官方提供的最小的GPT-2权重

https://huggingface.co/openai-community/gpt2-medium
https://huggingface.co/openai-community/gpt2-large
https://huggingface.co/openai-community/gpt2-xl

https://huggingface.co/distilbert/distilgpt2

4.2.1 基于GPT2LMHeadModel + PyTorch原生框架实现S2S任务微调和推理

数据集构建：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/GPT2DataSet.py

微调：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/finetune.py

推理：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/test.py
关于generate()函数的使用可以参考这篇博文：文本生成解码策略及其在transformers中的代码实现  及配套的代码，展示了不同解码方案输出的效果：https://github.com/PolarisRisingWar/all-notes-in-one/blob/main/decode_examples_in_GPT2.ipynb

4.2.2 基于GPT2LMHeadModel + transformers.Trainer微调GPT-2

参考代码：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/finetune_w_Trainer.py

5. 本文撰写过程中参考的其他网络资料

  1. OpenAI GPT2
  2. https://github.com/huggingface/transformers/blob/main/examples/pytorch/text-generation/run_generation.py：这个是transformers的AR语言模型的示例
  3. Fine-tune a non-English GPT-2 Model with Huggingface：用德语语料训练GPT-2的示例，本文撰写基于Trainer微调时参考了这篇博文的代码
  4. python - How to build a dataset for language modeling with the datasets library as with the old TextDataset from the transformers library - Stack Overflow：这篇的意义就是跳转到下面这个讨论↓
  5. Help understanding how to build a dataset for language as with the old TextDataset - 🤗Datasets - Hugging Face Forums
  6. 图解GPT-2 | The Illustrated GPT-2 (Visualizing Transformer Language Models)-CSDN博客：这篇具体介绍了GPT-2原理
    我之前写的Transformer和GPT-1的博文其实也有涵盖，但是没有这篇这么有针对性。而且这篇对attention的介绍与我写的理解角度不同，可资参考。补充的点在于 ① 最后一个block输出与embedding相乘得到logits，对这个logits进行采样得到预测token ② GPT-2一般用top-k=40
  7. 图解自注意力机制_masked self-attention-CSDN博客：上文中的自注意力部分独立成章
    这个masked attention图画得挺到位的，带了数字而且颜色更好看：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    这篇补充多头注意力机制peojection过程是不改变维度的
  8. https://github.com/huggingface/transformers/blob/870ff9e1dab249e4ffd8363ce132aa5145c94604/src/transformers/models/gpt2/modeling_gpt2.py：transformers官方实现
    代码集成性太高了，一下子看不懂，以后有时间慢慢研究吧
  9. GPT-2 论文+代码笔记 | Yam：这篇对论文做了解读，同时对GPT-2原代码做了解读，内容很全面。
    用Conv1d做线性转换这事真奇怪啊……
  10. GPT-2代码解读[2]：Attention_gpt attention qpv-CSDN博客：这篇主要的特色是对GPT-2原代码中attention部分进行解读
    ↑虽然但是，我也不用TF 1……总之是值得在需要时进一步了解的。但是，有没有PyTorch实现更简洁的解读啊
  11. Training CodeParrot 🦜 from Scratch：这篇博文涵盖了更多大模型训练技巧，包括对多卡的处理。由于我暂时用不到所以没细看，如果有需要可以看看。

http://www.niftyadmin.cn/n/5436919.html

相关文章

upload-lab 11-20解法

upload-lab 11-20解法

pass11 查看代码 这里我们先解读下代码 $is_upload false; $msg null; if(isset($_POST[submit])){# 定义了白名单数组$ext_arr array(jpg,png,gif);# 截取上传文件名最后一个带点的文件后缀 $file_ext substr($_FILES[upload_file][name],strrpos($_FILES[upload_file][n…
阅读更多...
uniapp可视范围高度 - 用户屏幕可操作的屏幕高度 - 适用于APP、H5@公众号、纯H5@Chrome

uniapp可视范围高度 - 用户屏幕可操作的屏幕高度 - 适用于APP、H5@公众号、纯H5@Chrome

可视范围高度 let heightPx uni.getWindowInfo().windowHeight uni.getWindowInfo().windowTop 官方手册 uni.getWindowInfo() | uni-app官网uni-app,uniCloud,serverless,uni.getWindowInfo()https://uniapp.dcloud.net.cn/api/system/getWindowInfo.html 实测数据 uni.ge…
阅读更多...
使用 stable-diffusion 入门级教程【Mac】

使用 stable-diffusion 入门级教程【Mac】

最近一直在短视频平台刷到AI生成的图片，质量也非常不错。术哥也跟我讲解了下如何安装使用。于是周末试了试。 也差点变成从入门到放弃了，所以也把过程中遇到的问题记录一下。 目前基本上运行正常，只是内存稍微小了点，把质量调低即…
阅读更多...
MongoReactiveSessionConfiguration配置基于 MongoDB 的响应式（Reactive）会话管理

MongoReactiveSessionConfiguration配置基于 MongoDB 的响应式（Reactive）会话管理

MongoReactiveSessionConfiguration 是 Spring Session Data MongoDB 模块中的一个类，它专门用于配置基于 MongoDB 的响应式（Reactive）会话管理。在构建基于 Spring WebFlux 的应用程序时，MongoReactiveSessionConfiguration 允许…
阅读更多...
分布式(计算机算法)

分布式(计算机算法)

目录 分布式计算 分布式​编辑 分布式和集群 分布式和集群的应用场景 分布式应用场景 集群应用场景 哪种技术更优、更快、更好呢 性能 稳定性 以下概念来源于百度百科 分布式计算 分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息…
阅读更多...
深度学习-2.8模型拟合概念和欠拟合模型、过拟合调整策略

深度学习-2.8模型拟合概念和欠拟合模型、过拟合调整策略

模型拟合概念和欠拟合模型、过拟合调整策略 文章目录 模型拟合概念和欠拟合模型、过拟合调整策略一、模型拟合度概念介绍1.测试集的“不可知悖论”2.模型拟合度概念与实验 二、过拟合、欠拟合问题解决方案1. 欠拟合解决方案2.过拟合解决方案 三、神经网络结果选择策略1. 参数和…
阅读更多...
python怎样使用excel

python怎样使用excel

要在Python中使用Excel，可以使用一个库叫做openpyxl。openpyxl是一个用于读写Excel文件的库。 首先，确保你已经安装了openpyxl库。可以使用以下命令来安装它： pip install openpyxl 下面是一个基本的示例代码，展示如何使用open…
阅读更多...
【环境搭建】Ubuntu16 C++

【环境搭建】Ubuntu16 C++

1. CMake 下载软件包 下载地址 解压文件 检查依赖 ./bootstrap Q1: CMake Error at Utilities/cmcurl/CMakeLists.txt:647 (message): Could not find OpenSSL. Install an OpenSSL development package or configure CMake with -DCMAKE_USE_OPENSSLOFF to build without Op…
阅读更多...
最新文章

Copyright @ 2022~2023