GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析(四)

5.4 GPT-4及GPT-5内幕解析
本节进行GPT-4及GPT-5内幕解析，GPT-4甚至即将到来的GPT-5，为什么这么有效、这么强大，在OpenAI的官网页面，如果选GPT-4的话，它会告诉你一件事情：“GPT-4 currently has a cap of 25 messages every 3 hours”（“GPT-4目前的上限是每3小时25条消息”），作者每天都会有这个体验，在进行工作的过程中，当它达到25条消息的时候，只能退而求其次，使用GPT-3.5，会明显感觉一种巨大的差异感，出现内容产出质量和逻辑混乱的问题，内容产出的质量是从文本本身来谈的，信息的有效性主要是从逻辑的角度，如果输入一个很长的文档，例如10页左右，让GPT去帮你提供一些反馈的时候，它会忘记顺序或者重复做一些事情，即使GPT-4也存在这些问题，但是GDP-3.5更明显，为什么GPT-4远远比GPT3.5更强大？作者跟很多教授和企业交流的时候，谈到真正里程碑式的进步是GPT-4带来的，而不是ChatGPT。GPT不同的版本到底产生了什么变化？第一点是训练数据的规模，数据量是影响模型表现的重要因素。当模型训练数据越多的时候，它可以看见更多的场景，并拥有更多的内化知识，可以使用不同参数以及参数之间的关系，以及不同层之间的关系来表达曾经输入的数据。因此，当数据量越大时，从正常的角度，模型会表现得更好。第二点是人工干预的问题，这个事情很重要，在GPT-3.5、InstructGPT到GPT4的过程中，发现了人工干预的强大威力ÿ