本文原文来自DataLearnerAI官方网站:GPT-4-Turbo的128K长度上下文性能如何?超过73K Tokens的数据支持依然不太好! | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051699526438975
GPT-4 Turbo是OpenAI最新发布的号称性能超过当前GPT-4的模型。在新版本的ChatGPT中已经可以使用。而接口也在开放。除了速度和质量外,GPT-4 Turbo最吸引人的是支持128K超长上下文输入。但是,实际测试中GPT-4 Turbo对于超过73K tokens文档的理解能力急速下降。
GPT-4 Turbo支持128K的效果不完美" height="554" src="https://img-blog.csdnimg.cn/img_convert/25468ddcc483e0913d58ec0f6f2e73bd.png" width="603" />
GPT-4 Turbo对128超长上下文支持的实际结果
作者做了一张图描述这个结果:
GPT-4 Turbo 128K超长上下文测试" height="1200" src="https://img-blog.csdnimg.cn/img_convert/093d787e8c0d391f29c65954c5ab374c.png" width="1200" />
图的横坐标是文档的长度,纵坐标是插入的文本在文档的位置。可以看到,在右上角区域模型表现效果很差,这些基本都是文档上半段,然后开始位置之后(7%位置之后)。但是如果这句话在文档下半段效果反而还可以。
最终的实验结论如下: