# 对GPT-4o的英文理解能力的独立测试
一个普通用户拉尔斯·维克(Lars Wiik)测试了GPT-4o的英文阅读能力。
测试的方法是:准备了200个英文句子,需要根据语义,对其归类。
(测试的原始数据,可在英文原文里可以找到。)
有些模型会对公开的测试材料进行部分训练,所以会导致答案不客观。
而作者用自己的私有材料,进行测试,答案会相对客观。
原贴地址: <https://medium.com/@lars.chr.wiik/gpt-4o-vs-gpt-4-vs-gemini-1-5-performance-analysis-6bd207a2c580>
## <a id="i"></a>评测材料说明
这份测试材料,由 200 个句子组成,分为 50 个主题,其中一些句子密切相关,旨在使分类任务变得更加困难。
所有的内容,都是拉尔斯·维克手动创建、标记的。
## <a id="i-2"></a>评测的模型
主要测评了**openai的GPT-4产品和谷歌的2款产品**(Gemini和Palm 2)
Gemini和Palm 2都是谷歌出品的AI产品。
- Gemini侧重多模态(可以处理图片、文件、音视频等),
- Palm 2更侧重于文本和编程
详细模型:
- **GPT-4o**: *gpt-4o-2024–05–13*
- GPT-4:gpt-4–0613
- **GPT-4-Turbo**: *gpt-4-turbo-2024–04–09*
- **Gemini 1.5 Pro**: gemini-1.5-pro-preview-0409
- **Gemini 1.0**: gemini-1.0-pro-002
- **Palm 2 Unicorn**: text-unicorn@001
## <a id="i-3"></a>评测的结果
表现最好的工具是:GPT-4o, 只出现了2个错误。
表现最差的是Gemini-1.0, 出现了12个错误。
说明:错误率越低,说明模型表现的效果越好。

## <a id="i-4"></a>小结
本文作者对ChatGPT和谷歌的6个模型的文本做了独立的个人测试,测试方向是:**文本理解能力**。
最后的结果是:**在英文文本理解方面,openai最新发布的GPT-4o效果最好**。
这和官方公布的测评结果一致。
(下图为openai官方公布的测评结果)

忍不住吐槽一下谷歌的Gemini
一个不喜欢Gemini的原因:经常会出现拒绝回答的情况。
前面聊的好好的,突然整这么一出。 很让人不舒服。 
## <a id="i-5"></a>好工具推荐
一个集美剧、音乐和AI工具为一体的服务商:
<http://mrw.so/6gAybQ>
[](../../9.legacy-assets/9c3aabe731284aa170edcfbd.png)