本文介紹并討論了對(duì)OpenAI最新發(fā)布的大語(yǔ)言模型GPT-4在北京高考題目上的測(cè)試結(jié)果。

當(dāng)GPT-4進(jìn)入北京市2022高考考場(chǎng)能有什么表現(xiàn)？

再冷的石頭，坐上三年也會(huì)暖。

GPT-4是最近很火的大型語(yǔ)言模型，可以在多個(gè)任務(wù)上取得人類水平的表現(xiàn)。在最新發(fā)布的OpenAI技術(shù)報(bào)告中，GPT-4在考試類的測(cè)試中表現(xiàn)搶眼，如GRE語(yǔ)文考試中，取得169分的成績(jī)（滿分170）。不過(guò)要是聊到考試，論考察面之廣，那還得是高考。問(wèn)題來(lái)了，如果讓GPT-4來(lái)做北京市2022高考會(huì)有什么結(jié)果呢？本文就來(lái)幫大家來(lái)做這個(gè)測(cè)試。我們匯總了北京市2022高考的語(yǔ)文、數(shù)學(xué)、英語(yǔ)、物理、化學(xué)、生物、歷史、生物的考試題，盡量考慮所有的主觀題和客觀題。本文和現(xiàn)有高考評(píng)測(cè)的區(qū)別，之前大家只關(guān)注選擇題，這次評(píng)估我們特意將非選擇題囊括進(jìn)來(lái)，同時(shí)，針對(duì)一些大型計(jì)算題（如，物理計(jì)算題）還會(huì)逐句分析GPT-4的解答過(guò)程，而不是只看答案，另外如果答錯(cuò)了還會(huì)問(wèn)GPT-4為什么這么答。之所以這么做，因?yàn)槲覀儑L試從做高考題的角度，深入分析GPT-4的能力邊界在哪，希望對(duì)于大模型有更加全面的認(rèn)識(shí)。

1. 考試結(jié)果

話不多說(shuō)，直接上考試結(jié)果。我們匯總了北京市2022高考的語(yǔ)文、數(shù)學(xué)、英語(yǔ)、物理、化學(xué)、生物的考試題，包括所有的主觀題和客觀題，題目和答案來(lái)自2022年高考真題?？荚嚱Y(jié)果如下：

（注：在測(cè)試的2022北京地理考試中，所有的題目都與圖強(qiáng)相關(guān)，因此無(wú)法給出評(píng)測(cè)）

上述成績(jī)不考慮英語(yǔ)聽說(shuō)考試（50分）以及大部分卷面中需要看圖的題，如果我們粗略的按照平均正確率來(lái)算，大概是72%，按照總分750的話也就大概是541分，高出北京高考的本科批錄取控制分?jǐn)?shù)線116分（北京一本和二本合并為本科批）。好在我們不用操心給GPT-4填報(bào)志愿的問(wèn)題，這個(gè)評(píng)估只是為了讓大家對(duì)GPT-4的能力有個(gè)直觀的認(rèn)識(shí)，后面我們將詳細(xì)來(lái)講評(píng)測(cè)過(guò)程中我們對(duì)GPT-4細(xì)分能力的發(fā)現(xiàn)。

2. 評(píng)估方法

盡管考試題具備參考答案，但我們的評(píng)測(cè)過(guò)程仍面臨以下幾個(gè)挑戰(zhàn)：（1）圖像的表示。這一問(wèn)題在理科以及地理領(lǐng)域尤為突出，我們分為三種情況處理。首先，最簡(jiǎn)單的情況是，圖示的存在與否并不影響題目理解，因此可以直接忽略。其次，較為復(fù)雜一點(diǎn)的是，圖示提供了額外的信息（比如物理中的電板電荷極性）我們會(huì)以括號(hào)輔助的形式添加到題目中，以協(xié)助GPT-4理解，前兩種情況相對(duì)較少。最困難的也是常見的情況是，題目中包含難以用語(yǔ)言詳細(xì)描述但對(duì)解題至關(guān)重要的圖像（物理中的電路圖，化學(xué)里的大型化學(xué)式以及地理中的地圖等），我們只能跳過(guò)該題目不進(jìn)行統(tǒng)計(jì)。（注：截止寫稿之日，我們暫時(shí)還沒(méi)有拿到GPT-4支持圖像輸入的方式）

（2）計(jì)算符號(hào)的表示。針對(duì)數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（如，）都不影響GPT-4的理解。為了統(tǒng)一，我們都盡可能采用latex表達(dá)問(wèn)題，因此所有考試題目都由作者手敲公式輸入，不可避免有所遺漏會(huì)采用文本輸入，不過(guò)這個(gè)我們測(cè)試過(guò)不會(huì)影響GPT-4的理解。

（3）非選擇題答案不確定。這種情況涵蓋文科作文類題目和理科證明類題目，由于很難給出有說(shuō)服力的得分，因此我們不會(huì)在上面的統(tǒng)計(jì)表中給出分?jǐn)?shù)。然而，在后續(xù)的分析環(huán)節(jié)，我們?nèi)詫⒖紤]這些題目，對(duì)GPT-4的能力進(jìn)行探討。

3. 知識(shí)存儲(chǔ)

大型語(yǔ)言模型通常都會(huì)有常識(shí)的積累，比如天空是藍(lán)色的，足球是圓的。但這里關(guān)注的知識(shí)則是側(cè)重需要學(xué)習(xí)過(guò)書本而非體驗(yàn)生活就能獲取的那些知識(shí)。我們主要分2個(gè)部分來(lái)考慮，文科知識(shí)，即語(yǔ)文的古詩(shī)詞，歷史知識(shí)等，理科規(guī)律，如物理的牛頓定律，化學(xué)的元素特征等。

3.1 文科知識(shí)

在語(yǔ)文考試的詩(shī)詞補(bǔ)充題目中，部分詩(shī)詞填寫錯(cuò)誤。只有第（3）是正確的，其他均錯(cuò)誤。

高考語(yǔ)文14題

我們從知識(shí)記憶和問(wèn)題理解2個(gè)角度來(lái)嘗試?yán)斫馑鲥e(cuò)的原因。首先，經(jīng)過(guò)測(cè)試發(fā)現(xiàn)GPT-4的知識(shí)儲(chǔ)備還是很強(qiáng)的，以第（1）問(wèn)為例，我們重開窗口來(lái)單獨(dú)提問(wèn)《錦瑟》中間兩聯(lián)，則會(huì)收到正確的回復(fù)：

甚至我們將這個(gè)范圍擴(kuò)展到其他的課本文章也可以收到正確的回復(fù)。以朱自清散文《背影》為例，第一句為“我與父親不相見已二年余了，我最不能忘記的是他的背影?！?，GPT-4回復(fù)：

看起來(lái)記憶知識(shí)并不存在問(wèn)題，可能回答問(wèn)題的時(shí)候?qū)︻}目的要求理解可能存在問(wèn)題。因此，我們降低了題目難度，直接將問(wèn)題改為“幫我填寫下面空白處的詩(shī)詞，（1）《錦瑟》中間兩聯(lián)：“莊生曉夢(mèng)迷蝴蝶，望帝春心托杜鵑。_________，_________?！?，經(jīng)過(guò)多次測(cè)試發(fā)現(xiàn)，GPT-4依然很難正確，總是輕易的將其他詩(shī)詞中的句子填補(bǔ)進(jìn)來(lái)，但是GPT-3.5在測(cè)試中，雖然原題容易答錯(cuò)，但采用前述簡(jiǎn)化后的題目則很快可以對(duì)應(yīng)上正確的答案。那么GPT-4這里的考慮就有些費(fèi)解了。

對(duì)于其他學(xué)科，這里簡(jiǎn)單舉例，如政治考試中“基本認(rèn)識(shí)”，如“全面建成小康社會(huì)是改革開放以來(lái)黨的全部理論和實(shí)踐的主題”是正確的，而“歷史性成就的取得表明我國(guó)已進(jìn)入社會(huì)主義高級(jí)階段“是錯(cuò)誤的；歷史考試中，將史料涉及的歷史事件按照時(shí)間順序排序正確，說(shuō)明對(duì)史實(shí)的記憶也是正確的。

3.2 理科規(guī)律

對(duì)于理科而言，需要記憶的主要包含公式定理和基本概念。公式定理特點(diǎn)是只包含較少的符號(hào)，但是不能出一絲差錯(cuò)，否則所有的計(jì)算都將失去意義，而化學(xué)和生物的基本概念有點(diǎn)類似文科的內(nèi)容是需要死記硬背。通過(guò)測(cè)試發(fā)現(xiàn)這些對(duì)于GPT-4而言都不是問(wèn)題。例如數(shù)學(xué)考試中基本數(shù)學(xué)公式：計(jì)算復(fù)數(shù)的模，圓到直線的距離；物理考試中電場(chǎng)強(qiáng)度計(jì)算公式；生物考試細(xì)菌是一種原核生物，其DNA分布在細(xì)胞質(zhì)中，不在細(xì)胞核中；

化學(xué)考試中的化學(xué)反應(yīng)方程，向硫化氫溶液中通入氯氣生成黃色沉淀，GPT-4能清楚描述反應(yīng)生成的各種物質(zhì)；

高考化學(xué)第6題

具體的例子這里不再一一細(xì)數(shù)。

4.閱讀理解

閱讀理解本身就是大型語(yǔ)言模型的強(qiáng)項(xiàng)，例如ChatGPT已經(jīng)可以根據(jù)人類的指令完成特定的任務(wù)，如機(jī)器翻譯，情感分類等。但是在高考這個(gè)場(chǎng)景下，對(duì)于GPT-4而言，存在一些特殊的困難，我們分為純文本類和符號(hào)類類分別討論。首先，對(duì)于純文本類，我們所有的測(cè)試都是在全中文的場(chǎng)景下測(cè)試的，而GPT-4通常被認(rèn)為英文的表達(dá)能力是最強(qiáng)的，因此跨語(yǔ)言的理解是一個(gè)潛在問(wèn)題，例如題目的理解是否正確，尤其是在語(yǔ)文考試中，古文、詩(shī)詞的理解是否正確，都會(huì)影響GPT-4考試的正確率。另外，對(duì)于符號(hào)類問(wèn)題，比較直接的情況就是數(shù)學(xué)公式，除此之外還有化學(xué)表達(dá)式（如，水的表達(dá)式）等。下面我們會(huì)分別進(jìn)行討論。

4.1 文本理解

首先，我們可以看一下語(yǔ)文的詩(shī)詞鑒賞題目。詩(shī)詞語(yǔ)言涉及到的中文理解能力要求比簡(jiǎn)單理解題目高不少。如高考語(yǔ)文詩(shī)詞賞析，杜甫的《病柏》，13小題詢問(wèn)這周詩(shī)主要意象有哪些，分別說(shuō)明這些意象有何意韻。

參考答案中沒(méi)有固定的形式，但是提到了2個(gè)要點(diǎn)：

對(duì)比GPT-4和上面要點(diǎn)，首先可以看出GPT-4對(duì)各個(gè)意象的理解還是比較確切的，比如柏樹聯(lián)想到世事難料，但是這個(gè)回答其實(shí)很難給分，原因在于要點(diǎn)中“時(shí)代背景”是一個(gè)重要內(nèi)容，GPT-4將對(duì)文章的理解落腳到了詩(shī)人自己的經(jīng)歷，而不是對(duì)國(guó)運(yùn)時(shí)局的感慨。本質(zhì)上來(lái)說(shuō)，這個(gè)問(wèn)題似乎是一種通過(guò)多做題可以鍛煉出來(lái)的答題技巧，整體來(lái)說(shuō)，對(duì)古詩(shī)詞理解到這個(gè)程度感覺(jué)還是可以的。

另外，在歷史考試中的一道題中我們發(fā)現(xiàn)GPT-4對(duì)于題意的理解有時(shí)候也會(huì)出現(xiàn)問(wèn)題。例如：

這道題正確答案是B。其實(shí)這個(gè)題GPT-4答錯(cuò)的原因，在于這個(gè)題面最后一句話“這意味著“中的”這“字如何理解，顯然GPT-4理解成了清政府的做法，而事實(shí)上，正確答案似乎在問(wèn)“英國(guó)提出的要求”意味著什么。

縱觀所有考試來(lái)看，GPT-4在中文題目理解，甚至語(yǔ)文的古文、詩(shī)詞理解上大體也是達(dá)標(biāo)的，但是偶爾還是會(huì)有一些理解偏差的問(wèn)題。

4.2 符號(hào)理解

理科考試中經(jīng)常會(huì)出現(xiàn)符號(hào)表達(dá)，如數(shù)學(xué)的公式，以及化學(xué)中的符號(hào)等。對(duì)于數(shù)學(xué)考試而言，我們發(fā)現(xiàn)不管使用文本形式輸入符號(hào)還是latex輸入，都不會(huì)影響GPT-4的理解。這個(gè)其實(shí)也在我們的意料之中。比較有趣的是化學(xué)符號(hào)其實(shí)對(duì)于GPT-4而言也不是問(wèn)題。

（1）化學(xué)表達(dá)式的理解。前面的高考化學(xué)第6題中涉及到各種物質(zhì)溶液，如硫化氫（）溶液等，均可以被正確的理解，同時(shí)還能根據(jù)題目要求推斷出發(fā)生的反應(yīng)方程式。同時(shí)，對(duì)于一些特殊的寫法，如表示化學(xué)元素鍶，38表示原子序數(shù)，也不成問(wèn)題。

（2）物理變量的理解。物理考試題目中變量通常是數(shù)字加單位的形式，如 ，其中m表示米而不是新變量。在物理測(cè)試中，GPT-4依然可以很好的處理這些問(wèn)題。

5. 復(fù)雜計(jì)算

在理科問(wèn)題的處理上，GPT-4的答題方式遵循著一步一步思考的模式。即它會(huì)首先拆解題意，然后根據(jù)理解表達(dá)列式，最后統(tǒng)一求解。這個(gè)思路沒(méi)有問(wèn)題，但是我們發(fā)現(xiàn)GPT-4解題思路可能是正確的，最后的答案卻是錯(cuò)誤的，主要是解方程的能力依然存在問(wèn)題。

（1）方程求解錯(cuò)誤，很難修正。這里我們同樣以一道高考物理考試18題為例。GPT-4已經(jīng)成功分析了題意并正確列出來(lái)了方程，需要求解的表達(dá)式，正確解答是，但是GPT-4始終無(wú)法正確求解，即便是單獨(dú)重新開一個(gè)窗口，多次生成答案，針對(duì)這個(gè)方程求解也還是算錯(cuò)。相反，同樣的問(wèn)題放在GPT-3.5卻可以做對(duì)，這里確實(shí)值得討論，感覺(jué)GPT-4似乎在算式求解上能力有所下降。

GPT-3.5求解方程

GPT-4求解方程出錯(cuò)

（2）計(jì)算中存在筆誤，可被修正。同樣對(duì)于高考物理19題第（3）問(wèn)，GPT-4在最初列式中出現(xiàn)問(wèn)題，導(dǎo)致整體到計(jì)算錯(cuò)誤。有趣的是，可以在問(wèn)題后進(jìn)行反問(wèn)，“請(qǐng)檢查一下你做的過(guò)程是否正確“，GPT-4即可及時(shí)修正并給出正確答案。與前一種情況不同，這個(gè)我們可以理解為是一種“筆誤”，可以通過(guò)及時(shí)檢查來(lái)進(jìn)行修正。

高考物理19題（3）問(wèn)錯(cuò)誤列式

通過(guò)提示修改可以改正

而對(duì)已經(jīng)正確的解答而言，多次提示檢查，基本不會(huì)將正確的改錯(cuò)。

6. 可探索的方向

通過(guò)整體的測(cè)試，我們大概對(duì)GPT-4做高考題有了一個(gè)相對(duì)全面的認(rèn)識(shí)。有人可能會(huì)問(wèn)，我就想要一個(gè)能回答出標(biāo)準(zhǔn)答案的GPT-4，能有什么方法？簡(jiǎn)單來(lái)說(shuō)，可能有以下幾個(gè)思路：

（1）多做真題。從語(yǔ)文的古文回答上看出，GPT-4的理解能力到位但是回答技巧欠缺，針對(duì)這個(gè)問(wèn)題，我們最簡(jiǎn)單的方法就是多做高考真題。對(duì)于GPT-4而言，其實(shí)這個(gè)問(wèn)題可以簡(jiǎn)化為一個(gè)高考題問(wèn)答場(chǎng)景下的模型微調(diào)問(wèn)題。我們的目標(biāo)是，讓模型可以多看一些示例的問(wèn)題和標(biāo)準(zhǔn)的答案，盡量讓它的回復(fù)更貼合標(biāo)準(zhǔn)答案的方式。

（2）計(jì)算能力有待提升。從物理題的解答來(lái)看，大多數(shù)情況下，GPT-4可以根據(jù)題意列出正確的表達(dá)式，但是解方程能力有待加強(qiáng)。在對(duì)比GPT-3.5過(guò)程中，我們發(fā)現(xiàn)GPT-4能力似乎還是有所下降的。不過(guò)給出一個(gè)方程進(jìn)行計(jì)算，其實(shí)可以作為一個(gè)獨(dú)立的模塊，考慮接入外部的工具來(lái)執(zhí)行，會(huì)是一個(gè)較為容易的解決思路。

（3）及時(shí)檢查。從前面第5部分的經(jīng)驗(yàn)來(lái)看，我們可以通過(guò)提示“請(qǐng)檢查一下你做的過(guò)程是否正確“來(lái)督促GPT-4執(zhí)行檢查，可能會(huì)降低錯(cuò)誤率。

7. 未來(lái)的工作

本文盡最大努力，希望給GPT-4一個(gè)完整的高考評(píng)分，但是依然避免不了存在以下局限性。我們會(huì)在后面繼續(xù)完善整體的評(píng)估流程。

（1）缺少圖示。盡管GPT-4宣稱已經(jīng)可以輸入圖像，但是截止目前，我們還沒(méi)有拿到可用的方式，所以僅在文本輸入的條件下，先進(jìn)行了一輪評(píng)測(cè)，如果近期我們可以拿到支持圖像輸入的GPT-4測(cè)試資格，會(huì)進(jìn)一步完善當(dāng)前的評(píng)估。

（2）考題的局限性。我們目前只在北京市的2022年高考上進(jìn)行了評(píng)測(cè)，考慮到不同地域和年份高考題均不一樣，為了能夠全面評(píng)估大語(yǔ)言模型的高考水平，我們計(jì)劃增加不同年份、地域的高考題評(píng)測(cè)，努力實(shí)現(xiàn)自動(dòng)化、更全面的評(píng)估。

8. 總結(jié)

我們總結(jié)了GPT-4在高考測(cè)試中的結(jié)果，較為全面衡量了GPT-4的常識(shí)記憶以及推理能力，發(fā)現(xiàn)：GPT-4在常識(shí)記憶和閱讀理解方面表現(xiàn)良好，但在復(fù)雜計(jì)算方面存在一些不足。具體而言，GPT-4能很好的記憶文科知識(shí)以及理科規(guī)律，在閱讀理解上表現(xiàn)不俗，英語(yǔ)考試幾乎滿分，即便中文的古文閱讀理解以及理科符號(hào)理解也基本正確。但是我們也發(fā)現(xiàn)GPT-4存在的問(wèn)題，對(duì)于推理類的考試表現(xiàn)則相對(duì)較差，如方程求解。綜上所述，盡管GPT-4在許多方面表現(xiàn)出色，我們也要承認(rèn)它存在一些不足，并且只有我們進(jìn)一步去理解它的邊界，才會(huì)有助于整個(gè)社區(qū)的發(fā)展。

審核編輯 ：李倩