在瞬息萬變的開源世界中，軟件項(xiàng)目來得快、去得也快。如今獲得廣泛追捧的工具，很可能在短時(shí)間后就被更好的成果取代，再也無人問津。但即使在這樣殘酷的環(huán)境下，也有不少項(xiàng)目能夠長(zhǎng)期保持生命力。

PostgreSQL 數(shù)據(jù)庫(kù)系統(tǒng)就是其中的典型，其歷史可以追溯到 1986 年的伯克利 POSTGRES 項(xiàng)目。經(jīng)過幾十年的發(fā)展，作為一款跨平臺(tái)、免費(fèi)和開源的數(shù)據(jù)庫(kù)軟件，PostgreSQL 應(yīng)用已經(jīng)相當(dāng)廣泛：根據(jù) Stack Overflow 2023 開發(fā)者調(diào)查數(shù)據(jù)顯示，PostgreSQL 甚至超越了 MySQL，成為開發(fā)人員首選。

對(duì)擁有如此悠久歷史的大型代碼庫(kù)做根本性變更絕非易事，但項(xiàng)目開發(fā)團(tuán)隊(duì)正在認(rèn)真考慮這種可能性，希望讓 PostgreSQL 脫離長(zhǎng)久以來的面向進(jìn)程模型。

任何 PostgreSQL 實(shí)例都是以大量協(xié)作進(jìn)程的形式保持運(yùn)行，其中包含一個(gè)用于所有接入客戶端的進(jìn)程。這些進(jìn)程使用精心設(shè)計(jì)的庫(kù)通過多個(gè)共享內(nèi)存區(qū)域進(jìn)行彼此通信，而這個(gè)庫(kù)的作用就是在內(nèi)存設(shè)置各異、映射地址不同的所有進(jìn)程之間建立起復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。

多年以來，這套模型一直兢兢業(yè)業(yè)地支撐整個(gè)項(xiàng)目。但隨著項(xiàng)目發(fā)展，現(xiàn)實(shí)世界正在發(fā)生巨大變化。因此，PostgreSQL 開發(fā)團(tuán)隊(duì)意識(shí)到必須盡快調(diào)整、順應(yīng)現(xiàn)實(shí)的潮流。

一份提案

今年 6 月初，Heikki Linnakangas 在經(jīng)過一系列線下討論之后，發(fā)布了將 PostgreSQL 轉(zhuǎn)為線程模型的提案。

我覺得現(xiàn)在大家已經(jīng)達(dá)成了強(qiáng)烈共識(shí)，比以往任何時(shí)候都更支持這項(xiàng)重大調(diào)整。實(shí)現(xiàn)這個(gè)目標(biāo)需要投入大量精力、討論很多細(xì)節(jié)，但團(tuán)隊(duì)高層對(duì)這個(gè)基本思路沒有異議。 這封電子郵件的發(fā)布，就是想把這種沉默的共識(shí)變成明確的發(fā)展路線。

其中簡(jiǎn)要概括了這項(xiàng)遷移所涉及的種種挑戰(zhàn)，并低調(diào)地承認(rèn)轉(zhuǎn)化過程“肯定無法通過單一版本徹底完成”。但郵件中沒有提到推動(dòng)這項(xiàng)重大變更的原因，好在隨著討論的進(jìn)行，相關(guān)信息很快得到了補(bǔ)充。正如 Andres Freund（PostgreSQL Developer & Committer，EnterpriseDB 高級(jí)數(shù)據(jù)庫(kù)架構(gòu)師）指出的那樣：

我認(rèn)為原有流程模型開始產(chǎn)生諸多限制，這個(gè)問題在大型設(shè)備上體現(xiàn)得尤其明顯?？邕M(jìn)程上下文切換所帶來的開銷，原本就比在同一進(jìn)程內(nèi)的不同線程間切換要更高——我估計(jì)這種開銷還將持續(xù)提升。面對(duì)大量連接，整個(gè)體系最終一定會(huì)因 TLB 未命中而浪費(fèi)大量時(shí)間。這是進(jìn)程模型無法跨進(jìn)程共享 TLB 的天然屬性造成的必然結(jié)果。

他還提到，進(jìn)程模型也增加了開發(fā)成本，迫使項(xiàng)目不得不維護(hù)大量重復(fù)代碼，包括在同一地址空間內(nèi)保留本不必要的多種內(nèi)存管理機(jī)制。在隨后的消息中，他還補(bǔ)充稱由于線程全部運(yùn)行在同一地址空間之內(nèi)，因此可以更高效地實(shí)現(xiàn)狀態(tài)共享。

但有部分開發(fā)人員反映，Linnakangas 所說的“強(qiáng)烈共識(shí)”可能并沒有那么強(qiáng)烈。Postgres 的主要貢獻(xiàn)者 Tom Lane 表示，“我認(rèn)為這將是一場(chǎng)災(zāi)難，大量原有代碼將受到影響。”他隨后補(bǔ)充稱，此次調(diào)整將帶來“巨大”成本，產(chǎn)生“不止一個(gè)安全級(jí) bug”，也無法證明其收益超過成本投入。有人提出，目前還有其他一些高優(yōu)先級(jí)工作值得早做打算。也有人擔(dān)心隨著進(jìn)程模型被淘汰，原本基于各獨(dú)立進(jìn)程的隔離性將被打破，導(dǎo)致系統(tǒng)的整體健壯性受到破壞。

盡管如此，大部分 PostgreSQL 開發(fā)者還是以謹(jǐn)慎樂觀的態(tài)度支持、至少愿意嘗試這一改動(dòng)。EnterpriseDB 副總裁、首席數(shù)據(jù)庫(kù)科學(xué)家，PostgreSQL 主要貢獻(xiàn)者 Robert Haas 表示，PostgreSQL 在大型系統(tǒng)上的擴(kuò)展性確實(shí)不佳，主要就是因?yàn)樗羞M(jìn)程都在消耗資源。“其他很多數(shù)據(jù)庫(kù)并不存在這個(gè)問題。如果不進(jìn)行某種重大的架構(gòu)變更，PostgreSQL 將無法克服這個(gè)難題?！?/p>

也許單純轉(zhuǎn)向線程模型可能還不夠，但他認(rèn)為這將為其他后續(xù)改進(jìn)開個(gè)好頭。

從提案到現(xiàn)實(shí)

將 PostgreSQL 服務(wù)器的核心轉(zhuǎn)移至單一地址空間，幾乎必然帶來諸多挑戰(zhàn)。正如 Haas 等研究人員所指出，其中最大的問題就是服務(wù)器“目前正頻繁使用全局變量”。具體來講，當(dāng)每個(gè)服務(wù)器進(jìn)程都擁有自己的集合時(shí)，全局變量就能良好運(yùn)作；而在用線程加以替代時(shí)則會(huì)引發(fā)問題。根據(jù) Konstantin Knizhnik 的說法，PostgreSQL 服務(wù)器目前使用約 2000 個(gè)全局變量。

開發(fā)團(tuán)隊(duì)隨后討論了該問題的幾種解決思路。首先是將所有全局變量拉入統(tǒng)一的“會(huì)話狀態(tài)”結(jié)構(gòu)，而這套結(jié)構(gòu)具備線程本地化屬性。但考慮到需要?jiǎng)?chuàng)建并維護(hù)的是需要容納 2000 個(gè)變量成員的復(fù)雜結(jié)構(gòu)時(shí)，這個(gè)提議因?yàn)榭尚行蕴投芸焓チ宋ΑＡ硪环N方法是直接把所有全局變量放入線程本地存儲(chǔ)內(nèi)，這種方法倒是簡(jiǎn)單可行，但大量使用線程本地存儲(chǔ)會(huì)導(dǎo)致性能損失，損耗轉(zhuǎn)為線程模型帶來的收益。Haas 指出，對(duì)全局變量做明確標(biāo)記（包括將其放入線程本地存儲(chǔ)）本身也有積極的意義，可說為減少全局變量的使用開了個(gè)好頭。Freund 贊同這個(gè)觀點(diǎn)，并表示即使后續(xù)沒有全面轉(zhuǎn)向線程模型，這項(xiàng)調(diào)整也將有所回報(bào)。

但 Freund 也警告稱，將全局變量轉(zhuǎn)移至線程本地存儲(chǔ)只是這項(xiàng)工作中最簡(jiǎn)單的部分：

在此之后，重新設(shè)計(jì) postmaster、定義如何處理擴(kuò)展庫(kù)、擴(kuò)展兼容性、開發(fā)工具以實(shí)現(xiàn)線程化 postgres、在會(huì)話生命周期內(nèi)建立新的內(nèi)存分配和釋放機(jī)制（以往是通過退出進(jìn)程實(shí)現(xiàn)內(nèi)存釋放）、保證變更的可審查性和可移植性等等，全都是更加困難的工作。

這里還有一個(gè)討論熱度不高、但卻非常有趣的觀點(diǎn)，即 Knizhnik 已經(jīng)完成了 PostgreSQL 的線程端口。他說全局變量的問題并不是那么難以解決。他在配置數(shù)據(jù)、錯(cuò)誤處理、信號(hào)等方面遇到的麻煩還更多。另外，支持由外部維護(hù)的擴(kuò)展也是個(gè)重大挑戰(zhàn)。可盡管如此，他還是認(rèn)可轉(zhuǎn)向線程模型所帶來的一系列顯著回報(bào)，只是提醒項(xiàng)目決策層在采取任何行動(dòng)之前，務(wù)必要認(rèn)真做好研究分析。

PostgreSQL 開發(fā)團(tuán)隊(duì)還想到了另一個(gè)復(fù)雜問題，即是否可能同時(shí)支持基于進(jìn)程和基于線程兩種模式。在繼續(xù)支持進(jìn)程模式的同時(shí)引入線程架構(gòu)不僅極為困難，而且會(huì)顯著增加項(xiàng)目的總體維護(hù)負(fù)擔(dān)。但 Haas 堅(jiān)持認(rèn)為，PostgreSQL 絕對(duì)不可能徹底放棄對(duì)進(jìn)程模式的支持。畢竟線程在一部分用例中的性能反而更差，也有不少重要擴(kuò)展無法在線程模式下正常運(yùn)行。他強(qiáng)調(diào)稱，只有在確認(rèn)線程架構(gòu)運(yùn)行良好之后，才可能認(rèn)真討論要不要徹底放棄進(jìn)程支持。

目前無論是從郵件討論還是從社交媒體平臺(tái)投票結(jié)果來看，大多數(shù) PostgreSQL 開發(fā)者認(rèn)同架構(gòu)轉(zhuǎn)換的理論收益。

并且，數(shù)據(jù)庫(kù)管理系統(tǒng) Peloton 早在 2015 年就已經(jīng)嘗試讓 PostgreSQL 多線程化了。至于 PostgreSQL 本身，從討論到具體實(shí)施落地還有很長(zhǎng)的路要走，更重要的是，需要有人主動(dòng)請(qǐng)纓、表示愿意投入時(shí)間來推進(jìn)這項(xiàng)工作。

Peloton 的《Postgres 架構(gòu)變更公告》：

最初，Postgres 采用的是多進(jìn)程架構(gòu)。其中主進(jìn)程名為 Postmaster，負(fù)責(zé)處理 Postgres 接收到的請(qǐng)求，以及啟動(dòng)、關(guān)閉等系統(tǒng)層面的操作。請(qǐng)注意，Postmaster 本身并不執(zhí)行這些操作，而會(huì)派生出子進(jìn)程來執(zhí)行操作。再有，處理用戶查詢的 backend 也是由 Postmaster 分叉而來。這種架構(gòu)非常適合基于磁盤的數(shù)據(jù)庫(kù)，因?yàn)榇疟P可以作為大容量共享存儲(chǔ)。由于 peloton 充當(dāng)主內(nèi)存數(shù)據(jù)庫(kù)，多進(jìn)程架構(gòu)導(dǎo)致不同后端和 peloton 數(shù)據(jù)庫(kù)間的信息共享變得極其困難。在早期的嘗試中，我們?cè)紤]用共享內(nèi)存讓 peloton 從每個(gè)分叉的 backend 處獲取查詢計(jì)劃和其他信息。但結(jié)果證明其性能慢得令人無法接受，因此我們最終決定將 Postgres 轉(zhuǎn)為多線程架構(gòu)！