談到當(dāng)前業(yè)界使用最廣泛、最好的RAS商用解決方案，那么必定是Intel公司。從廣泛上來說，大部分公司使用的x86服務(wù)器，首選Intel；從RAS能力來說，Intel CPU的MCA架構(gòu)，從故障檢測(cè)、故障上報(bào)、故障恢復(fù)等層面功能都非常完善。所以筆者認(rèn)為，想要學(xué)習(xí)Linux RAS，那么Intel CPU手冊(cè)中MACHINE-CHECK ARCHITECTURE章節(jié)和對(duì)應(yīng)的Linux arch/x86/kernel/cpu/mce目錄相關(guān)代碼將是非常好的入門學(xué)習(xí)資料。

MCA介紹

MCA（Machine Check Architecture）是Intel Xeon，Intel Atom和P6 family系列Processors支持的硬件錯(cuò)誤檢測(cè)、上報(bào)機(jī)制，硬件錯(cuò)誤包括system bus errors，ECC errors，parity errors，cache errors and TLB errors。

從硬件層面看，MCA通過一些MSR（Model Specific Register）來實(shí)現(xiàn)檢測(cè)、記錄錯(cuò)誤信息等功能。它包含了一組Global Control MSRs和多組Error-Reporting Bank Registers（Each Hardware Unit）記錄和上報(bào)硬件錯(cuò)誤。如下圖：

關(guān)于這一點(diǎn)，很多人開始都不太理解，也被問過多次。通過下面圖可以很清楚的理解：

Intel把各個(gè)Processor內(nèi)硬件以bank為單位分組，每個(gè)bank涉及多個(gè)硬件，共用一組error-reporting register。這個(gè)劃分并不是隨便的、雜亂的，反而是非常規(guī)整的。

MCA故障分類

Intel將Hardware Error分類以及行為如下：

?CE（Corrected Error）：指硬件自行恢復(fù)的故障，通常也會(huì)通知軟件，軟件讀取Status寄存器記錄故障信息；

?Fata Error：指嚴(yán)重的硬件錯(cuò)誤，比如Processor 電源故障，Memory Control嚴(yán)重故障等。此類故障發(fā)生后，Intel芯片會(huì)直接掛起所有CPU，服務(wù)器掛死，不會(huì)通知到OS；

?UCE（Uncorrected Error）：硬件無法自行恢復(fù)的故障。在Intel MCA架構(gòu)下，此類錯(cuò)誤是MCi_STATUS寄存器PCC bit為1，表示Processor可能已經(jīng)被故障損壞，同時(shí)重啟Processor也不可靠。軟件會(huì)根據(jù)此信息主動(dòng)Panic；

?UCR（Uncorrected Recoverable） Error：硬件無法自行恢復(fù)，但軟件可以采取某些行為修復(fù)的錯(cuò)誤；

至于UCNA、SRAO、SRAR在講MCA Recovery機(jī)制時(shí)再細(xì)講。

當(dāng)然上述分類并不是絕對(duì)的，只能算是最全面的分類。比如Intel將PCIe Device的RAS故障只分為UCE和CE，這是因?yàn)?/span>Pcie連接外設(shè)一般是非核心硬件，比如USB、磁盤、網(wǎng)卡等。這些組件發(fā)生UCE后，都會(huì)通知到OS嘗試修復(fù)。

Machine-Check Global Control寄存器組

IA32_MCG_CAP MSR

IA32_MCG_CAP MSR是只讀寄存器，表示當(dāng)前Processor擁有的MCA的能力。

Count field, bits 7:0：表示某Processor支持Hardware unit error-reporting banks的數(shù)量；

MCG_CTL_P (control MSR present) flag, bit 8：MCG_CTL MSR有效位；

MCG_EXT_P (extended MSRs present) flag, bit 9：MCG_EXT_CTL有效位；

MCG_CMCI_P (Corrected MC error counting/signaling extension present) flag, bit 10：表示當(dāng)發(fā)生一個(gè)CE或CE個(gè)數(shù)超過閾值后，是否通過CMCI中斷通知錯(cuò)誤；

MCG_TES_P (threshold-based error status present) flag, bit 11：當(dāng)Set時(shí)，表示IA32_MCi_STATUS MSR的54:53用來上報(bào)threshold-based error狀態(tài)；

MCG_EXT_CNT, bits 23:16：表示extended machine-check state registers個(gè)數(shù)，僅當(dāng)MCG_EXT_P set時(shí)有效；

MCG_SER_P (software error recovery support present) flag, bit 24：當(dāng)Set時(shí)，表示Processor支持software error recovery，同時(shí)IA32_MCi_STATUS MSR的56:55位提供uncorrected recoverable errors信息，以及判斷軟件是否需要task recovery actions來進(jìn)行恢復(fù)。IA32_MCi_STATUS MSR的56:55位是AR和S位，可以對(duì)UER進(jìn)行分類；

MCG_EMC_P (Enhanced Machine Check Capability) flag, bit 25：當(dāng)Set時(shí)，表示Processor支持MCA增強(qiáng)特性；

MCG_ELOG_P (extended error logging) flag, bit 26：當(dāng)Set時(shí)，Processor允許firmware接收硬件錯(cuò)誤并將bank寄存器信息記錄在ACPI的“Generic Error Data Entry”。這樣MCA就可以改為Firmware First并兼容APEI上報(bào)方式。

MCG_LMCE_P (local machine check exception) flag, bit 27：是否支持Local Machine Check Exception (LMCE)。當(dāng)Set后，IA32_MCG_STATUS 的LMCE_S位有效；

Linux內(nèi)核中使用舉例（v6.3，arch/x86/kernel/cpu/mce/core.c）

這段cap init代碼即開始讀取MCG_CAP寄存器的Count field, bits 7:0，獲取Banks數(shù)量，MCG_BANKCNT_MASK定義在mce.h

#define MCG_BANKCNT_MASK 0xff /* Number of Banks */

IA32_MCG_STATUS MSR

IA32_MCG_STATUS MSR描述的是machine-check exception發(fā)生后的當(dāng)前Processor狀態(tài)。

RIPV (restart IP valid) flag, bit 0：當(dāng)set時(shí)，表示machine-check exception發(fā)生后程序是否還可以從異常打斷后的指令處重新可靠的執(zhí)行；當(dāng)clear時(shí)，表示程序無法可靠地從instruction pointer處重新執(zhí)行；

EIPV (error IP valid) flag, bit 1：當(dāng)set時(shí)，表示machine-check exception和當(dāng)前instruction pointed有直接關(guān)聯(lián)。當(dāng)clear時(shí)，表示instruction pointed與錯(cuò)誤無關(guān)；

MCIP (machine check in progress) flag, bit 2：當(dāng)set時(shí)，表示當(dāng)前machine-check exception正在處理中。軟件可以設(shè)置或清除此標(biāo)志位。

LMCE_S (local machine check exception signaled), bit 3：當(dāng)set時(shí)，表示當(dāng)前的machine-check event被當(dāng)前Processor捕獲和處理。這個(gè)bit很有意思，intel以前的cpu，machine-check event可以上報(bào)到其他Processor，當(dāng)前處理的Processor需要遍歷所有Banks來找到真正的machine-check even。這個(gè)機(jī)制對(duì)于同步MCE來說非常不友好，后面icelake或arm64，都是自動(dòng)報(bào)到local cpu，省去了很多不必要的麻煩，代碼也更簡(jiǎn)潔。

Linux內(nèi)核中使用舉例（v6.3，arch/x86/kernel/cpu/mce/core.c）

這里代碼在發(fā)生UCE后MCE的處理函數(shù)do_machine_check()中，通過MCG_STATUS_LMCES確定故障是否是local machine check。

IA32_MCG_CTL MSR

控制machine-check exceptions的上報(bào)，寫1使能machine-check特性。

IA32_MCG_EXT_CTL MSR

LMCE_EN (local machine check exception enable) flag, bit 0：LMCE功能的使能位。

Error-Reporting Register Banks寄存器組

每個(gè)error-reporting register bank包括IA32_MCi_CTL, IA32_MCi_STATUS, IA32_MCi_ADDR, and IA32_MCi_MISC MSRs。

IA32_MCi_CTL MSRs

IA32_MCi_CTL控制每個(gè)bank發(fā)生硬件錯(cuò)誤時(shí)產(chǎn)生的#MC信號(hào)。

IA32_MCi_STATUS MSRS

每個(gè)IA32_MCi_STATUS MSR包含了machine-check error的信息。這個(gè)寄存器是比較重要的，包含了硬件錯(cuò)誤的故障類型信息等，Linux主要通過這個(gè)寄存器對(duì)故障進(jìn)行分類并采取相應(yīng)的Action。

MCA (machine-check architecture) error code field, bits 15:0：MCA架構(gòu)定義的Error Code，內(nèi)部包含了詳細(xì)的錯(cuò)誤信息，比如錯(cuò)誤發(fā)生硬件、觸發(fā)原因等。下面會(huì)單獨(dú)將MCA Error Codes；

Model-specific error code field, bits 31:16：MCA架構(gòu)定義的model-specific error code；

Reserved, Error Status, and Other Information fields, bits 56:32：Error Status和Other Information區(qū)域。這些bit包含了更多錯(cuò)誤信息，比如UCE的錯(cuò)誤類型等等。

PCC (processor context corrupt) flag, bit 57：當(dāng)Set時(shí)，表示Processor可能已經(jīng)被故障損壞，同時(shí)重啟Processor也不可靠。當(dāng)Clear時(shí)，表示錯(cuò)誤并未影響到Processor狀態(tài)，并且軟件可以采取recovery actions隔離、恢復(fù)故障；

ADDRV (IA32_MCi_ADDR register valid) flag, bit 58：ADDR有效位，當(dāng)Set時(shí)，IA32_MCi_ADDR包含了錯(cuò)誤發(fā)生的物理地址。這個(gè)寄存器僅當(dāng)Memory、Cache data、TLB data發(fā)生錯(cuò)誤時(shí)才會(huì)寫入物理地址；

MISCV (IA32_MCi_MISC register valid) flag, bit 59：當(dāng)Set時(shí)，表示IA32_MCi_MISC寄存器內(nèi)包含了附加的錯(cuò)誤信息。當(dāng)Clear時(shí)，不要讀取IA32_MCi_MISC寄存器信息；

EN (error enabled) flag, bit 60：對(duì)應(yīng)IA32_MCi_CTL register使能位；

UC (error uncorrected) flag, bit 61：當(dāng)Set時(shí)，表示Processor硬件無法恢復(fù)這個(gè)硬件故障。即UCE；當(dāng)Clear時(shí)，表示Processor可以糾正這次錯(cuò)誤，即CE；

OVER (machine check overflow) flag, bit 62：當(dāng)Set時(shí)，表示前一次錯(cuò)誤還在上報(bào)、處理過程中時(shí)又發(fā)生了硬件錯(cuò)誤，即多次machine error同時(shí)發(fā)生；

VAL (IA32_MCi_STATUS register valid) flag, bit 63：IA32_MCi_STATUS寄存器信息是否有效；

Linux內(nèi)核中使用舉例（v6.3，arch/x86/kernel/cpu/mce/severity.c）

Intel服務(wù)器在mce_severity_intel()函數(shù)中

?通過MCI_STATUS_UC=0確定發(fā)生CE類型故障；

?通過MCI_STATUS_UC=1，MCI_UC_AR=1確定發(fā)生AO類型故障；

IA32_MCi_ADDR MSRs

當(dāng)IA32_MCi_STATUS的ADDRV位設(shè)置后，IA32_MCi_ADDR MSR表示硬件故障的code或data地址信息：The address returned is an offset into a segment, linear address, or physical address. This depends on the error encountered.

Linux內(nèi)核中使用舉例（v6.3，arch/x86/kernel/cpu/mce/core.c）

MCE驅(qū)動(dòng)代碼中，通過mce_rdmsrl(mca_msr_reg(i, MCA_ADDR))函數(shù)讀取MCA_ADDR計(jì)算內(nèi)存故障的物理地址。

IA32_MCi_MISC MSRs

如果IA32_MCi_STATUS寄存器的MISCV標(biāo)志位Set時(shí)，IA32_MCi_MISC MSR包含了附加的machine-check error信息。

Recoverable Address LSB (bits 5最低地址有效位。比如IA32_MCi_MISC是01001b，十進(jìn)制是9，那么故障地址的bits [8:0]需要忽略。

Address Mode (bits 8IA32_MCi_ADDR的地址模式，如下圖

Model Specific Information (bits 63 Not architecturally defined.

IA32_MCi_CTL2 MSRs

IA32_MCi_CTL2 MSR描述了進(jìn)程使用CE的通知能力。

Corrected error count threshold, bits 14:0：軟件必須初始化這個(gè)區(qū)域。描述CMCI（corrected machine-check error interrupt）觸發(fā)的CE閾值，即corrected error數(shù)量達(dá)到閾值會(huì)觸發(fā)CMCI信號(hào)；

CMCI_EN (Corrected error interrupt enable/disable/indicator), bits 30：CMCI使能位

本篇主要對(duì)Intel MCA機(jī)制、Global Control MSR/Error-reporting Register Bank進(jìn)行介紹。了解上述2組寄存器，對(duì)MCA硬件有個(gè)大概的了解，后續(xù)會(huì)結(jié)合內(nèi)核介紹MCA的增強(qiáng)功能。

參考文檔：《Intel 64 and IA-32 Architectures Software Developer’s Manual 》