亚洲人成网777777国产精品,国产一区二区在线看片

導(dǎo)讀｜遭受內(nèi)存泄露往往是令開(kāi)發(fā)者頭疼的問(wèn)題，傳統(tǒng)分析工具 gdb、Valgrind在解決內(nèi)存泄露問(wèn)題上效率較低。本文特別邀請(qǐng)到了騰訊后臺(tái)開(kāi)發(fā)工程師邢孟棒以 TDSQL實(shí)際生產(chǎn)中mysql-proxy內(nèi)存泄露問(wèn)題作為分析對(duì)象，分享其基于動(dòng)態(tài)追蹤技術(shù)的通用內(nèi)存泄露（增長(zhǎng)）分析方法。其中將詳細(xì)介紹內(nèi)存分配器行為分析、缺頁(yè)異常事件分析，涵蓋應(yīng)用程序內(nèi)存分配的常見(jiàn)過(guò)程。閱讀完本文后，開(kāi)發(fā)者僅需關(guān)注少數(shù)可能導(dǎo)致內(nèi)存泄露的代碼路徑，就能有效提升定位內(nèi)存泄露（增長(zhǎng)）問(wèn)題的效率。背景某個(gè) TDSQL 私有化環(huán)境中，中間件 mysql-proxy 進(jìn)行大量請(qǐng)求轉(zhuǎn)發(fā)時(shí)，內(nèi)存占用量持續(xù)增長(zhǎng)導(dǎo)致 OOM 現(xiàn)象，最終影響了用戶業(yè)務(wù)的正常使用。本人分析該問(wèn)題的過(guò)程中發(fā)現(xiàn)一個(gè)較為普遍的業(yè)務(wù)痛點(diǎn)：傳統(tǒng)分析工具（gdb、Valgrind 等）效率相對(duì)較低，在私有化場(chǎng)景中尤其突出。針對(duì)這一痛點(diǎn)，我將提供相對(duì)通用的內(nèi)存泄露（增長(zhǎng)）分析方法，協(xié)助各位開(kāi)發(fā)者更高效地定位發(fā)生泄露的代碼路徑，以期最大化減少人力投入成本并降低對(duì)用戶業(yè)務(wù)體驗(yàn)的影響。

基礎(chǔ)概念

在展開(kāi)講述內(nèi)存泄露（增長(zhǎng)）分析方法之前，我們先了解一些相關(guān)的基礎(chǔ)概念。內(nèi)存泄露包括內(nèi)核內(nèi)存泄露、應(yīng)用程序內(nèi)存泄露兩大類。內(nèi)核內(nèi)存泄露可以通過(guò) kmemleak 進(jìn)行檢測(cè)，本文主要關(guān)注應(yīng)用程序的內(nèi)存泄露。應(yīng)用程序的內(nèi)存泄露又可以細(xì)分為：堆內(nèi)存（Heap）泄露、內(nèi)存映射區(qū)（Memory Mappings）泄露。我們平時(shí)提及的內(nèi)存泄露，主要是指物理內(nèi)存的泄露（持續(xù)分配、映射實(shí)際的物理內(nèi)存，且一直未釋放），危害較大，需要立即修復(fù)。另外，虛擬內(nèi)存的泄露（持續(xù)分配虛擬內(nèi)存，但未分配、映射實(shí)際的物理內(nèi)存）容易被忽視，雖然危害相對(duì)較小，但也需額外關(guān)注（進(jìn)程的內(nèi)存映射區(qū)總數(shù)量有上限，默認(rèn) 1w）。通常，應(yīng)用程序內(nèi)存分配涉及的步驟大致如下圖所示：第一，應(yīng)用程序通過(guò)內(nèi)存分配器（例如 libc）提供的 malloc 及其變體函數(shù)申請(qǐng)內(nèi)存，free 函數(shù)釋放相應(yīng)內(nèi)存。第二，內(nèi)存分配器（例如 libc）內(nèi)部通過(guò)系統(tǒng)調(diào)用 brk 擴(kuò)展堆內(nèi)存（小塊內(nèi)存分配）。第三，內(nèi)存分配器（例如 libc）內(nèi)部通過(guò)系統(tǒng)調(diào)用 mmap 分配內(nèi)存映射區(qū)域（大塊內(nèi)存分配，默認(rèn)不小于 128 KB）第四，二或三已申請(qǐng)的虛擬內(nèi)存在首次寫(xiě)入時(shí)觸發(fā)缺頁(yè)異常，OS 分配實(shí)際物理頁(yè)面，并將虛擬內(nèi)存與其相關(guān)聯(lián)，記錄至頁(yè)表。其中，步驟一至三均為虛擬內(nèi)存，步驟四分配實(shí)際物理內(nèi)存并創(chuàng)建相應(yīng)頁(yè)表。

傳統(tǒng)分析工具 gdb、Valgrind

在定位 mysql-proxy 內(nèi)存泄露（增長(zhǎng)）問(wèn)題的過(guò)程中，開(kāi)發(fā)人員嘗試使用了 Valgrind Memcheck、gdb 進(jìn)行協(xié)助分析。最終前者實(shí)際效果不太理想；我通過(guò)后者分析出泄露原因，但整個(gè)過(guò)程耗費(fèi)了較多時(shí)間。 gdb 是常用的程序調(diào)試工具，好處不用贅述。但對(duì)于內(nèi)存泄露或增長(zhǎng)問(wèn)題，gdb 缺點(diǎn)也較為明顯，大致如下：干擾程序正常運(yùn)行，不適合生產(chǎn)環(huán)境；直接定位比較困難，且要求對(duì)源碼有一定了解。 Valgrind Memcheck 是一款知名度較高的內(nèi)存泄露分析工具，非常強(qiáng)大，開(kāi)發(fā)調(diào)試過(guò)程中能夠快速發(fā)現(xiàn)場(chǎng)景的內(nèi)存泄露問(wèn)題。不過(guò)開(kāi)發(fā)者在使用之前，建議對(duì)以下情況有所了解：第一，需要重啟程序，且作為 Valgrind 子進(jìn)程運(yùn)行。不適合分析正在發(fā)生內(nèi)存增長(zhǎng)的進(jìn)程。第二，替代默認(rèn)的 malloc/free 等分配函數(shù)，目標(biāo)進(jìn)程運(yùn)行速度減慢 20~30 倍。第三，不能很好的支持 tcmalloc、jemalloc 內(nèi)存分配器。（mysql-proxy 采用了 jemalloc 內(nèi)存分配器）

基于動(dòng)態(tài)追蹤的通用分析方法

對(duì)于正在運(yùn)行、內(nèi)存持續(xù)增長(zhǎng)的應(yīng)用來(lái)說(shuō)，gdb、Valgrind Memcheck 工具其實(shí)都挺難發(fā)揮價(jià)值。相比而言，動(dòng)態(tài)追蹤技術(shù)提供了一種通用且易用的方式。內(nèi)存分配器相關(guān)函數(shù)調(diào)用、系統(tǒng)調(diào)用、缺頁(yè)異常等，都可以看作一個(gè)個(gè)事件。通過(guò)對(duì)這些事件的追蹤、統(tǒng)計(jì)等，我們可以分析有關(guān)內(nèi)存使用情況的具體代碼路徑，在不深入源碼細(xì)節(jié)的前提下快速縮小泄露發(fā)生的范圍。本文涉及兩種基于動(dòng)態(tài)追蹤的通用分析方法：內(nèi)存分配器行為分析、缺頁(yè)異常事件分析，涵蓋應(yīng)用程序內(nèi)存分配的常見(jiàn)過(guò)程。

1）內(nèi)存分配器行為分析

內(nèi)存分配器（glibc、jemalloc 等）行為分析整體思路如下：首先，站在應(yīng)用視角，重點(diǎn)關(guān)注應(yīng)用程序內(nèi)存分配的代碼路徑。其次，動(dòng)態(tài)追蹤內(nèi)存分配相關(guān)函數(shù)，統(tǒng)計(jì)未釋放內(nèi)存分配的調(diào)用棧與總字節(jié)數(shù)量，形成分析工具 memstacks。

開(kāi)發(fā)新工具 memstacks

該工具支持生成兩種類型的火焰圖：一種是僅追蹤 malloc 及其變體函數(shù)，不做 free 抵消，結(jié)果可用于生成全量?jī)?nèi)存分配火焰圖。另一種是追蹤 malloc 及其變體函數(shù)、free 函數(shù)，計(jì)算出追蹤期間未釋放的內(nèi)存分配，結(jié)果可用于生成未釋放內(nèi)存分配火焰圖。其實(shí)現(xiàn)原理大致如下：借鑒現(xiàn)有 BCC 工具 memleak、mallocstacks，支持生成折疊棧，可生成全量?jī)?nèi)存分配火焰圖、未釋放內(nèi)存分配火焰圖。借助 uprobes 動(dòng)態(tài)追蹤 malloc（以及變體 cmalloc、realloc）、free。

如上圖所示，現(xiàn)有 BCC 工具 memleak、mallocstacks 各有優(yōu)劣。新工具 memstacks 結(jié)合兩者優(yōu)點(diǎn)，允許有選擇性的生成全量?jī)?nèi)存分配火焰圖或者未釋放內(nèi)存分配火焰圖需要的折疊棧格式。

全量?jī)?nèi)存分配火焰圖

執(zhí)行以下命令，追蹤 mysql-proxy 進(jìn)程所有 malloc 及其變體調(diào)用 60s，并生成全量?jī)?nèi)存分配火焰圖。

# 步驟 1. 追蹤 60s，生成全量?jī)?nèi)存分配折疊棧
# 其中，參數(shù) -a 表示追蹤所有的 malloc 及其變體，但不追蹤 free 進(jìn)行相互抵消。參數(shù) -f 表示生成折疊棧，用于步驟 2 生成火焰圖。
./memstacks -p $(pgrep -nx mysql-proxy) -af 60 > all_mallocs.stacks


# 步驟 2. 執(zhí)行下述命令生成全量?jī)?nèi)存分配火焰圖，輸出至文件 all_mallocs.svg。
./flamegraph.pl --color=mem --title="All malloc() bytes Flame Graph" --countname="bytes" < all_mallocs.stacks > all_mallocs.svg

火焰圖如下所示，可以協(xié)助開(kāi)發(fā)者理解 mysql-proxy 調(diào)用 malloc 及其變體的關(guān)鍵代碼路徑。

未釋放內(nèi)存分配火焰圖

執(zhí)行以下命令，追蹤 mysql-proxy 進(jìn)程未釋放 malloc 及其變體調(diào)用 60s，并生成內(nèi)存分配火焰圖。

# 步驟 1. 追蹤 60s，生成未釋放內(nèi)存分配折疊棧
# 其中，參數(shù) -f 表示生成折疊棧，用于步驟 2 生成火焰圖。
memstacks -p $(pgrep -nx mysql-proxy) -f 60 > unfreed_mallocs.stacks


# 步驟 2. 執(zhí)行下述命令生成未釋放內(nèi)存分配火焰圖，輸出到文件 unfreed_mallocs.svg。
./flamegraph.pl --color=mem --title="Unfreed malloc() bytes Flame Graph" --countname="bytes" < unfreed_mallocs.stacks > unfreed_mallocs.svg

火焰圖如下所示，其中：未釋放內(nèi)存共計(jì) 27.75 MB（追蹤期間，通過(guò) pidstat 觀察到 mysql-proxy 進(jìn)程 RSS 增量接近 27 MB，與未釋放內(nèi)存統(tǒng)計(jì)量 27.75 MB 基本一致）。已分配但未釋放的代碼路徑主要有兩處。其中，據(jù)研發(fā)反饋，tdsql::set_str 正是導(dǎo)致 mysql-proxy 內(nèi)存泄露發(fā)生的地方。而另一處并非真正的泄露。該工具有一定的副作用，由于追蹤的最后階段有一些剛分配的內(nèi)存還未來(lái)得及釋放，需要進(jìn)一步閱讀源碼甄別。另外，建議多運(yùn)行幾次對(duì)比下結(jié)果，排除那些經(jīng)常變化的分配路徑。

對(duì)已分配但未釋放的代碼路徑展開(kāi)，結(jié)果如下：

?相比全量?jī)?nèi)存分配火焰圖，數(shù)據(jù)量減少近 60 倍，需要重點(diǎn)關(guān)注的代碼路徑的減少也比較明顯。因此，推薦優(yōu)先使用未釋放內(nèi)存分配火焰圖進(jìn)行分析。

2）缺頁(yè)異常事件分析

相比內(nèi)存分配器行為分析，缺頁(yè)異常事件分析提供了另一種視角，整體思路如下：首先，站在內(nèi)核視角，關(guān)注的是首次寫(xiě)入觸發(fā)缺頁(yè)異常的代碼路徑，而不是觸發(fā)內(nèi)存分配的代碼路徑。前者是進(jìn)程 RSS增長(zhǎng)的原因，后者僅分配了虛擬內(nèi)存，尚未映射物理內(nèi)存。其次，追蹤缺頁(yè)異常事件，統(tǒng)計(jì)未釋放物理內(nèi)存的調(diào)用棧與總頁(yè)面數(shù)量，形成分析工具 pgfaultstacks。

現(xiàn)有分析工具

傳統(tǒng)工具 perf，基于軟件事件 page-faults

perfrecord-p$(pgrep-nxmysql-proxy)-epage-faults-c1-g--sleep60

BCC 工具 stackcount基于靜態(tài)追蹤點(diǎn) exceptions:page_fault_user。

stackcount -p $(pgrep -nx mysql-proxy) -U tpage_fault_user

現(xiàn)有分析工具雖然方便，但是以增量的方式去統(tǒng)計(jì)，不考慮追蹤過(guò)程中被釋放的物理內(nèi)存，最終統(tǒng)計(jì)的結(jié)果通常會(huì)偏大，對(duì)內(nèi)存泄露（增長(zhǎng)）的分析會(huì)造成干擾。

缺頁(yè)異常火焰圖（現(xiàn)有版）

執(zhí)行以下命令，追蹤 mysql-proxy 進(jìn)程所有缺頁(yè)事件 60s，并生成缺頁(yè)異常火焰圖。

perf record -p $(pgrep -nx mysql-proxy) -e page-faults -c 1 -g -- sleep 60 > pgfault.stacks


./flamegraph.pl --color=mem --title="Page Fault Flame Graph" --countname="pages" < pgfault.stacks > pgfault.svg

火焰圖具體如下，共計(jì) 420,342 次缺頁(yè)事件，但不是每一次缺頁(yè)事件都分配一個(gè)新的物理頁(yè)面（大多數(shù)情況下未分配），mysql-proxy RSS 實(shí)際增長(zhǎng)量?jī)H 60 多MB 。

開(kāi)發(fā)新工具 pgfaultstacks

該工具的實(shí)現(xiàn)原理大致如下：第一，改進(jìn)現(xiàn)有缺頁(yè)事件統(tǒng)計(jì)方式（過(guò)濾物理頁(yè)面已存在的缺頁(yè)事件，并在追蹤完成后讀取目標(biāo)進(jìn)程的內(nèi)存映射列表，通過(guò)計(jì)算將已釋放的物理頁(yè)面排除在外），僅關(guān)注真正泄露的物理內(nèi)存。第二，借助 tracepoint 或 kprobe 動(dòng)態(tài)追蹤 page faults 事件，一般情況下性能開(kāi)銷可忽略不計(jì)。

缺頁(yè)異常火焰圖

執(zhí)行以下命令，追蹤 mysql-proxy 進(jìn)程滿足過(guò)濾條件的缺頁(yè)事件 60s，并生成缺頁(yè)火焰圖。

# 步驟 1. 追蹤 60s，生成缺頁(yè)異常折疊棧。其中，參數(shù) -f 表示生成折疊棧，用于步驟 2 生成火焰圖。
pgfaultstacks -p $(pgrep -nx mysql-proxy) -f 60 > pgfault.stacks


# 步驟 2. 生成缺頁(yè)火焰圖，輸出到文件 pgfault.svg。
./flamegraph.pl --color=mem --title="Page Fault Flame Graph" --countname="pages" < pgfault.stacks > pgfault.svg

缺頁(yè)火焰圖如下，其中：共計(jì)增加 17801 個(gè)物理頁(yè)面（與 mysql-proxy 進(jìn)程 RSS 增量基本一致）。重點(diǎn)關(guān)注函數(shù) g_string_append_printf。（注：非內(nèi)存泄露發(fā)生的環(huán)境，僅用來(lái)演示缺頁(yè)異?；鹧鎴D）

相比現(xiàn)有版，該版本的數(shù)據(jù)量減少 20 多倍，需要重點(diǎn)關(guān)注的代碼路徑減少也比較明顯。

總結(jié)

本文以 TDSQL 實(shí)際生產(chǎn)中 mysql-proxy 內(nèi)存泄露問(wèn)題作為分析對(duì)象，探索基于動(dòng)態(tài)追蹤技術(shù)的通用內(nèi)存泄露（增長(zhǎng)）分析方法：內(nèi)存分配器行為分析、缺頁(yè)異常事件分析，并針對(duì)現(xiàn)有分析工具進(jìn)行改進(jìn)，形成相應(yīng)的分析工具 memstacks、pgfaultstacks，歡迎各位開(kāi)發(fā)者嘗試去開(kāi)發(fā)。工具使用者僅需關(guān)注少數(shù)可能導(dǎo)致內(nèi)存泄露的代碼路徑，有效提升定位內(nèi)存泄露（增長(zhǎng)）問(wèn)題的效率。如果你正在遭受內(nèi)存泄露（增加）的困擾，不妨嘗試下本文提及的分析方法和工具，希望有所幫助。審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴