3.3 redo日志的系統(tǒng)變量
redo日志位于MySQL數(shù)據(jù)目錄下,默認(rèn)有ib_logfile0
和ib_logfile1
兩個文件,如下圖所示。
可以發(fā)現(xiàn),兩個redo日志文件的大小都是50331648,默認(rèn)48MB。為什么這個大小是固定的呢?因為如果我們要使用順序I/O,就必須在申請磁盤空間的時候一次性決定申請的空間大小,這樣才能保證申請的磁盤空間在地址上的連續(xù)性。
這也就決定了redo日志的舊數(shù)據(jù)會被覆蓋,一旦文件被寫滿,就會觸發(fā)Buffer Pool臟頁到磁盤的同步,以騰出額外空間記錄后面的修改。
可以通過以下指令查看redo日志的系統(tǒng)屬性。
mysql> show variables like 'innodb_log%';
+-----------------------------+----------+
| Variable_name | Value |
+-----------------------------+----------+
| innodb_log_buffer_size | 16777216 |
| innodb_log_checksums | ON |
| innodb_log_compressed_pages | ON |
| innodb_log_file_size | 50331648 |
| innodb_log_files_in_group | 2 |
| innodb_log_group_home_dir | ./ |
| innodb_log_write_ahead_size | 8192 |
+-----------------------------+----------+
參數(shù)名稱 | 含義 |
---|---|
innodb_log_file_size | 指定每個redo日志文件的大小,默認(rèn)48MB |
innodb_log_files_in_group | 指定redo日志文件的數(shù)量,默認(rèn)2 |
innodb_log_group_home_dir | 指定redo文件的路徑,如果不指定,則默認(rèn)為datadir目錄 |
介紹到這里,讀者朋友可以發(fā)現(xiàn),我們剛才探索的是如何讓已經(jīng)提交的事務(wù)保持持久化,但是如果某些事務(wù)偏偏在執(zhí)行到一半的時候出現(xiàn)問題怎么辦?
事務(wù)的原子性要求事務(wù)中的所有操作要么都成功,要么都失敗,不允許存在中間狀態(tài)。就好比我在寫這篇文章的時候,會時不時地敲一下ctrl+Z
返回到上一步或者過去好幾步之前的狀態(tài),MySQL也需要“留一手”,把事務(wù)回滾時需要的東西都記錄下來。
比如,插入數(shù)據(jù)的時候,至少應(yīng)該把新增的這條記錄的主鍵的值記錄下來,這樣回滾的時候只要把這個主鍵值對應(yīng)的記錄刪除就可以了。
MySQL又一個鼎鼎大名的日志—— undo日志 ,正式登場!
4. undo日志
undo log(撤銷日志或回滾日志)記錄了事務(wù)發(fā)生之前的數(shù)據(jù)狀態(tài),分為insert undo log和update undo log。
如果修改數(shù)據(jù)時出現(xiàn)異常,可以用 undo log來實現(xiàn)回滾操作(保持原子性)??梢岳斫鉃閡ndo日志記錄的是反向的操作,比如INSERT操作會記錄DELETE,UPDATE會記錄UPDATE之前的值,和redo日志記錄在哪個物理頁面做了什么操作不同,所以這是一種邏輯格式的日志。
undo日志和redo日志與事務(wù)密切相關(guān),被統(tǒng)稱為「事務(wù)日志」。
關(guān)于undo日志,我們目前只需要了解這么多即可
5. SQL更新語句的執(zhí)行總結(jié)——初版
有了事務(wù)日志之后,我們來簡單總結(jié)一下更新操作的流程,這是一個簡化的過程。
name 原值是chanmufeng
。
update t_user_innodb set name ='chanmufeng1994' where id = 1;
- 事務(wù)開始,從內(nèi)存(Buffer Pool)或磁盤取到包含這條數(shù)據(jù)的數(shù)據(jù)頁,返回給 Server 的執(zhí)行器;
- Server 的執(zhí)行器修改數(shù)據(jù)頁的這一行數(shù)據(jù)的值為 chanmufeng1994;
- 記錄 name=chanmufeng 到undo log;
- 記錄 name=chanmufeng1994到redo log;
- 調(diào)用存儲引擎接口,記錄數(shù)據(jù)頁到Buffer Pool(修改 name=penyuyan);
- 事務(wù)提交。
6. binlog日志
之前我們講過,從MySQL整體架構(gòu)來看,其實可以分成兩部分
- Server 層,它主要做的是 MySQL功能層面的事情,比如處理連接、解析優(yōu)化等;
- 存儲引擎層,負責(zé)存儲相關(guān)的具體事宜。
redo日志是InnoDB存儲引擎特有的日志,而Server層也有自己的日志,稱為 binlog(歸檔日志),它可以被所有存儲引擎使用。
6.1 為什么有了redo日志還需要 binlog?
我想你可能會問出這個問題,實際上,更準(zhǔn)確的問法是為什么有了binlog還需要有redo日志?主要有以下幾個原因。
- 因為最開始MySQL里并沒有InnoDB存儲引擎。MySQL自帶的引擎是MyISAM,但是 MyISAM沒有崩潰恢復(fù)的能力,InnoDB后來以插件的形式被引入,順便帶來了redo日志;
- binlog日志是用來歸檔的,binlog以事件的形式記錄了所有的 DDL和 DML 語句(因為它記錄的是操作而不是 數(shù)據(jù)值,屬于邏輯日志),但是不具備宕機恢復(fù)的功能,因為可能沒有來得及刷新臟頁,造成臟頁數(shù)據(jù)的丟失,而這些操作也沒有保存到binlog中從而造成數(shù)據(jù)丟失;
- binlog記錄的是關(guān)于一個事務(wù)的具體操作內(nèi)容,即該日志是邏輯日志。而redo日志記錄的是關(guān)于每個頁的更改的物理情況。功能壓根不是一回事兒。
6.2 binlog日志的作用
6.2.1 主從復(fù)制
binlog是實現(xiàn)MySQL主從復(fù)制功能的核心組件。
master節(jié)點會將所有的寫操作記錄到binlog中,slave節(jié)點會有專門的I/O線程讀取master節(jié)點的binlog,將寫操作同步到當(dāng)前所在的slave節(jié)點。
6.2.2 數(shù)據(jù)恢復(fù)
假如你在閱讀這篇文章的時候覺得我寫得實在太好,拍案叫絕的時候一不小心把公司的數(shù)據(jù)庫給刪了,你該怎么做才能恢復(fù)到你刪庫之前的那個時刻的狀態(tài)?
這個時候就要用到binlog了,前提是binlog沒有被刪除,否則,神仙也救不了你了。
通常情況下,公司會定期對數(shù)據(jù)庫進行全量備份,可能隔一個月,一周,甚至可能每天都備份一次。運氣好的話你可以使用前一天的全量備份,恢復(fù)到前一天的某時刻狀態(tài)(或者一周、一月之前),然后從全量備份的時刻開始,從binlog中提取該時刻之后(前提是你的binlog里面存放了這段時間的日志)的所有寫操作(當(dāng)然,你得過濾掉你的刪庫操作),然后進行操作回放就可以了。
是不是很簡單?
問題又來了。再看一眼我們的更新語句。
update t_user_innodb set name ='chanmufeng1994' where id = 1;
假如這條更新語句已經(jīng)被寫入到了redo日志,還沒來得及寫binlog的時候,MySQL宕機重啟了,我們看一下會發(fā)生什么。
因為redo日志可以在重啟的時候用于恢復(fù)數(shù)據(jù),所以寫入磁盤的是chanmufeng1994。但是binlog里面沒有記錄這個邏輯日志,所以這時候用binlog去恢復(fù)數(shù)據(jù)或者同步到從庫,就會出現(xiàn)數(shù)據(jù)不一致的情況。
所以在寫兩個日志的情況下,就類似于「分布式事務(wù)」的情況,如果你不清楚分布式事務(wù)是個什么東西也沒關(guān)系,我在之后的文章會介紹到。能夠明確的就是redo日志和binlog日志如果單純依次進行提交是無法保證兩種日志都寫成功或者都寫失敗的。
我們需要「兩階段提交」。
6.3 兩階段提交
兩階段提交不是MySQL的專利,兩階段提交是一種跨系統(tǒng)維持?jǐn)?shù)據(jù)邏輯一致性的常見方案,尤其在分布式事務(wù)上,所以請讀者重點體會思想
我們把redo日志的提交分成兩步,兩步中redo日志的狀態(tài)分別是prepare
和commit
。步驟如下
- InnoDB存儲引擎將更改更新到內(nèi)存中后,同時將這個更新操作記錄到redo日志里面,此時redo日志處于
prepare
狀態(tài); - 執(zhí)行器生成這個操作的binlog,并將binlog刷盤;
- 執(zhí)行器調(diào)用InnoDB的提交事務(wù)接口,InnoDB把剛剛寫入的redo日志改成
commit
狀態(tài)。至此,所有操作完成。
加上兩階段提交之后我們再來看一下SQL更新語句的執(zhí)行流程。
7. SQL更新語句的執(zhí)行總結(jié)——終版
- 客戶端發(fā)送更新命令到MySQL服務(wù)器,經(jīng)過處理連接、解析優(yōu)化等步驟;
- Server層向InnoDB存儲引擎要id=1的這條記錄;
- 存儲引擎先從緩存中查找這條記錄,有的話直接返回,沒有則從磁盤加載到緩存中然后返回;
- Server層執(zhí)行器修改這條記錄的name字段值;
- 存儲引擎更新修改到內(nèi)存中;
- 存儲引擎記錄redo日志,并將狀態(tài)設(shè)置為
prepare
狀態(tài); - 存儲引擎通知執(zhí)行器,修改完畢,可以進行事務(wù)提交;
- Server先寫了個binlog;
- Server提交事務(wù);
- 存儲引擎將redo日志中和當(dāng)前事務(wù)相關(guān)的記錄狀態(tài)設(shè)置為
commit
狀態(tài)。
完!
參考資料
- MySQL實戰(zhàn)45講
- MySQL是怎樣運行的
-
存儲
+關(guān)注
關(guān)注
13文章
4358瀏覽量
86194 -
buffer
+關(guān)注
關(guān)注
2文章
120瀏覽量
30137 -
MySQL
+關(guān)注
關(guān)注
1文章
830瀏覽量
26753
發(fā)布評論請先 登錄
相關(guān)推薦
評論