WBL論文:針對NVM設(shè)計(jì)日志記錄及恢復(fù)協(xié)議
后寫日志
Write behind logging
基本思想
NVM的優(yōu)點(diǎn)是可字節(jié)尋址、接近內(nèi)存的高性能、順序訪問和隨機(jī)訪問差距不大。2016年VLDB會議上《write behind logging》論文專門針對NVM設(shè)計(jì)了一種新的日志記錄及恢復(fù)協(xié)議。主要思想是去掉了傳統(tǒng)的append only的redo和undo日志,但仍然需要保留undo信息用來回滾未提交事務(wù)。事務(wù)提交前需要將該事務(wù)的所有修改強(qiáng)制刷盤,之后在log中記錄commit標(biāo)記,即這里所說的WBL。恢復(fù)過程中,通過分析commit標(biāo)記將未提交的事務(wù)通過undo信息回滾掉。
而這篇論文在這個思想基礎(chǔ)上又進(jìn)行了一系列優(yōu)化,下面介紹其機(jī)制。首先吐槽一下,這篇論文寫得不是很清晰,理解起來比較困難。下面是深入理解后的機(jī)制,有不當(dāng)?shù)胤竭望指正。
機(jī)制
1、幾個概念
DTT表中元組結(jié)構(gòu):事務(wù)ID+表ID+更改位置
數(shù)據(jù)頁中的元組結(jié)構(gòu):
tuple id+trx id+begin commit時間戳+ end commit時間戳+上個版本號的tuple ID +data
Cp:該時間戳之后的提交的事務(wù)其數(shù)據(jù)不保證已經(jīng)持久化到磁盤
2、一個事務(wù)操作過程
Begin;
執(zhí)行操作,修改DRAM中的數(shù)據(jù)頁
添加一個元祖到DTT表中,該元祖不包括插入后的值
Commit:
1)記錄下各個該事務(wù)的提交時間戳t1
2)掃描DTT表得到該事務(wù)相關(guān)元組
3)計(jì)算cp和cd值
4)將DTT表中元組持久化到磁盤,此時元組中加上了提交時間戳t1
5)將cp和cd構(gòu)成的WBL持久化到NVM
6)通知完成組提交,釋放DTT
Rollback:
1)通過DTT中信息進(jìn)行回滾。
3、一個事務(wù)操作過程圖示
若在trx6 commit的時間點(diǎn),系統(tǒng)故障,那么重啟時從WBL日志文件中遍歷得到最后一個WBL即{4,(5,100)},得到活躍的事務(wù)為4,大于5的事務(wù)都未提交。分析到這里恢復(fù)就完成,即可接受新事務(wù)。
但是磁盤上的臟數(shù)據(jù)怎么處理?會啟用一個單獨(dú)的回收線程,掃描表中記錄,若記錄的時間戳大于5,比如事務(wù)6的記錄,他是不可見的,即將它回收掉;對于1,3,2,5都是可見的,不做處理,對于4,他在組提交未提交的事務(wù)鏈表里,也將它回收掉。
4、缺點(diǎn)及疑惑
1)文中沒有詳細(xì)說明記錄是如何回收的,是后續(xù)事務(wù)訪問到進(jìn)行判斷處理,還是說只是另外回收線程全部掃描進(jìn)行判斷。數(shù)據(jù)量如果特別大的話,掃描的代價(jià)豈不是很大?全部掃描完后,才將不用的WBL回收掉?
2)如果在高可用場景下,無法滿足要求,仍然需要相應(yīng)的WAL進(jìn)行復(fù)制
3)后續(xù)的可見性判斷比較復(fù)雜,文中沒有詳細(xì)說明

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題