建站服務(wù)器
這篇文章主要介紹處理文件系統(tǒng)和快照空間大小不一致的方法,文中介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們一定要看完!
為什么文件系統(tǒng)和快照空間大小不一致?
有用戶咨詢,在ecs實(shí)例內(nèi)刪除文件后再打快照,發(fā)現(xiàn)快照容量并沒有變小。出現(xiàn)該現(xiàn)象的原因與快照原理、以及文件系統(tǒng)與磁盤、快照的關(guān)系有關(guān),即,只要被寫過數(shù)據(jù)的存儲塊(block),即使在磁盤中的相關(guān)文件已經(jīng)被刪除,數(shù)據(jù)塊仍會被記錄到快照中,所以出現(xiàn)快照比磁盤占用空間大的現(xiàn)象。文件系統(tǒng)中所謂刪除只是在需要刪除的文件頭部做個標(biāo)記,讓用戶知道這塊空間可以利用了,但并不會減少磁盤本身的空間占用。
為什么文件系統(tǒng)和快照空間大小不一致?
用戶在實(shí)例內(nèi)部看到的是磁盤 (ebs),在磁盤分區(qū)上創(chuàng)建的是文件系統(tǒng) (file system)。文件系統(tǒng)負(fù)責(zé)管理磁盤空間,其操作最終均轉(zhuǎn)化為磁盤的 i/o 請求。ebs 會記錄 block(指磁盤的邏輯塊地址被塊存儲劃分為相同大小的塊)狀態(tài),按需將臟數(shù)據(jù)拷貝到 oss,這就是打快照的過程。
以下原因可能會造成文件系統(tǒng)的空間與快照大小不一致:
文件系統(tǒng)本身的元數(shù)據(jù)會占用磁盤空間。
創(chuàng)建文件系統(tǒng)過程會寫大量 block。特別的,windows 的慢速格式化會寫臟大量 block,而使用快速格式化可以減少寫block 的數(shù)量。
文件系統(tǒng)為了減小開銷,刪除文件只是在內(nèi)部做個標(biāo)記,而 ebs 不感知這個刪除指令,block 仍然是已分配狀態(tài),所以仍會把這部分也做到快照里,導(dǎo)致快照比文件系統(tǒng)大。
virtio-block 和 xen 的 block-front 等模塊不支持 trim 指令(一種io指令,提示lba上的某段數(shù)據(jù)不再使用,可以被刪除),因而磁盤無法感知數(shù)據(jù)可以被刪除。
創(chuàng)建快照原理
創(chuàng)建快照原理如下圖所示。
說明:
將磁盤 lba(邏輯塊地址) 劃分為 block,未分配過的稱為空塊,圖中白色小方框表示。
只要 block 被寫過(已分配,將不再是空塊),就將參與計(jì)量。
磁盤第一個快照是全量,空塊不拷貝。
磁盤后續(xù)快照是增量快照,拷貝自上一個快照以來的增量臟數(shù)據(jù),因此同一個 block 在不同快照中可能會出現(xiàn)多個版本(圖中用不同顏色來表示)。
快照計(jì)量方法
如上圖所示,快照記錄空間共有 11 個 block,比磁盤 t2 中的 9 個 block 還要多出 2 個。
對單塊磁盤的所有快照整體計(jì)量。
只對已分配的 block 進(jìn)行計(jì)量。不同時間點(diǎn)相同版本 block 只統(tǒng)計(jì)一次。
不同版本的 block 占用 n 倍空間。
刪除快照的原理
刪除快照的原理如下圖所示。
說明:
離線分析已刪除快照的所有 block,刪除其中未被其他快照引用的數(shù)據(jù)。
刪除 s1 之后,剩下的快照一共有 10 個 block(包含 s0 的 6 個、s1 產(chǎn)生的 2 個臟數(shù)據(jù)、s2 的 2 個。),而不是 8 個 block(s0 的 6 個、s2 的 2 個)。
“數(shù)據(jù)寫入操作”的準(zhǔn)確定義
首先澄清一個概念,對底層分布式存儲系統(tǒng)而言,“數(shù)據(jù)寫入操作”不僅僅意味著用戶寫入的業(yè)務(wù)數(shù)據(jù),也包括格式化磁盤等一系列i/o操作。
用戶在拿到磁盤后,必須要先格式化才能正常使用。格式化的本質(zhì)是建立文件系統(tǒng)的過程。一個分區(qū)或磁盤在作為文件系統(tǒng)使用前,需要初始化,并將數(shù)據(jù)結(jié)構(gòu)記錄到磁盤上,這個過程就叫建立文件系統(tǒng)。
因此,在磁盤上建立文件系統(tǒng),也就意味著對磁盤有數(shù)據(jù)寫入操作。不同的文件系統(tǒng),在格式化時寫入的文件大小也不盡相同,具體如下:
windows系統(tǒng)格式化,分為快速和正常格式化:
快速格式化只是給分區(qū)分配文件系統(tǒng),并重寫目錄表;
正常格式化不但會進(jìn)行上述工作,還會對分區(qū)逐扇區(qū)進(jìn)行掃描以確定和標(biāo)記壞扇區(qū);
因此正常格式化操作,會填充磁盤空塊,相當(dāng)于把磁盤全盤寫了一遍。在此種情況下,第一個全量快照的大小會近似于磁盤容量。而快速格式化占用的實(shí)際空間則相對較少。
linux系統(tǒng)格式化,也同樣是建立文件系統(tǒng)的過程。因此剛剛格式化完畢的磁盤,在用戶沒有寫入業(yè)務(wù)數(shù)據(jù)的時候,第一個快照也會有一定的容量大小,具體要看不同的文件系統(tǒng)格式而定。
以上是處理文件系統(tǒng)和快照空間大小不一致的方法的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注資訊頻道!