日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法【專利摘要】本發(fā)明提供了一種日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，混合內(nèi)存劃分步驟：對文件系統(tǒng)的混合內(nèi)存進(jìn)行分層次劃分，即劃分為zone、section、segment、page這四個(gè)不同的邏輯塊，并對四個(gè)邏輯塊進(jìn)行邏輯編號；混合內(nèi)存邏輯塊映射步驟：構(gòu)建文件系統(tǒng)邏輯塊到底層SCM物理地址的映射，并實(shí)現(xiàn)頁面的動(dòng)態(tài)分配和回收；多層次散列表構(gòu)建步驟：構(gòu)建多層次的基于散列表的目錄結(jié)構(gòu)，用于進(jìn)行文件查找。本發(fā)明中的實(shí)現(xiàn)方法使文件系統(tǒng)能夠根據(jù)異構(gòu)內(nèi)存介質(zhì)的硬件特性合理調(diào)度分配存儲(chǔ)空間，提高硬件的利用率，延長硬件的使用壽命，提高文件的存儲(chǔ)效率和訪問效率。【專利說明】曰志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
[0001]本發(fā)明涉及文件系統(tǒng)
技術(shù)領(lǐng)域：
，具體地，涉及一種日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法。【
背景技術(shù)：
】[0002]新型存儲(chǔ)技術(shù)的興起和不同SCM(StorageClassMemory，存儲(chǔ)類內(nèi)存)器件的出現(xiàn)，引起了人們對混合內(nèi)存系統(tǒng)架構(gòu)和管理方式的關(guān)注和研究。SCM器件具有非易失性、讀快寫慢、靜態(tài)功耗低而動(dòng)態(tài)功耗高等特點(diǎn)，異于傳統(tǒng)的內(nèi)存。國內(nèi)外眾多的專家學(xué)者也基于SCM器件提出過多種內(nèi)存組織方式和優(yōu)化方法。然而眾多的組織方式和優(yōu)化方法都有各自的局限性和適用范圍。[0003]隨著云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，數(shù)據(jù)正以前所未有的速度不斷增長和累積，如何管理和組織這些數(shù)據(jù)，對傳統(tǒng)的文件系統(tǒng)來說是一個(gè)挑戰(zhàn)。從上層應(yīng)用來看，盡管當(dāng)前的文件系統(tǒng)為應(yīng)用提供了一種易用的數(shù)據(jù)組織方式，然而數(shù)據(jù)的增長和信息復(fù)雜性擴(kuò)張都加大了資源管理和檢索數(shù)據(jù)的難度，而且數(shù)據(jù)處在不斷變化之中，應(yīng)用很難準(zhǔn)確獲得數(shù)據(jù)的全貌及數(shù)據(jù)間的潛在關(guān)系；另外從底層硬件的角度來看，傳統(tǒng)的數(shù)據(jù)組織方式也無法充分發(fā)揮DRAM和SCM混合內(nèi)存架構(gòu)的效用，如何有效地組織數(shù)據(jù)，最大化地提高混合內(nèi)存的性能也是一個(gè)挑戰(zhàn)?！?br/>發(fā)明內(nèi)容】[0004]針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法。[0005]根據(jù)本發(fā)明提供的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，包括如下步驟：[0006]混合內(nèi)存劃分步驟:對文件系統(tǒng)的混合內(nèi)存進(jìn)行分層次劃分，即劃分為zone(域）、section(區(qū)）、segment(段）、page(頁）這四個(gè)不同的邏輯塊，并對四個(gè)邏輯塊進(jìn)行邏輯編號；[0007]混合內(nèi)存邏輯塊映射步驟:構(gòu)建文件系統(tǒng)邏輯塊到底層SCM物理地址的映射，并實(shí)現(xiàn)頁面的動(dòng)態(tài)分配和回收；[0008]多層次散列表構(gòu)建步驟:構(gòu)建多層次的基于散列表的目錄結(jié)構(gòu)，用于進(jìn)行文件查找。[0009]優(yōu)選地，所述混合內(nèi)存劃分步驟中將文件系統(tǒng)的混合內(nèi)存劃分為四層，具體地，一個(gè)文件系統(tǒng)的混合內(nèi)存包含多個(gè)zone;-個(gè)zone包含2*nl個(gè)物理地址連續(xù)的section;-個(gè)section包含2*n2個(gè)物理地址連續(xù)的segment;-個(gè)segment包含多個(gè)物理地址空間連續(xù)的page;page是內(nèi)存存儲(chǔ)空間分配的基本單位，nl、n2為正整數(shù)。[0010]優(yōu)選地，還包括順序?qū)懖襟E:采用log-structured(日志型結(jié)構(gòu)）和寫時(shí)復(fù)制技術(shù)對異構(gòu)混合內(nèi)存進(jìn)行順序?qū)懖僮?具體地，當(dāng)需要修改某一塊數(shù)據(jù)時(shí)，不在原地進(jìn)行修改，而是將原來的塊數(shù)據(jù)讀入DRAM中完成修改后，把修改后的數(shù)據(jù)塊寫入到新的SCM塊中。[0011]優(yōu)選地，所述混合內(nèi)存邏輯塊映射步驟中，采用節(jié)點(diǎn)地址樹將內(nèi)存的邏輯編號與底層SCM物理地址進(jìn)行映射。[0012]優(yōu)選地，頁面的動(dòng)態(tài)分配和回收是指:預(yù)分配一個(gè)邏輯編號到底層SCM物理地址的映射表，當(dāng)文件系統(tǒng)需要分配存儲(chǔ)單元存儲(chǔ)數(shù)據(jù)時(shí)，將分配到的實(shí)際物理地址填入映射表的一個(gè)表項(xiàng)；當(dāng)要釋放頁面時(shí)，只需將相應(yīng)的映射表項(xiàng)標(biāo)記為失效，通過映射表管理底層SCM的頁面的分配和回收。[0013]優(yōu)選地，所述多層次散列表構(gòu)建步驟包括:采用多個(gè)散列表，每個(gè)散列表代表一個(gè)層次，每層次散列表bucket(桶)包含的entry(項(xiàng))存在不同，但同一個(gè)散列表bucket包含的entry數(shù)目相同的；將文件的目錄層次與散列表的層次對應(yīng)起來，當(dāng)在第n層目錄寫入一個(gè)文件時(shí)，嘗試從第n個(gè)散列表開始映射，當(dāng)?shù)趎個(gè)散列表滿時(shí)，再嘗試映射到第n+1個(gè)散列表，進(jìn)行n的自增，直到映射成功。[0014]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：[0015]1、本發(fā)明提供的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法使文件系統(tǒng)能夠根據(jù)異構(gòu)內(nèi)存介質(zhì)的硬件特性合理調(diào)度分配存儲(chǔ)空間，提高硬件的利用率，延長硬件的使用壽命，提高文件的存儲(chǔ)效率和訪問效率。[0016]2、本發(fā)明提供的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法在不同粒度對文件系統(tǒng)進(jìn)行管理;為延長異構(gòu)混合內(nèi)存采取的均勾寫策略，采用log-structured結(jié)構(gòu)和寫時(shí)復(fù)制技術(shù)，在保證文件系統(tǒng)一致性的同時(shí)，提高系統(tǒng)讀寫性能，延長器件使用壽命;節(jié)點(diǎn)地址樹結(jié)構(gòu)把混合內(nèi)存的邏輯編號映射成塊物理地址;多層次散列表，提高文件查找效率?！靖綀D說明】[0017]通過閱讀參照以下附圖對非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：[0018]圖1為SCM內(nèi)存邏輯分區(qū)層次結(jié)構(gòu)示意圖；[0019]圖2為文件系統(tǒng)整體結(jié)構(gòu)示意圖；[0020]圖3為節(jié)點(diǎn)地址樹結(jié)構(gòu)示意圖；[0021]圖4為inode數(shù)據(jù)塊示意圖；[0022]圖5為文件系統(tǒng)目錄使用的多層次散列表。【具體實(shí)施方式】[0023]下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變化和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。[0024]根據(jù)本發(fā)明提供的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，包括如下步驟：[0025]混合內(nèi)存劃分步驟：對混合內(nèi)存進(jìn)行分層次劃分，即劃分為zone、section、Segment、page這四個(gè)不同的邏輯塊，并對四個(gè)邏輯塊進(jìn)行邏輯編號；[0026]其中，Page為內(nèi)存分配的基本單位；對每個(gè)segment的空間使用信息進(jìn)行統(tǒng)計(jì)描述，每個(gè)segment中只存儲(chǔ)數(shù)據(jù)塊或者node塊;根據(jù)每個(gè)segment的空間使用率等信息進(jìn)行存儲(chǔ)空間的分配、回收等操作；[0027]混合內(nèi)存邏輯塊映射步驟:構(gòu)建上層文件系統(tǒng)邏輯塊到底層SCM物理地址的映射，并實(shí)現(xiàn)頁面的動(dòng)態(tài)分配和回收；[0028]具體地，引用一種虛擬內(nèi)存抽象機(jī)制，可以將多個(gè)SCM設(shè)備看成一個(gè)設(shè)備，通過統(tǒng)一的映射表來實(shí)現(xiàn)對多種SCM設(shè)備的訪問。引用了一個(gè)地址空間映射機(jī)制，文件元數(shù)據(jù)結(jié)構(gòu)inode記錄的只是數(shù)據(jù)所在塊的邏輯單位nid，要獲得數(shù)據(jù)的物理地址需要通過NAT樹將nid轉(zhuǎn)化為物理地址。利用這種虛擬技術(shù)實(shí)現(xiàn)上層文件系統(tǒng)邏輯塊到底層SCM物理地址的映射，隱藏實(shí)際底層物理地址空間，簡化文件對象的操作，并實(shí)現(xiàn)頁面的動(dòng)態(tài)分配和回收過程。通過NAT的地址映射機(jī)制，物理地址的改變只需修改映射層內(nèi)容，不需修改上層文件系統(tǒng)的邏輯地址，簡化文件系統(tǒng)的修改過程，提高文件系統(tǒng)的可用性。[0029]多層次散列表構(gòu)建步驟:采用多個(gè)散列表，每個(gè)散列表代表一個(gè)層次。每層次散列表bucket包含的entry可能不同，但同一個(gè)散列表bucket包含的entry數(shù)目是相同的。將文件的目錄層次與散列表的層次對應(yīng)起來，當(dāng)在第n層目錄寫入一個(gè)文件時(shí)，嘗試從第n個(gè)散列表開始映射，當(dāng)?shù)趎個(gè)散列表滿時(shí)，再嘗試映射到第n+1個(gè)散列表。重復(fù)此步驟，直到插入成功。[0030]使用多層次散列表對文件進(jìn)行查找，減少時(shí)間復(fù)雜度，提高文件查找效率。[0031]具體地，如圖1所示，對SCM內(nèi)存進(jìn)行邏輯分區(qū)，把整個(gè)內(nèi)存劃分為四層，依次為zone、section、segment、page四層。一個(gè)內(nèi)存塊中可以包含多個(gè)zone;-個(gè)zone包含2*nl個(gè)物理地址連續(xù)的section;-個(gè)section包含2*n2個(gè)物理地址連續(xù)的segment;-個(gè)segment包含多個(gè)物理地址空間連續(xù)的page;page是內(nèi)存存儲(chǔ)空間分配的基本單位，nl、n2為正整數(shù)。[0032]以內(nèi)存為1TB大小的SCM為例，一個(gè)文件最小分得一個(gè)page大小的存儲(chǔ)空間，那么整個(gè)SCM上的最大文件數(shù)目為1TB/4KB=228。假設(shè)描述一個(gè)文件所需要的元數(shù)據(jù)大小為256字節(jié)，所有文件的元數(shù)據(jù)需要的最大存儲(chǔ)空間為256字節(jié)*228=64GB。[0033]在文件系統(tǒng)中需要經(jīng)常訪問這些元數(shù)據(jù)，一方面對訪問元數(shù)據(jù)的響應(yīng)時(shí)間要求較高，另一方面頻繁讀寫會(huì)減少SCM的使用壽命。DRAM支持隨機(jī)讀寫，速度比SCM要快并且壽命比SCM長。當(dāng)在掛載文件系統(tǒng)時(shí)，將元數(shù)據(jù)復(fù)制到DRAM中；在系統(tǒng)運(yùn)行時(shí)，直接讀寫DRAM中的數(shù)據(jù)，并每隔一定周期就DRAM的數(shù)據(jù)同步到SCM中。[0034]如圖2,文件系統(tǒng)整體結(jié)構(gòu)，其中文件系統(tǒng)的元數(shù)據(jù)包括:超級塊（superblock,SB)、段信息表（segmentinformationtable，SIT)、段統(tǒng)計(jì)區(qū)（segmentsummaryarea，SSA)、節(jié)點(diǎn)地址樹(NodeAddressTree,NAT)，通過這些信息可以描述SCM內(nèi)存的整體使用狀態(tài)。[0035]超級塊位于文件系統(tǒng)的開始位置，包含了文件系統(tǒng)的所有基本信息，包括系統(tǒng)已用空間，段的總數(shù)量，塊的總數(shù)量，檢查點(diǎn)列表等。[0036]SIT包含每個(gè)segment的文件信息，如segment的正在使用的內(nèi)存塊數(shù)、記錄內(nèi)存塊是否正在被使用的位圖。[0037]SSA記錄了塊的擁有者信息如父節(jié)點(diǎn)inode和它在父節(jié)點(diǎn)的偏移量。[0038]節(jié)點(diǎn)地址樹(NodeAddressTree,NAT)將nid轉(zhuǎn)換為塊物理地址。節(jié)點(diǎn)地址樹固定使用4層的樹結(jié)構(gòu)，葉子節(jié)點(diǎn)存儲(chǔ)nid對應(yīng)的塊物理地址。[0039]引用了一個(gè)地址空間映射機(jī)制，inode記錄的只是數(shù)據(jù)所在塊的邏輯單位nid，要獲得數(shù)據(jù)的物理地址需要通過NAT樹將nid轉(zhuǎn)化為物理地址。[0040]如圖3節(jié)點(diǎn)地址樹所示，NAT的查找方式如下：[0041]假設(shè)nid是36位的整數(shù)，用（nid?27)&0xlFF進(jìn)行對NAT的第一層尋址，用（nid>>18)&0xlFF進(jìn)行對NAT的第二層尋址，用(nid?9)&0xlFF進(jìn)行對NAT的第三層尋址，用(nid)&OxlFF進(jìn)行對NAT的第四層尋址得到葉子節(jié)點(diǎn)，讀取葉子節(jié)點(diǎn)的內(nèi)容即可得到nid對于的物理地址。[0042]利用這種虛擬技術(shù)實(shí)現(xiàn)上層文件系統(tǒng)邏輯塊到底層SCM物理地址的映射，隱藏實(shí)際底層物理地址空間，簡化文件對象的操作，并實(shí)現(xiàn)頁面的動(dòng)態(tài)分配和回收過程。通過NAT的地址映射機(jī)制，物理地址的改變只需修改映射層內(nèi)容，不需修改上層文件系統(tǒng)的邏輯地址，簡化文件系統(tǒng)的操作過程，提高文件系統(tǒng)的可用性。[0043]在SCM中存儲(chǔ)數(shù)據(jù)信息，由于SCM的使用壽命與寫的次數(shù)有關(guān)，均勻?qū)懣梢匝娱LSCM的使用壽命，所以文件系統(tǒng)采用log-structured結(jié)構(gòu)對SCM通過C0W(copyonwirte)的方式順序?qū)?。?dāng)需要修改某一塊數(shù)據(jù)時(shí)，不在原地進(jìn)行修改，而是把原來的塊讀入DRAM中完成修改后，把修改后的塊寫入到新的SCM塊中。[0044]每個(gè)segment中只存儲(chǔ)數(shù)據(jù)塊或者node塊。[0045]數(shù)據(jù)塊儲(chǔ)存用戶數(shù)據(jù)，node塊存儲(chǔ)文件系統(tǒng)內(nèi)部信息，如指針表。[0046]在系統(tǒng)中有6種node類型：inode、directnode、indirectnode、natnode、checkpointnode。每種類型node塊的大小都是4KB。inode存儲(chǔ)文件節(jié)點(diǎn)信息，directnode存儲(chǔ)指向數(shù)據(jù)塊的指針，indirectnode存儲(chǔ)指向directnode的指針，natnode存儲(chǔ)nat樹節(jié)點(diǎn)信息。checkpointnode存儲(chǔ)檢查點(diǎn)信息。一個(gè)node是由inode元數(shù)據(jù)，929個(gè)數(shù)據(jù)塊指針，2個(gè)一次間接塊指針，2個(gè)二次間接塊指針，1個(gè)三次間接塊指針組成。如圖4inode數(shù)據(jù)塊示意圖所示。一個(gè)目錄項(xiàng)占據(jù)11個(gè)字節(jié)，包括文件名稱的hash值、inode編號、文件名長度、文件類型四部分信息。一個(gè)目錄塊包含214個(gè)目錄項(xiàng)和文件名，并且含有一個(gè)位圖用來記錄相應(yīng)的目錄項(xiàng)是否有效。在目錄結(jié)構(gòu)的實(shí)現(xiàn)中，引入了多層次的hash表，如圖5文件系統(tǒng)目錄使用的多層次散列表所示。每個(gè)bucket的塊的個(gè)數(shù)的計(jì)算公式為f(n):[0048]每個(gè)層次的bucket個(gè)數(shù)為g(n，dirlevel):[0050]式中：n表示hash層數(shù)，dirlevel表示目錄所在的層數(shù)，N表示hash的總層數(shù)。[0051]當(dāng)文件系統(tǒng)在目錄中查找文件名時(shí)，要首先計(jì)算文件名的hash值，接著文件系統(tǒng)從第〇層開始查找包含該文件名的目錄項(xiàng)。如果沒有找到，系統(tǒng)會(huì)查找下一層的hash表。在每一層的hash表中，只需搜索一個(gè)bucket。要搜索的bufcket序號h(n)由以下公式給定：[0052]h(n)=Hash(filename)%g(n,dirlevel)[0053]Hash(filename)是文件名的hash值，g(n,dirlevel)是第n+dirlevel層的bucket個(gè)數(shù)。[0054]以上對本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變化或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。在不沖突的情況下，本申請的實(shí)施例和實(shí)施例中的特征可以任意相互組合?！局鳈?quán)項(xiàng)】1.一種日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，包括如下步驟：混合內(nèi)存劃分步驟:對文件系統(tǒng)的混合內(nèi)存進(jìn)行分層次劃分，即劃分為Z〇ne、secti〇n、Segment、page這四個(gè)不同的邏輯塊，并對四個(gè)邏輯塊進(jìn)行邏輯編號；混合內(nèi)存邏輯塊映射步驟:構(gòu)建文件系統(tǒng)邏輯塊到底層SCM物理地址的映射，并實(shí)現(xiàn)頁面的動(dòng)態(tài)分配和回收；多層次散列表構(gòu)建步驟:構(gòu)建多層次的基于散列表的目錄結(jié)構(gòu)，用于進(jìn)行文件查找。2.根據(jù)權(quán)利要求1所述的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，所述混合內(nèi)存劃分步驟中將文件系統(tǒng)的混合內(nèi)存劃分為四層，具體地，一個(gè)文件系統(tǒng)的混合內(nèi)存包含多個(gè)zone;-個(gè)zone包含2*nl個(gè)物理地址連續(xù)的section;-個(gè)section包含2*n2個(gè)物理地址連續(xù)的segment;-個(gè)segment包含多個(gè)物理地址空間連續(xù)的page;page是內(nèi)存存儲(chǔ)空間分配的基本單位，nl、n2為正整數(shù)。3.根據(jù)權(quán)利要求1所述的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，還包括順序?qū)懖襟E:采用log-structured結(jié)構(gòu)和寫時(shí)復(fù)制技術(shù)對異構(gòu)混合內(nèi)存進(jìn)行順序?qū)懖僮?具體地，當(dāng)需要修改某一塊數(shù)據(jù)時(shí)，不在原地進(jìn)行修改，而是將原來的塊數(shù)據(jù)讀入DRAM中完成修改后，把修改后的數(shù)據(jù)塊寫入到新的SCM塊中。4.根據(jù)權(quán)利要求1所述的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，所述混合內(nèi)存邏輯塊映射步驟中，采用節(jié)點(diǎn)地址樹將內(nèi)存的邏輯編號與底層SCM物理地址進(jìn)行映射。5.根據(jù)權(quán)利要求1所述的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，頁面的動(dòng)態(tài)分配和回收是指:預(yù)分配一個(gè)邏輯編號到底層SCM物理地址的映射表，當(dāng)文件系統(tǒng)需要分配存儲(chǔ)單元存儲(chǔ)數(shù)據(jù)時(shí)，將分配到的實(shí)際物理地址填入映射表的一個(gè)表項(xiàng)；當(dāng)要釋放頁面時(shí)，只需將相應(yīng)的映射表項(xiàng)標(biāo)記為失效，通過映射表管理底層SCM的頁面的分配和回收。6.根據(jù)權(quán)利要求1所述的日志型異構(gòu)混合內(nèi)存文件系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，所述多層次散列表構(gòu)建步驟包括:采用多個(gè)散列表，每個(gè)散列表代表一個(gè)層次，每層次散列表bucket包含的entry存在不同，但同一個(gè)散列表bucket包含的entry數(shù)目相同的；將文件的目錄層次與散列表的層次對應(yīng)起來，當(dāng)在第η層目錄寫入一個(gè)文件時(shí)，嘗試從第η個(gè)散列表開始映射，當(dāng)?shù)讦莻€(gè)散列表滿時(shí)，再嘗試映射到第η+1個(gè)散列表，進(jìn)行η的自增，直到映射成功?！疚臋n編號】G06F12/02GK105930356SQ201610218095【公開日】2016年9月7日【申請日】2016年4月8日【發(fā)明人】黃林鵬,朱燕民,沈艷艷,梅宏,劉昊,王振杰【申請人】上海交通大學(xué)