一種基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入及讀取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息存儲(chǔ)技術(shù)領(lǐng)域，具體地說(shuō)，本發(fā)明涉及一種基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)讀取及寫(xiě)入方法。
【背景技術(shù)】
[0002]學(xué)術(shù)研宄中的原型系統(tǒng)和市場(chǎng)上的工業(yè)存儲(chǔ)產(chǎn)品中，存在許多異構(gòu)混合存儲(chǔ)設(shè)備，例如Flash Cache和Hystor設(shè)備，它們都是SSD(Solid State Drive，固態(tài)硬盤(pán)驅(qū)動(dòng)器)和HDD (Hard Disk Drive，硬盤(pán)驅(qū)動(dòng)器)的異構(gòu)混合存儲(chǔ)設(shè)備?，F(xiàn)有技術(shù)的SSD和HDD的異構(gòu)混合存儲(chǔ)設(shè)備中，通常將SSD作為HDD的讀緩存或讀寫(xiě)緩存，理論上說(shuō)，這種讀緩存或讀寫(xiě)緩存機(jī)制能夠顯著提升異構(gòu)混合存儲(chǔ)設(shè)備的讀性能或讀寫(xiě)性能，然而，在實(shí)際使用時(shí)發(fā)現(xiàn)，上述緩存機(jī)制對(duì)讀性能或讀寫(xiě)性能的提升十分有限，因此有必要對(duì)基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)讀取及寫(xiě)入方法進(jìn)行優(yōu)化，以進(jìn)一步提高異構(gòu)混合存儲(chǔ)設(shè)備的讀寫(xiě)性能。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的任務(wù)是提供一種能夠提高數(shù)據(jù)讀寫(xiě)性能的基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入及讀取方法。
[0004]本發(fā)明提供了一種基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入方法，所述異構(gòu)混合存儲(chǔ)設(shè)備包括SSD磁盤(pán)陣列和HDD磁盤(pán)陣列，所述數(shù)據(jù)寫(xiě)入方法包括下列步驟:
[0005]I)按照當(dāng)前的拆分比例將要寫(xiě)入的對(duì)象拆分為A和B兩部分；
[0006]2)將A部分寫(xiě)入SSD磁盤(pán)陣列，將A部分和B部分寫(xiě)入HDD磁盤(pán)陣列；
[0007]3)根據(jù)SSD磁盤(pán)陣列和HDD磁盤(pán)陣列的滿帶寬比，以及SSD磁盤(pán)陣列當(dāng)前的剩余容量，動(dòng)態(tài)調(diào)整所述拆分比例，然后返回步驟I)等待下一個(gè)要寫(xiě)入的對(duì)象。
[0008]其中，所述步驟I)中，所述拆分比例的初始默認(rèn)值為SSD磁盤(pán)陣列和HDD磁盤(pán)陣列的滿帶寬比。
[0009]其中，所述步驟I)之前，根據(jù)要寫(xiě)入對(duì)象的數(shù)據(jù)尺寸識(shí)別其是否為大對(duì)象，僅對(duì)所述大對(duì)象執(zhí)行所述步驟I)、2)、3)。
[0010]其中，所述步驟2)還包括:用多線程并發(fā)地向SSD磁盤(pán)陣列和HDD磁盤(pán)陣列寫(xiě)入相應(yīng)的數(shù)據(jù)。
[0011]其中，所述步驟3)包括下列子步驟:
[0012]31)如果當(dāng)前拆分比例為所述SSD磁盤(pán)陣列和HDD磁盤(pán)陣列的滿帶寬比，則判別SSD磁盤(pán)陣列當(dāng)前的剩余容量是否小于預(yù)先設(shè)定的最小閾值，如果判斷為是，則將拆分比例設(shè)置為小于所述SSD磁盤(pán)陣列和HDD磁盤(pán)陣列的滿帶寬比的第二比例，否則，拆分比例維持不變。
[0013]32)如果當(dāng)前拆分比例為所述第二比例，則判別SSD磁盤(pán)陣列當(dāng)前的剩余容量是否大于預(yù)先設(shè)定的最大閾值，如果判斷為是，則將拆分比例恢復(fù)為所述SSD磁盤(pán)陣列和HDD磁盤(pán)陣列的滿帶寬比，否則，拆分比例維持不變。
[0014]其中，所述拆分比例具有N個(gè)級(jí)別，對(duì)于每個(gè)級(jí)別，設(shè)置一個(gè)該級(jí)別的最大閾值和一個(gè)該級(jí)別的最小閾值；
[0015]所述步驟3)包括下列子步驟:
[0016]3a)確定當(dāng)前拆分比例所在的級(jí)別，找到該級(jí)別的最大閾值和最小閾值；
[0017]3b)判別SSD磁盤(pán)陣列當(dāng)前的剩余容量是否大于當(dāng)前級(jí)別的最大閾值，如果判斷為是，則將拆分比例提升一個(gè)級(jí)別，即將拆分比例提高，否則，進(jìn)入步驟3c);
[0018]3c)判別SSD磁盤(pán)陣列當(dāng)前的剩余容量是否小于當(dāng)前級(jí)別的最小閾值，如果判斷為是，則將拆分比例降低一個(gè)級(jí)別，即將拆分比例降低，否則，拆分比例維持不變；步驟3c)結(jié)束后，返回步驟I)等待下一個(gè)要寫(xiě)入的大對(duì)象。
[0019]其中，所述的基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入方法還包括:當(dāng)SSD磁盤(pán)陣列磁盤(pán)容量不足時(shí)觸發(fā)數(shù)據(jù)淘汰操作，通過(guò)直接刪除SSD磁盤(pán)陣列中各對(duì)象的A部分來(lái)完成所述數(shù)據(jù)淘汰操作。
[0020]其中，所述步驟I)中，對(duì)大對(duì)象的key的頭部加read_once標(biāo)識(shí)，對(duì)于具有read-once表示標(biāo)識(shí)的對(duì)象，在該對(duì)象的A部分從SSD磁盤(pán)陣列讀取一次后，直接觸發(fā)所述數(shù)據(jù)淘汰操作。
[0021]本發(fā)明還提供了基于上述數(shù)據(jù)寫(xiě)入方法的數(shù)據(jù)讀取方法，包括下列步驟:
[0022]41)對(duì)于當(dāng)前所要讀取的大對(duì)象，并發(fā)地從SSD磁盤(pán)陣列讀取該大對(duì)象的A部分，從HDD磁盤(pán)陣列讀取該大對(duì)象的B部分；
[0023]42)將A部分和B部分拼接成完整的所要讀取的對(duì)象。
[0024]與現(xiàn)有技術(shù)相比，本發(fā)明具有下列技術(shù)效果:
[0025]1、本發(fā)明能夠進(jìn)一步提升異構(gòu)混合存儲(chǔ)設(shè)備中讀取大對(duì)象的速度。
[0026]2、本發(fā)明能夠避免SSD中數(shù)據(jù)淘汰過(guò)程所造成的阻塞，顯著提升數(shù)據(jù)讀寫(xiě)的用戶體驗(yàn)。
[0027]3、本發(fā)明能夠避免SSD頻繁出現(xiàn)容量不足的現(xiàn)象，從而提升用戶體驗(yàn)。
【附圖說(shuō)明】
[0028]以下，結(jié)合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例，其中:
[0029]圖1示出了本發(fā)明一個(gè)實(shí)施例實(shí)現(xiàn)數(shù)據(jù)讀寫(xiě)的原理示意圖；
[0030]圖2示出了本發(fā)明一個(gè)實(shí)施例的異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入流程圖；
[0031]圖3示出了本發(fā)明一個(gè)實(shí)施例的異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)讀取流程圖。
【具體實(shí)施方式】
[0032]如前文所述，現(xiàn)有的將SSD作為HDD緩存的機(jī)制在實(shí)際使用時(shí)對(duì)讀性能或讀寫(xiě)性能的提升十分有限，遠(yuǎn)遠(yuǎn)達(dá)不到理論水平。本案發(fā)明人對(duì)此進(jìn)行了深入研宄，發(fā)現(xiàn)在實(shí)際的SSD和HDD的異構(gòu)混合存儲(chǔ)設(shè)備中，如果將SSD作為讀緩存，SSD因容量較小經(jīng)常需要進(jìn)行緩存淘汰，而緩存淘汰時(shí)需要從SSD中讀出數(shù)據(jù)再將這些數(shù)據(jù)刷至HDD中，在向HDD中flush的過(guò)程會(huì)和用戶的讀操作爭(zhēng)用讀帶寬，從而影響讀性能。如果異構(gòu)混合存儲(chǔ)設(shè)備將SSD同時(shí)作為讀寫(xiě)緩存時(shí)，則當(dāng)SSD空間接近滿的時(shí)候，前端需要等待SSD將某些數(shù)據(jù)淘汰至HDD騰出空間后再寫(xiě)入，由于成功寫(xiě)入HDD才算做淘汰成功并釋放SSD空間，而寫(xiě)入HDD的操作比較耗時(shí)，因此影響前端讀寫(xiě)性能。而在異構(gòu)混合存儲(chǔ)設(shè)備的實(shí)際使用過(guò)程中，外部數(shù)據(jù)寫(xiě)入的速度時(shí)常會(huì)大于SSD緩存中的數(shù)據(jù)淘汰速度，導(dǎo)致阻塞，嚴(yán)重影響用戶體驗(yàn)。
[0033]另一方面，SSD的讀寫(xiě)性能雖然優(yōu)于HDD，但二者仍在一個(gè)數(shù)量級(jí)上，現(xiàn)有的異構(gòu)混合存儲(chǔ)設(shè)備讀寫(xiě)機(jī)制中，讀操作在SSD命中則從SSD中讀，未命中則從HDD讀。假設(shè)能夠并發(fā)地利用SSD和HDD的帶寬，同時(shí)讀取同一對(duì)象，則能夠進(jìn)一步提高異構(gòu)混合存儲(chǔ)設(shè)備讀取速度。
[0034]基于上述分析，根據(jù)本發(fā)明的一個(gè)實(shí)施例，提出了一種基于異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入及相應(yīng)的數(shù)據(jù)讀取方法。首先，本實(shí)施例中的異構(gòu)混合存儲(chǔ)設(shè)備包括SSD raid(即SSD磁盤(pán)陣列)和HDD raid (HDD磁盤(pán)陣列)，為便于描述，本文中將SSD raid簡(jiǎn)稱(chēng)為SSD，將HDD raid簡(jiǎn)稱(chēng)為HDD。其次，大對(duì)象的讀寫(xiě)是造成讀寫(xiě)性能瓶頸的主要原因，因此，本實(shí)施例專(zhuān)門(mén)針對(duì)大對(duì)象進(jìn)行讀寫(xiě)機(jī)制的優(yōu)化。大對(duì)象根據(jù)對(duì)象的尺寸劃分，例如可將MB級(jí)別以上的對(duì)象作為大對(duì)象。劃分大對(duì)象的標(biāo)準(zhǔn)并不是唯一的，這是本領(lǐng)域技術(shù)人員易于理解的。
[0035]圖1示出了本實(shí)施例實(shí)現(xiàn)數(shù)據(jù)讀寫(xiě)的原理示意圖。參考圖1，在需要寫(xiě)入一個(gè)大對(duì)象時(shí)，按照一定的拆分比例將該大對(duì)象拆成兩部分，這兩部分以下稱(chēng)之為A和B。寫(xiě)入時(shí)，并發(fā)地將A寫(xiě)入SSD，將AB (即全部信息)寫(xiě)入HDD。讀數(shù)據(jù)時(shí)，并發(fā)地從SSD讀A，從HDD讀B，由于增加了數(shù)據(jù)讀取的并行性，因此進(jìn)一步提高讀性能。而在淘汰數(shù)據(jù)時(shí)，由于全部信息均已寫(xiě)入HDD，所以SSD中可以直接刪除要淘汰的數(shù)據(jù)，從而避免了外部數(shù)據(jù)寫(xiě)入的速度大于SSD緩存中的數(shù)據(jù)淘汰速度而造成的阻塞，改善了用戶體驗(yàn)。本實(shí)施例中，拆分比例根據(jù)SSD raid和HDD raid的滿帶寬比，以及SSD的剩余容量動(dòng)態(tài)調(diào)整，例如初始時(shí)，SSD的剩余容量充足，采用SSD raid和HDD raid的滿帶寬比作為拆分比例，這樣可以最大程度地提升大對(duì)象的讀取速度。而當(dāng)SSD的剩余容量較小時(shí)，可以將拆分比例降低，以減少因SSD容量不足造成的數(shù)據(jù)淘汰。
[0036]進(jìn)一步地，圖2示出了本發(fā)明一個(gè)實(shí)施例的異構(gòu)混合存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入流程圖，包括下列步驟:
[0037]步驟21:對(duì)于要寫(xiě)入的大對(duì)象，按照當(dāng)前拆分比例將該大對(duì)象拆分為A和B兩部分。初始時(shí)，默認(rèn)的拆分比例為SSD raid和HDD raid的滿帶寬比。
[0038]步驟22:將A部分寫(xiě)入SSD，將A部分和B部分寫(xiě)入HDD。根據(jù)本發(fā)明的一個(gè)實(shí)施例，本步驟中可以啟