本技術涉及云，特別是涉及數據處理方法及其相關設備。

背景技術：

1、鑒于存儲集群具備高擴展性、高可用性和數據強一致性，使其應用范圍與規(guī)模持續(xù)快速增長。為了提升可靠性，存儲集群已不再做本地寫入操作，即寫入和讀出均產生網絡流量。這樣，存儲集群消耗網絡帶寬顯著增加，因此，網絡帶寬的增加引起的網絡性能也成為決定存儲集群性能的關鍵。

2、存儲集群的架構包括多個通過聚合層交換機psw通信連接的存儲機架，存儲機架包括接入層交換機asw、數據轉發(fā)器、存儲服務器等。其中，數據轉發(fā)器如采用cxl協(xié)議對存儲服務器進行互聯(lián)的cxl轉發(fā)器，cxl協(xié)議的全稱為compute?express?link，是一種多協(xié)議的互聯(lián)技術總線，提供了類似pcie的cxl.io協(xié)議，cxl協(xié)議作為新興互聯(lián)，具備了緩存一致性、簡捷、高速等優(yōu)點，為實現(xiàn)資源池化提供了便利。

3、待處理數據依序通過聚合層交換機psw、接入層交換機asw、數據轉發(fā)器傳輸到存儲集群中的某臺存儲服務器(例如，存儲機架x的存儲服務器i，標記為存儲服務器xi)。存儲服務器xi將接收到的待處理數據做ec編碼產生冗余數據。其中，ec全名為糾刪碼erasurecode，糾刪碼能夠以更小的數據冗余獲得更高數據可靠性，糾刪碼作為一種編碼技術，它可以將k份原始的待處理數據增加m份數據(m份數據即為產生的冗余數據)，并能通過k+m份中的任一k份數據還原為原始數據。存儲集群采用糾刪碼對數據進行存儲能夠提高存儲可靠性。存儲服務器xi產生冗余數據后，將冗余數據和待處理數據拼接構成一個碼字codeword，碼字code?word上傳至數據轉發(fā)器，由數據轉發(fā)器將碼字code?word切割為多個數據片段后，將數據片段發(fā)送到另外多臺存儲服務器上進行存儲。上述過程中，待處理數據在從存儲服務器xi到數據轉發(fā)器間在短時間內會被傳輸多次，相同數據反復開銷傳輸帶寬，增加了網絡帶寬的消耗。

技術實現(xiàn)思路

1、本發(fā)明實施例提供的數據處理方法及其相關設備，至少解決存儲集群中相同數據反復開銷傳輸帶寬的問題。

2、根據本發(fā)明的一個方面，提供了一種數據處理方法，所述方法應用于存儲集群，所述存儲集群包括多個存儲機架，所述存儲機架包括數據轉發(fā)器和多個存儲服務器，多個所述存儲服務器通過所述數據轉發(fā)器進行互聯(lián)，所述方法包括：

3、在數據轉發(fā)器中預設的緩存空間內緩存待處理數據，并通過所述數據轉發(fā)器將所述待處理數據發(fā)送至存儲集群中的第一存儲服務器；

4、通過所述第一存儲服務器采用糾刪碼對所述待處理數據進行編碼處理獲得冗余數據，并將所述冗余數據傳輸至所述數據轉發(fā)器；

5、通過所述數據轉發(fā)器將所述待處理數據與所述冗余數據進行拼接處理獲得拼接數據，并將所述拼接數據切分為多個數據分片后，將所述數據分片分別轉發(fā)至所述存儲集群中的第二存儲服務器，以通過所述第二存儲服務器基于預定的存儲操作對所述數據分片進行存儲。

6、在其中的一些實施例中，在數據轉發(fā)器中預設的緩存空間內緩存待處理數據之前，所述方法還包括：

7、將所述待處理數據分割成多個原始數據塊后緩存于所述緩存空間，以通過所述數據轉發(fā)器將多個所述原始數據塊發(fā)送至所述第一存儲服務器；

8、則，通過所述第一存儲服務器采用糾刪碼對所述待處理數據進行編碼處理的步驟包括：

9、通過所述第一存儲服務器采用所述糾刪碼對多個所述原始數據塊進行編碼處理獲得所述冗余數據。

10、在其中的一些實施例中，所述存儲操作包括日志存儲和下刷存儲，所述存儲服務器設置有用于進行日志存儲的日志存儲空間和用于進行下刷存儲的下刷存儲空間，通過所述第二存儲服務器基于預定的存儲操作對所述數據分片進行存儲的步驟包括：

11、通過所述第二存儲服務器基于所述日志存儲將所述數據分片寫入所述日志存儲空間，并在通過所述第二存儲服務器或另外一個所述第二存儲服務器基于所述下刷存儲將所述數據分片寫入所述下刷存儲空間后，將所述日志存儲空間中的所述數據分片刪除。

12、在其中的一些實施例中，所述存儲操作包括下刷存儲時，通過所述第一存儲服務器采用糾刪碼對所述待處理數據進行編碼處理的步驟還包括：

13、通過所述第一存儲服務器對所述待處理數據和另外一個或多個待處理數據進行交叉組合獲得多個組合數據塊后，采用所述糾刪碼對所述組合數據塊進行編碼處理獲得所述冗余數據，其中，所述組合數據塊包括多個所述原始數據塊，不同的所述原始數據塊屬于不同的所述待處理數據。

14、在其中的一些實施例中，在數據轉發(fā)器中預設的緩存空間內緩存待處理數據時，所述方法還包括：

15、確定所述待處理數據在所述緩存空間中的緩存地址，以將所述待處理數據和所述緩存地址均發(fā)送至所述第一存儲服務器；

16、則，所述數據轉發(fā)器將所述待處理數據與所述冗余數據進行拼接處理獲得拼接數據的步驟包括：

17、接收所述第一存儲服務器發(fā)送的所述冗余數據對應的所述緩存地址；

18、基于所述緩存地址確定所述緩存空間中所述冗余數據對應的所述待處理數據，以將所述待處理數據與所述冗余數據進行拼接后獲得所述拼接數據。

19、在其中的一些實施例中，所述數據轉發(fā)器將所述待處理數據與所述冗余數據進行拼接處理獲得拼接數據的步驟還包括：

20、接收所述第一存儲服務器發(fā)送的所述冗余數據對應的多個所述緩存地址，其中，不同的所述緩存地址屬于不同的所述待處理數據，且所述第一存儲服務器在首次發(fā)送其中一個所述組合數據塊對應的所述冗余數據時發(fā)送多個所述緩存地址；

21、分別基于多個所述緩存地址確定所述緩存空間中所述冗余數據對應的多個所述原始數據塊，以將多個所述原始數據塊與所述冗余數據進行拼接后獲得所述拼接數據。

22、在其中的一些實施例中，通過所述第二存儲服務器基于預定的存儲操作對所述數據分片進行存儲之后，所述方法還包括：

23、將所述數據分片對應的所述待處理數據從所述緩存空間刪除。

24、在其中的一些實施例中，所述下刷存儲空間按預先劃分的存儲塊對所述數據分片進行存儲，所述方法還包括：

25、在任一所述第二存儲服務器的所述下刷存儲空間中的一目標存儲塊存在無效數據時，對所述目標存儲塊進行回收處理，回收處理時，將非無效數據通過所述數據轉發(fā)器傳輸至第三存儲服務器，以將所述非無效數據存儲于在所述第三存儲服務器的目標下刷存儲空間中創(chuàng)建的終止存儲塊，所述無效數據為所述目標存儲塊中被刪除或被更新的所述數據分片，所述第二存儲服務器和所述第三存儲服務器位于同一所述存儲機架內。

26、在其中的一些實施例中，將所述非無效數據存儲于在所述第三存儲服務器的目標下刷存儲空間中創(chuàng)建的終止存儲塊之前，所述方法還包括：

27、將所述非無效數據復制至在所述數據轉發(fā)器中創(chuàng)建的回收緩存空間，以在下一次對另一所述存儲塊進行回收處理時，若另一所述存儲塊中的所述非無效數據存在于所述回收緩存空間，通過所述數據轉發(fā)器將所述非無效數據從所述回收緩存空間轉發(fā)至另一所述終止存儲塊。

28、在其中的一些實施例中，所述回收處理的處理優(yōu)先級低于通過所述數據轉發(fā)器和所述存儲服務器對所述待處理數據進行處理的處理優(yōu)先級。

29、根據本發(fā)明的另一個方面，提供了一種數據處理裝置，所述數據處理裝置用于執(zhí)行所述的數據處理方法。

30、根據本發(fā)明的另一個方面，提供了一種存儲集群，所述存儲集群包括所述的數據處理裝置。

31、根據本發(fā)明的另一個方面，提供了一種電子設備，包括：處理器，以及存儲程序的存儲器，所述程序包括指令，所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行所述的數據處理方法。

32、根據本發(fā)明的另一個方面，提供了一種存儲有計算機指令的非瞬時機器可讀介質，所述計算機指令用于使所述計算機執(zhí)行所述的數據處理方法。

33、本發(fā)明實施例的有益效果：

34、本發(fā)明實施例在通過一存儲服務器采用糾刪碼對待處理數據進行編碼處理之前，將待處理數據緩存于數據轉發(fā)器，存儲服務器完成編碼處理后，由于存儲服務器僅需將編碼獲得的冗余數據傳輸至數據轉發(fā)器，由數據轉發(fā)器對緩存的待處理數據與冗余數據進行拼接并切分下發(fā)存儲，減少了從存儲服務器到數據轉發(fā)器的待處理數據的傳輸次數，減少了網絡帶寬的消耗，提升了存儲集群的服務效能。

35、本發(fā)明的一個或多個實施例的細節(jié)在以下附圖和描述中提出，以使本發(fā)明的其他特征、目的和優(yōu)點更加簡明易懂。