本發(fā)明屬于機器人動作預測，涉及一種利用位移矢量牽引并融合歷史信息的機器人動作預測方法。

背景技術：

1、近年來，人工智能大模型發(fā)展迅速，并應用到機器人等許多領域中，然而現(xiàn)有的基于人工智能大模型的機器人動作預測方法尚未成熟，存在著諸多問題。

2、現(xiàn)有最先進的技術之一的斯坦福大學的機器人動作分塊生成式模型(act)，該端到端的機器人任務學習大模型任務綜合成功率較低，并且在任務執(zhí)行過程中沒有歷史信息記憶功能，僅依靠當前幀判斷和預測之后的動作序列，如果操作移動過程中目標物體受到遮擋則無法完成繼續(xù)完成任務，而現(xiàn)有的利用歷史信息的bet算法僅使用了圖像信息，對于當前環(huán)境狀態(tài)描述不足。

3、為了解決這一問題，涉及到端到端的自動駕駛模型當中的模仿問題的阻礙，如果直接將歷史信息加入到transformer主干模型當中，容易造成模型性能大幅度下降，端到端的機器人任務執(zhí)行大模型會習慣性的依據(jù)先前幀的狀態(tài)來預測之后幀的狀態(tài)，如果在任務執(zhí)行的過程中具有一定的停留，機器人在模型推理和預測的過程中會出現(xiàn)在任務執(zhí)行過程中卡住不動的現(xiàn)象，因為其懶惰的學習到了這一策略，而不去執(zhí)行對的真實操作，而不去處理突發(fā)或者改變環(huán)境之后的情況，造成機械臂處于一個固定的位置不改變姿態(tài)。

技術實現(xiàn)思路

1、本發(fā)明提供一種利用位移矢量牽引并融合歷史信息的機器人動作預測方法，解決現(xiàn)有模型沒有使用歷史信息或僅使用歷史圖像信息，使得模型在面對某些情況輸入下，可能使得機器人預測的動作變化在一個很小的范圍內(nèi)，機器人卡住不動的問題。

2、本發(fā)明提供一種利用位移矢量牽引并融合歷史信息的機器人動作預測方法，包括：

3、步驟1：在仿真環(huán)境中收集訓練數(shù)據(jù)，包括機械臂所執(zhí)行任務的文本描述，機械臂末端和頭部的灰度圖像；

4、步驟2：使用多模態(tài)融合編碼器進行文本描述和灰度圖像的多模態(tài)融合編碼，輸出多模態(tài)融合編碼信息；

5、步驟3：采用歷史信息編碼器對多模態(tài)融合編碼信息和歷史關節(jié)姿態(tài)信息進行編碼獲得歷史編碼信息；

6、步驟4：計算關節(jié)位移矢量和末端執(zhí)行器位移矢量；

7、步驟5：將多模態(tài)融合編碼信息、關節(jié)位移矢量、末端執(zhí)行器位移矢量、機器人關節(jié)姿態(tài)信息、末端執(zhí)行器位姿及歷史編碼信息輸入transformer架構中，采用act中動作分塊和時間集成技術，預測機器人未來多個時刻的末端位姿，并通過逆運動學換算得到未來多個時刻機器人關節(jié)角度。

8、本發(fā)明的一種利用位移矢量牽引并融合歷史信息的機器人動作預測方法，具有以下有益效果：

9、本發(fā)明通過在仿真環(huán)境中收集訓練數(shù)據(jù)，并使用多模態(tài)融合編碼器生成多模態(tài)融合編碼信息。同時，使用歷史信息編碼器進行編碼獲得歷史編碼信息。并將歷史編碼信息、歷史多模態(tài)融合編碼信息以及關節(jié)位移矢量和末端執(zhí)行器位移矢量輸入transformer架構中，采用act中動作分塊和時間集成技術，預測機器人未來多個時刻的末端位姿，并通過逆運動學換算得到未來多個時刻機器人關節(jié)角度，提高了任務成功率，同時解決了機器人卡住不動的問題。

技術特征：

1.利用位移矢量牽引并融合歷史信息的機器人動作預測方法，其特征在于，包括：

2.如權利要求1所述的利用位移矢量牽引并融合歷史信息的機器人動作預測方法，其特征在于，所述步驟2具體為：

3.如權利要求1所述的利用位移矢量牽引并融合歷史信息的機器人動作預測方法，其特征在于，所述步驟3具體為：

4.如權利要求1所述的利用位移矢量牽引并融合歷史信息的機器人動作預測方法，其特征在于，所述步驟4具體為：

5.如權利要求1所述的利用位移矢量牽引并融合歷史信息的機器人動作預測方法，其特征在于，所述步驟5具體為：

6.如權利要求5所述的利用位移矢量牽引并融合歷史信息的機器人動作預測方法，其特征在于，所述步驟5.2具體為：

技術總結(jié)
本發(fā)明的公開一種利用位移矢量牽引并融合歷史信息的機器人動作預測方法，包括：在仿真環(huán)境中收集訓練數(shù)據(jù)，包括機械臂所執(zhí)行任務的文本描述，機械臂末端和頭部的灰度圖像；使用多模態(tài)融合編碼器進行文本描述和灰度圖像的多模態(tài)融合編碼，輸出多模態(tài)融合編碼信息；采用歷史信息編碼器對多模態(tài)融合編碼信息和歷史關節(jié)姿態(tài)信息進行編碼獲得歷史編碼信息；計算關節(jié)位移矢量和末端執(zhí)行器位移矢量；將多模態(tài)融合編碼信息、位移矢量、機器人關節(jié)姿態(tài)信息、末端執(zhí)行器位姿及歷史編碼信息輸入transformer架構中，采用ACT中動作分塊和時間集成技術，預測機器人未來多個時刻的末端位姿，并通過逆運動學換算得到未來多個時刻機器人關節(jié)角度。

技術研發(fā)人員：馬曉光,謝俊,林煥旭,梁文生
受保護的技術使用者：東北大學佛山研究生創(chuàng)新學院
技術研發(fā)日：
技術公布日：2025/5/8