本發(fā)明涉及一種將從交流輸入側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路之后進一步轉(zhuǎn)換為用于電動機的驅(qū)動的交流電力并提供給電動機的電動機控制裝置、用于該電動機控制裝置的機械學習裝置及其方法，特別涉及一種具有在三相交流輸入側(cè)停電時指令電動機進行預(yù)定的保護動作的保護動作控制部的電動機控制裝置、以及用于該電動機控制裝置的機械學習裝置及其方法。

背景技術(shù)：

在機床、鍛壓機、注射成形機、工業(yè)機械或驅(qū)動各種機器人內(nèi)的電動機的電動機控制裝置中，通過整流器將從三相交流輸入側(cè)提供的交流電力一旦轉(zhuǎn)換為直流電力后進一步通過逆變器轉(zhuǎn)換為交流電力，并將該交流電力用作設(shè)置在每個驅(qū)動軸上的電動機的驅(qū)動電力。

在這種電動機控制裝置中，如果在整流器的三相交流輸入側(cè)發(fā)生停電而三相交流輸入電壓下降，則不能夠繼續(xù)進行電動機的正常運行。因此，電動機、驅(qū)動該電動機的電動機控制裝置、與該電動機控制裝置所驅(qū)動的電動機連接的工具、該工具進行加工的加工對象以及具有該電動機控制裝置的生產(chǎn)線等有可能產(chǎn)生破損或變形等任意故障。所以，在整流器的三相交流輸入側(cè)設(shè)置停電檢測部來監(jiān)視整流器的三相交流輸入側(cè)有無發(fā)生停電，在停電檢測部判定為整流器的三相交流輸入側(cè)發(fā)生了停電的情況下，電動機控制裝置需要進行避免上述故障或?qū)⒐收舷拗茷樽钚∠薅鹊谋Ｗo動作。

作為停電檢測方法，例如有日本特開2006-14546號公報所記載的方法，即將整流器的交流電源側(cè)的三相交流輸入電壓進行坐標轉(zhuǎn)換為與其等價的兩相坐標上的電壓向量，通過計算該向量的振幅來計算電源電壓的振幅值，并根據(jù)該振幅值低于預(yù)定的基準電壓值的狀態(tài)持續(xù)了預(yù)定的基準時間來檢測停電。

圖7是表示在停電時進行保護動作的普通電動機控制裝置的框圖。另外，圖7中，表示為了使附圖簡單明了而驅(qū)動一臺電動機104的情況。電動機控制裝置100具備：整流器101，其將來自工業(yè)三相交流電源(以下簡單稱為“交流電源”)103的交流電力轉(zhuǎn)換為直流電力；逆變器102，其與整流器101的直流側(cè)即DC鏈路(直流鏈路)連接，將從整流器101輸出的直流電力轉(zhuǎn)換為作為電動機104的驅(qū)動電力而提供的希望頻率的交流電力，或者將從電動機104再生的交流電力轉(zhuǎn)換為直流電力；以及DC鏈路電容器105，其設(shè)置在DC鏈路上，具有累積直流電力的蓄電功能以及抑制整流器101的直流輸出的脈動量的平滑功能。電動機控制裝置100，作為其控制系統(tǒng)具備通常動作控制部111、停電檢測部112以及保護動作控制部113。通常動作控制部111根據(jù)從逆變器102提供給電動機104的交流電流、施加在DC鏈路電容器105兩端的直流電壓(以下簡單稱為“DC鏈路電壓”)以及從交流電源103提供給整流器101的交流電流，對逆變器102進行控制，使得輸出具有用于驅(qū)動電動機104的希望電壓以及希望頻率的交流電力，或者將電動機104所產(chǎn)生的交流再生電力轉(zhuǎn)換為直流電力。另外，停電檢測部112根據(jù)整流器101的交流電源側(cè)的電源電壓來檢測有無發(fā)生停電，保護動作控制部113在通過停電檢測部112檢測出發(fā)生停電時，對逆變器102通知保護動作指令使得電動機控制裝置100進行保護動作。接受保護動作指令后，逆變器102將DC鏈路電容器105中累積的直流電力轉(zhuǎn)換為各種保護動作所需要的交流電力并輸出，該各種保護動作用于保護具有與電動機104連接的工具、該工具進行加工的加工對象以及電動機控制裝置100的生產(chǎn)線等。

停電發(fā)生時進行的保護動作雖然具有能夠保護具備電動機、電動機控制裝置、工具、加工對象以及該電動機控制裝置的生產(chǎn)線等的優(yōu)點，但是如果一旦執(zhí)行保護動作，則會有由于生產(chǎn)線停止造成發(fā)生經(jīng)濟損失的問題。因此，在發(fā)生了停電時，優(yōu)選將保護動作的執(zhí)行抑制為必要最小限度，以便電動機控制裝置及其周邊設(shè)備(例如控制電源部和冷卻設(shè)備等)在某種程度期間能夠通過DC鏈路電容器的累積能量繼續(xù)通常動作。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于，鑒于以上問題提供一種電動機控制裝置、用于該電動機控制裝置的機械學習裝置及其方法，在交流電源側(cè)發(fā)生停電時，最大限度繼續(xù)通常動作，并將保護動作的執(zhí)行抑制為最小限度。

為了實現(xiàn)上述目的，提供一種學習電動機控制裝置的、與交流電源側(cè)的停電相關(guān)聯(lián)的條件的機械學習裝置，其中，所述電動機控制裝置將從交流電源側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路后進一步轉(zhuǎn)換為用于電動機的驅(qū)動的交流電力并提供給電動機，所述機械學習裝置具備：狀態(tài)觀測部，其觀測狀態(tài)變量，該狀態(tài)變量由與交流電源側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器中累積的能量相關(guān)的數(shù)據(jù)、與針對電動機控制裝置的保護動作是否成功相關(guān)的數(shù)據(jù)、與電動機輸出相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成；以及學習部，其根據(jù)由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集來學習與交流電源側(cè)的停電相關(guān)聯(lián)的條件。

這里，學習部也可以具備：獎賞計算部，其根據(jù)狀態(tài)變量計算獎賞；以及函數(shù)更新部，其根據(jù)獎賞來更新函數(shù)，該函數(shù)用于變更成為交流電源側(cè)是否停電的判斷基準的電源電壓值即停電檢測電平、交流電源側(cè)的電源電壓未滿停電檢測電平的狀態(tài)的持續(xù)時間即停電檢測時間。

另外，獎賞計算部可以在通過狀態(tài)觀測部觀測到的DC鏈路電容器中累積的能量未滿預(yù)定值時增加獎賞，在能量為預(yù)定值以上時減少獎賞。

另外，獎賞計算部可以在通過狀態(tài)觀測部觀測到針對電動機控制裝置的保護動作失敗時減少獎賞。

可以將學習部構(gòu)成為按照針對多個電動機控制裝置所取得的訓(xùn)練數(shù)據(jù)集來學習條件。

另外，具備上述機械學習裝置的電動機控制裝置還具備：意思決定部，其根據(jù)學習部按照訓(xùn)練數(shù)據(jù)集進行學習的結(jié)果，響應(yīng)當前的狀態(tài)變量的輸入，決定停電檢測電平以及停電檢測時間；整流器，其將從交流電源側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路；逆變器，其與DC鏈路連接，將DC鏈路中的直流電力轉(zhuǎn)換為交流電力并提供給電動機；停電檢測部，其在交流電源側(cè)的電源電壓未滿停電檢測電平的狀態(tài)持續(xù)了停電檢測時間的情況下，判定為在交流電源側(cè)發(fā)生了停電；以及保護動作控制部，其在停電檢測部檢測出交流電源側(cè)的停電時，對逆變器輸出保護動作指令使得輸出用于電動機進行預(yù)定的保護動作的電力。

這里，可以將學習部構(gòu)成為按照由當前的狀態(tài)變量構(gòu)成的追加訓(xùn)練數(shù)據(jù)集，來重新學習條件并進行更新。

另外，提供一種學習電動機控制裝置的、與交流電源側(cè)的停電相關(guān)聯(lián)的條件的機械學習方法，其中，所述電動機控制裝置將從交流電源側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路后進一步轉(zhuǎn)換為用于電動機的驅(qū)動的交流電力并提供給電動機，所述機械學習方法具備以下步驟：狀態(tài)觀測步驟，其觀測狀態(tài)變量，該狀態(tài)變量由與交流電源側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器中累積的能量相關(guān)的數(shù)據(jù)、與針對電動機控制裝置的保護動作是否成功相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成；以及學習步驟，其根據(jù)由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集來學習與交流電源側(cè)的停電相關(guān)聯(lián)的條件。

附圖說明

通過參照以下的附圖能夠更加明確地理解本發(fā)明。

圖1是實施例的機械學習裝置的原理框圖。

圖2是表示實施例的機械學習方法的動作原理的流程圖。

圖3是實施例的使用了強化學習的機械學習裝置的原理框圖。

圖4是表示實施例的使用了強化學習的機械學習方法的原理的流程圖。

圖5是表示具備實施例的機械學習裝置的電動機控制裝置的原理框圖。

圖6是表示實施例的使用了強化學習的機械學習裝置的動作流程的流程圖。

圖7是表示停電時進行保護動作的普通電動機控制裝置的框圖。

具體實施方式

以下參照附圖說明具有保護動作控制部的電動機控制裝置、機械學習裝置及其方法。但是希望理解本發(fā)明不限定于附圖或以下所說明的實施方式。

圖1是實施例的機械學習裝置的原理框圖。以后，在不同的附圖中標注相同的參照標記表示是具有相同功能的結(jié)構(gòu)要素。

實施例的機械學習裝置1學習將從交流電源側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路后進一步轉(zhuǎn)換為用于電動機的驅(qū)動的交流電力并提供給電動機的電動機控制裝置的、與交流電源側(cè)的停電相關(guān)聯(lián)的條件。即，機械學習裝置1學習在電動機控制裝置的交流電源側(cè)發(fā)生停電時能夠最大限度繼續(xù)通常動作并將保護動作的執(zhí)行抑制為最小限度的作為與交流電源側(cè)的停電相關(guān)聯(lián)的條件的停電檢測電平以及停電檢測時間。這里，停電檢測電平是成為電動機控制裝置的交流電源側(cè)是否停電的判斷基準的電源電壓的值，停電檢測時間是指電動機控制裝置的交流電源側(cè)的電源電壓未滿停電檢測電平的狀態(tài)的持續(xù)時間。當交流電源側(cè)的電源電壓未滿停電檢測電平的狀態(tài)持續(xù)了停電檢測時間時，判定為“在交流電源側(cè)發(fā)生了停電”。

機械學習裝置1具備狀態(tài)觀測部11和學習部12。

狀態(tài)觀測部11觀測作為訓(xùn)練數(shù)據(jù)集的狀態(tài)變量，該狀態(tài)變量由與交流電源側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器中累積的能量相關(guān)的數(shù)據(jù)、與針對電動機控制裝置的保護動作是否成功相關(guān)的數(shù)據(jù)以及與電動機輸出相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成。

學習部12按照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，來學習作為與交流電源側(cè)的停電相關(guān)聯(lián)的條件的停電檢測電平以及停電檢測時間。另外，也可以從多個電動機控制裝置取得訓(xùn)練數(shù)據(jù)集，這時，學習部12按照針對多個電動機控制裝置所取得的訓(xùn)練數(shù)據(jù)集來學習與電源再生動作相關(guān)聯(lián)的條件。

圖2是表示實施例的機械學習方法的動作原理的流程圖。學習將從交流電源側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路后進一步轉(zhuǎn)換為用于電動機的驅(qū)動的交流電力并提供給電動機的電動機控制裝置的、與交流電源側(cè)的停電相關(guān)聯(lián)的條件的機械學習方法具備狀態(tài)觀測步驟S101和機械學習步驟S102。

通過狀態(tài)觀測部11來執(zhí)行狀態(tài)觀測步驟S101，即觀測狀態(tài)變量，該狀態(tài)變量由與交流電源側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器中累積的能量相關(guān)的數(shù)據(jù)、與針對電動機控制裝置的保護動作是否成功相關(guān)的數(shù)據(jù)以及與電動機輸出相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成。

機械學習步驟S102通過學習部12來執(zhí)行，按照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集來學習與交流電源側(cè)的停電相關(guān)聯(lián)的條件。

學習部12所使用的學習算法可以使用任意的算法。作為一例，說明適用了強化學習(Reinforcement Learning)的情況。強化學習是指由某環(huán)境內(nèi)的代理(行動主體)觀測當前的狀態(tài)并決定應(yīng)該采取的行動。代理通過選擇行動來從環(huán)境得到獎賞，并通過一系列的行動來學習得到最多獎賞的策略。作為強化學習的代表方法知道有Q學習(Q-learning)和TD學習(TD-learning)。例如，通過公式1表示Q學習的情況下的行動價值函數(shù)Q(s，a)的一般更新式(行動價值表)。

在公式1中，s_t表示時刻t的環(huán)境，a_t表示時刻t的行動。環(huán)境通過行動a_t變?yōu)閟_t+1。r_t+1表示根據(jù)該環(huán)境的變化而得到的獎賞(reward)，γ表示折扣率，α表示學習系數(shù)。在適用了Q學習的情況下，停電檢測電平以及停電檢測時間成為行動a_t。

圖3是實施例的使用了強化學習的機械學習裝置的原理框圖。學習部12具備獎賞計算部21和函數(shù)更新部22。獎賞計算部21根據(jù)狀態(tài)變量計算獎賞。函數(shù)更新部22根據(jù)獎賞來更新函數(shù)，該函數(shù)用于變更成為交流電源側(cè)是否停電的判斷基準的電源電壓值即停電檢測電平、交流電源側(cè)的電源電壓未滿停電檢測電平的狀態(tài)的持續(xù)時間即停電檢測時間。例如Q學習的情況下，將通過公式1表示的行動價值函數(shù)Q(s，a)作為用于變更行動a_t即停電檢測電平以及停電檢測時間的函數(shù)來使用。另外，關(guān)于這些之外的電路結(jié)構(gòu)要素與圖1所示的電路結(jié)構(gòu)要素相同，所以對相同的電路結(jié)構(gòu)要素標注相同標記并省略對該電路結(jié)構(gòu)要素的詳細說明。

圖4是表示實施例的使用了強化學習的機械學習方法的原理的流程圖。

首先，在狀態(tài)觀測步驟S101中，狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由與交流電源側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器中累積的能量相關(guān)的數(shù)據(jù)、與針對電動機控制裝置的保護動作是否成功相關(guān)的數(shù)據(jù)以及與電動機輸出相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成。

接著，在獎賞計算步驟S102-1中，獎賞計算部21根據(jù)在步驟S101中觀測到的狀態(tài)變量來計算獎賞。

接著，在函數(shù)更新步驟S102-2中，函數(shù)更新部22根據(jù)獎賞來更新函數(shù)，該函數(shù)用于變更成為交流電源側(cè)是否停電的判斷基準的電源電壓值即停電檢測電平、交流電源側(cè)的電源電壓未滿停電檢測電平的狀態(tài)的持續(xù)時間即停電檢測時間。

接著，說明具備機械學習裝置的上述電動機控制裝置。這里作為一例，說明作為學習部的學習算法而使用了強化學習的情況。

圖5是表示具備實施例的機械學習裝置的電動機控制裝置的原理框圖。另外，這里說明了驅(qū)動控制一個電動機104的電動機控制裝置1000，但是通過電動機控制裝置1000進行驅(qū)動控制的電動機104的個數(shù)不特別限定于本發(fā)明，也可以是多個。另外，通過電動機控制裝置1000進行驅(qū)動的電動機104的種類也不特別限定于本發(fā)明，例如即使是感應(yīng)電動機也可以是同步電動機。另外，相數(shù)也不特別限定于本發(fā)明，除了三相以外例如也可以是單相或其他多相。

電動機控制裝置1000作為其主電路結(jié)構(gòu)，具備整流器101、逆變器102以及DC鏈路電容器105。電動機控制裝置1000的三相交流輸入側(cè)與交流電源103連接，電動機控制裝置1000的交流電動機側(cè)與三相的電動機104連接。另外，為了說明更加簡單明了，圖5中將用于驅(qū)動電動機104的控制系統(tǒng)統(tǒng)一為通常動作控制部41來標明。另外，關(guān)于將DC鏈路電壓從0[V]升壓到輸入電壓峰值時所使用的初始充電方法省略圖示。

整流器101將從交流電源103側(cè)提供的交流電力轉(zhuǎn)換為直流電力并輸出給DC鏈路。本發(fā)明中所使用的整流器101的實施方式不被特別限定，例如有二極管整流器、或者PWM控制方式的整流電路等。

DC鏈路電容器105被設(shè)置在連接整流器101的直流側(cè)和逆變器102的直流側(cè)的DC鏈路上。DC鏈路電容器105具有累積DC鏈路中的直流電力的功能和抑制整流器101的直流輸出的脈動量的平滑功能。

逆變器102與DC鏈路連接，將DC鏈路中的直流電力轉(zhuǎn)換為交流電力并提供給電動機104，但一般是能夠進行交流直流雙向轉(zhuǎn)換的電力轉(zhuǎn)換器。即，逆變器102能夠在DC鏈路的直流電力和電動機104的驅(qū)動電力或再生電力即交流電力之間雙方向進行電力轉(zhuǎn)換，按照從通常動作控制部41接收到的電動機驅(qū)動指令，進行將直流電力轉(zhuǎn)換為交流電力的動力運行動作(逆轉(zhuǎn)換動作)以及將交流電力轉(zhuǎn)換為直流電力的再生動作(正轉(zhuǎn)換動作)中的任意一個。具體地說，逆變器102根據(jù)從通常動作控制部41接收到的電動機驅(qū)動指令使內(nèi)部的開關(guān)元件進行開關(guān)動作，將從DC鏈路側(cè)提供的直流電力轉(zhuǎn)換為用于驅(qū)動電動機104的希望電壓以及希望頻率的三相交流電力。這樣，電動機104根據(jù)所提供的可變電壓以及可變頻率的三相交流電力而進行動作。另外，在電動機104減速時產(chǎn)生再生電力，但這時候根據(jù)從通常動作控制部41接收到的電動機驅(qū)動指令，將在電動機104產(chǎn)生的交流的再生電力轉(zhuǎn)換為直流電力并返回DC鏈路。另外，在通過電動機控制裝置1000驅(qū)動控制多個電動機104的情況下，為了對各個電動機104單獨地提供驅(qū)動電力并驅(qū)動控制電動機104，并聯(lián)連接與電動機104個數(shù)相同的個數(shù)逆變器102。逆變器102例如由PWM變換器等那樣的、開關(guān)元件以及與其逆并聯(lián)連接的二極管的橋式電路組成。作為開關(guān)元件的例子，雖然有IGBT、晶閘管、GTO(Gate Turn-OFF thyristor：門極可關(guān)斷晶閘管)、晶體管等，但是開關(guān)元件的種類自身不限定本發(fā)明而可以是其它的半導(dǎo)體元件。

電動機控制裝置1000，作為其控制系統(tǒng)具備參照圖3和圖4說明的使用了強化學習的機械學習裝置1、意思決定部13、保護動作控制部14、直流電壓測量部31、交流電壓測量部32、能量計算部33、停電檢測部14、通常動作控制裝部41以及電動機控制部51。

直流電壓測量部31測量設(shè)置在DC鏈路上的DC鏈路電容器105兩端的電壓(DC鏈路電壓)。

交流電壓測量部32測量交流電源103側(cè)的電源電壓。

能量計算部33計算DC鏈路電容器105中累積的能量。

停電檢測部34在交流電源103側(cè)的電源電壓未滿停電檢測電平的狀態(tài)持續(xù)了停電檢測時間的情況下，判定為在交流電源側(cè)發(fā)生了停電。用于停電檢測部34的停電檢測處理的停電檢測電平以及停電檢測時間如后述那樣由意思決定部13決定。

保護動作控制部14在停電檢測部34檢測出交流電源103側(cè)的停電時，對逆變器102輸出保護動作指令使得輸出用于電動機104進行預(yù)定的保護動作的電力。當逆變器102是PWM控制方式的變換器時，作為用于對逆變器102內(nèi)的開關(guān)元件的開關(guān)動作進行PWM控制的PWM控制信號而生成保護動作指令。另外，在本實施方式中，保護動作控制部14對逆變器102直接輸出了保護動作指令，但是作為其代替例，可以對通常動作控制部41輸出保護動作指令，這時，通常動作控制部41接受來自保護動作控制部14的保護動作指令，并對逆變器12輸出驅(qū)動指令使得輸出用于電動機104進行預(yù)定的保護動作的電力。任何情況下，逆變器102如果接收到保護動作指令，則將DC鏈路電容器105中累積的直流電力轉(zhuǎn)換為各種保護動作所需要的交流電力并輸出，該保護動作用于保護具有與電動機104連接的工具、該工具進行加工的加工對象以及電動機控制裝置1000的生產(chǎn)線等。

通常動作控制部41控制將DC鏈路側(cè)的直流電力和交流電動機104側(cè)的交流電力進行相互轉(zhuǎn)換的逆變器102的電力轉(zhuǎn)換動作。即，作為用于使用電動機104的動作程序、逆變器102的交流電動機側(cè)的交流電流或交流電壓和/或電動機104的轉(zhuǎn)速等來控制電動機104的速度、扭矩或轉(zhuǎn)子的位置的驅(qū)動指令，電動機動作控制部41對逆變器102指令將交流電力轉(zhuǎn)換為直流電力的再生動作(正轉(zhuǎn)換動作)以及將直流電力轉(zhuǎn)換為交流電力的動力運行動作(逆轉(zhuǎn)換動作)的任意一個。當逆變器102是PWM控制方式的變換器的情況下，作為用于對逆變器102內(nèi)的開關(guān)元件的開關(guān)動作進行PWM控制的PWM控制信號而生成上述各個指令。

機械學習裝置1具備狀態(tài)觀測部11和學習部12。

狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由與交流電源103側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器中累積的能量相關(guān)的數(shù)據(jù)、與保護動作控制部14針對電動機控制裝置的保護動作是否成功相關(guān)的數(shù)據(jù)以及與電動機輸出相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成。觀測到的狀態(tài)變量作為訓(xùn)練數(shù)據(jù)集用于學習部12的學習。通過交流電壓測量部32來測量交流電源103側(cè)的電源電壓，通過能量計算部33來計算DC鏈路電容器105中累積的能量。

學習部12內(nèi)的獎賞計算部21根據(jù)由狀態(tài)觀測部11觀測到的狀態(tài)變量來計算獎賞。

在將DC鏈路電容器105中累積的能量設(shè)為狀態(tài)變量的情況下，獎賞計算部21在通過狀態(tài)觀測部11觀測到的DC鏈路電容器105中累積的能量未滿預(yù)定值時增加獎賞，在是預(yù)定值以上時減少獎賞。這樣，DC鏈路電容器105中累積的能量未滿預(yù)定值時增加獎賞，在預(yù)定值以上時減少獎賞是指在交流電源103側(cè)發(fā)生停電并且保護動作控制部14的保護動作結(jié)束時，DC鏈路電容器105中累積的能量剩余預(yù)定值以上，這是因為不執(zhí)行保護動作而使電動機控制裝置1000進行通常動作的電力還有剩余，停電檢測電平以及停電檢測時間的設(shè)定過于嚴格的原因。

另外，在將與針對電動機控制裝置1000的保護動作是否成功相關(guān)的數(shù)據(jù)設(shè)為狀態(tài)變量的情況下，獎賞計算部21在通過狀態(tài)觀測部11觀測到針對電動機控制裝置1000的保護動作失敗時減少獎賞。這樣，在觀測到針對電動機控制裝置1000的保護動作失敗時減少獎賞是由于以下原因：由于保護動作的失敗，具有電動機104、驅(qū)動電動機104的電動機控制裝置1000、與電動機控制裝置1000所驅(qū)動的電動機104連接的工具、該工具進行加工的加工對象、該電動機控制裝置的生產(chǎn)線等發(fā)生破損或變形等任意的故障。

學習部12內(nèi)的函數(shù)更新部22根據(jù)通過獎賞計算部22計算出的獎賞，來更新用于變更停電檢測電平以及停電檢測時間的函數(shù)。例如在Q學習的情況下，將通過公式1表示的行動價值函數(shù)Q(s，a)作為用于變更停電檢測電平以及停電檢測時間的函數(shù)來使用。

意思決定部13根據(jù)學習部12按照訓(xùn)練數(shù)據(jù)集而學習到的結(jié)果，響應(yīng)當前的狀態(tài)變量的輸入，決定停電檢測電平以及停電檢測時間。在本實施例中，作為一例使用強化學習作為學習算法，所以學習部12內(nèi)的函數(shù)更新部22根據(jù)通過學習部12內(nèi)的獎賞計算部21計算出的獎賞來更新用于變更停電檢測電平以及停電檢測時間的函數(shù)，意思決定部13根據(jù)所更新的函數(shù)來選擇得到獎賞最多的停電檢測電平以及停電檢測時間。根據(jù)意思決定部13所決定的停電檢測電平以及停電檢測時間，停電檢測部34判別交流電源103側(cè)有無發(fā)生停電。

電動機控制部51統(tǒng)一控制保護動作控制部14以及通常動作控制部41。

圖6是表示實施例的使用了強化學習的機械學習裝置的動作流程的流程圖。

一般通過強化學習來隨機地選擇行動的初始值。在實施例中，在步驟S201中，隨機地選擇行動即停電檢測電平以及停電檢測時間的初始值。

在步驟S202中，作為用于電動機動作控制部41使用電動機104的動作程序、逆變器102的交流電動機側(cè)的交流電流或交流電壓和/或電動機104的轉(zhuǎn)速等來控制電動機104的速度、扭矩或者轉(zhuǎn)子的位置的驅(qū)動指令，通常動作控制部41對逆變器102指令將交流電力轉(zhuǎn)換為直流電力的再生動作(正轉(zhuǎn)換動作)以及將直流電力轉(zhuǎn)換為交流電力的動力運行動作(逆轉(zhuǎn)換動作)的任意一個。這樣電動機104進行加速動作、恒速動作或者減速動作。這期間，直流電壓測量部31測量設(shè)置在DC鏈路上的DC鏈路電容器105兩端的電壓(DC鏈路電壓)，交流電壓測量部32測量交流電源103側(cè)的電源電壓，能量計算部33計算DC鏈路電容器105中累積的能量。

在步驟S203中，狀態(tài)觀測部11將狀態(tài)變量作為訓(xùn)練數(shù)據(jù)集進行觀測，該狀態(tài)變量由與交流電源103側(cè)的電源電壓值相關(guān)的數(shù)據(jù)、與設(shè)置在DC鏈路上的DC鏈路電容器105中累積的能量相關(guān)的數(shù)據(jù)、與保護動作控制部14針對電動機控制裝置1000的保護動作是否成功相關(guān)的數(shù)據(jù)以及與電動機輸出相關(guān)的數(shù)據(jù)中的至少一個構(gòu)成。另外，在本實施例中，作為一例將這三個數(shù)據(jù)設(shè)為了狀態(tài)變量，但是也可以將這三個數(shù)據(jù)中的至少一個設(shè)為狀態(tài)變量即可。

接著，在步驟S204中，停電檢測部34根據(jù)停電檢測電平和停電檢測時間來判別交流電源103側(cè)有無發(fā)生停電，交流電壓測量部32根據(jù)交流電源103側(cè)的電源電壓來判別交流電源103側(cè)有無發(fā)生停電。停電檢測部34在交流電源103側(cè)的電源電壓未滿停電檢測電平的狀態(tài)持續(xù)了停電檢測時間的情況下，判定為在交流電源側(cè)產(chǎn)生停電并進入步驟S205。

在步驟S205，保護動作控制部14在停電檢測部34檢測出交流電源103側(cè)的停電時，對逆變器102輸出保護動作指令使得輸出用于電動機104進行預(yù)定的保護動作的電力。這樣，逆變器102將DC鏈路電容器105中累積的直流電力轉(zhuǎn)換為各種保護動作所需要的交流電力并輸出，該各種保護動作用于保護具有與電動機104連接的工具、該工具進行加工的加工對象以及電動機控制裝置1000的生產(chǎn)線等。

在步驟S206，狀態(tài)觀測部11根據(jù)與保護動作是否成功相關(guān)的數(shù)據(jù)來判別針對電動機控制裝置1000的保護動作是否失敗。當通過狀態(tài)觀測部11觀測到針對電動機控制裝置1000的保護動作失敗時，在步驟S208中獎賞計算部21減少獎賞。另一方面，當狀態(tài)觀測部11觀測到針對電動機控制裝置1000的保護動作成功時進入步驟S207。

在步驟S207，狀態(tài)觀測部11根據(jù)與DC鏈路電容器105中累積的能量相關(guān)的數(shù)據(jù)，來判別通過狀態(tài)觀測部11觀測到的DC鏈路電容器105中累積的能量是否在預(yù)定值以上。當狀態(tài)觀測部11判定DC鏈路電容器105中累積的能量在預(yù)定值以上時，在步驟S208中獎賞計算部21減少獎賞。另一方面，當狀態(tài)觀測部11判定DC鏈路電容器105中累積的能量未滿預(yù)定值時，在步驟S209中獎賞計算部21增加獎賞。

在步驟S210，函數(shù)更新部22根據(jù)通過獎賞計算部21計算出的獎賞來更新用于變更停電檢測電平以及停電檢測時間的函數(shù)。

接著，在步驟S211，意思決定部13根據(jù)在步驟S210中更新后的函數(shù)來選擇得到獎賞最多的停電檢測電平以及停電檢測時間，之后，返回步驟S202，之后重復(fù)執(zhí)行步驟S202～S211的處理。這樣，機械學習裝置1將停電檢測電平以及停電檢測時間作為能夠最大限度持續(xù)通常動作并最小限度抑制保護動作的執(zhí)行的與交流電源側(cè)的停電相關(guān)聯(lián)的條件來進行學習。另外，可以從多個整流器101取得訓(xùn)練數(shù)據(jù)集，這時候，學習部12按照針對多個整流器101取得的訓(xùn)練數(shù)據(jù)集來重復(fù)執(zhí)行步驟S201～S211的處理，學習停電檢測電平以及停電檢測時間。如果針對多個整流器101取得訓(xùn)練數(shù)據(jù)集，則機械學習裝置1的學習精度提高。

另外，上述的狀態(tài)觀測部11、學習部12以及意思決定部13例如可以通過軟件程序形式來構(gòu)筑，或者也可以通過各種電子電路和軟件程序之間的組合來構(gòu)筑。例如在通過軟件程序形式對其進行構(gòu)筑的情況下，通過使電動機控制裝置1000內(nèi)的運算處理裝置按照該軟件程序進行動作來實現(xiàn)上述各部的功能?；蛘咦鳛閷懭肓藢崿F(xiàn)各部功能的軟件程序的半導(dǎo)體集成電路來實現(xiàn)具備狀態(tài)觀測部11以及學習部12的機械學習裝置1?；蛘咭部梢酝ㄟ^不僅包括具備狀態(tài)觀測部11以及學習部12的機械學習裝置1也包括意思決定部13的形式來實現(xiàn)寫入了實現(xiàn)各部功能的軟件程序的半導(dǎo)體集成電路。

另外，使用各種數(shù)據(jù)來執(zhí)行機械學習處理，所以不需要如現(xiàn)有技術(shù)那樣設(shè)置新的硬件裝置，從而能夠后來安裝在已存在的電動機控制裝置來應(yīng)用，其中上述各種數(shù)據(jù)是通過電動機控制裝置1000為了電動機的驅(qū)動控制而本身具備的直流電壓測量部31以及交流電壓測量部32測量到的數(shù)據(jù)。這時，將寫入了實現(xiàn)機械學習裝置1和意思決定部13的各部功能的軟件程序的半導(dǎo)體集成電路組裝到該既存的電動機控制裝置中，或者將實現(xiàn)機械學習裝置1和意思決定部13的各部功能的軟件程序本身追加安裝到該既存的電動機控制裝置內(nèi)的運算處理裝置中即可。另外，關(guān)于某個電動機控制裝置，將學習了停電檢測電平以及停電檢測時間的機械學習裝置1安裝到與之不同的別的電動機控制裝置上，關(guān)于該別的電動機驅(qū)動裝置，可以重新學習停電檢測電平以及停電檢測時間并進行更新。

根據(jù)本發(fā)明，在交流電源側(cè)發(fā)生停電時，能夠?qū)崿F(xiàn)能夠最大限度持續(xù)通常動作并且最小限度抑制保護動作的執(zhí)行的電動機控制裝置、用于該電動機控制裝置的機械學習裝置及其方法。

根據(jù)本發(fā)明，針對正在動作的電動機控制裝置，在交流電源側(cè)發(fā)生停電時，機械學習裝置親自調(diào)整能夠最大限度持續(xù)通常動作并且能夠最小限度抑制保護動作的執(zhí)行的停電檢測電平以及停電檢測時間，所以不需要在電動機控制裝置的設(shè)計階段或運行階段中人工進行調(diào)整。