本技術(shù)涉及化工，特別涉及一種聚合反應(yīng)連續(xù)生產(chǎn)線控制系統(tǒng)及方法。

背景技術(shù)：

1、聚合反應(yīng)生產(chǎn)線是一種用于生產(chǎn)高分子聚合物的工業(yè)化連續(xù)生產(chǎn)系統(tǒng)。它將單體原料通過化學(xué)反應(yīng)轉(zhuǎn)化為具有特定性能的聚合物產(chǎn)品。在粉末涂料專用飽和聚酯樹脂的生產(chǎn)過程中，聚合反應(yīng)的連續(xù)性和穩(wěn)定性是確保產(chǎn)品質(zhì)量和生產(chǎn)效率的關(guān)鍵因素。粉末涂料專用飽和聚酯樹脂是一種重要的工業(yè)材料，其生產(chǎn)過程涉及復(fù)雜的化學(xué)反應(yīng)和物理變化。

2、公開號(hào)為cn118146490a的中國(guó)專利，公開了一種連續(xù)高效制備高分子量聚酯類材料的方法，包括如下步驟：(1)將聚合單體、過量的引發(fā)劑及過量的催化劑加入至反應(yīng)釜中進(jìn)行開環(huán)聚合至反應(yīng)平衡，得到高粘度料液；所述聚合單體與引發(fā)劑的摩爾比為50:1～200:1，聚合單體與催化劑的摩爾比為50:1～4000:1；(2)通過熔體計(jì)量泵將高粘度料液以設(shè)定的速度向雙螺桿擠出機(jī)中進(jìn)料，通過計(jì)量泵將提前在料釜中熔化的聚合單體從雙螺桿擠出機(jī)上的加料口投入，控制螺桿的轉(zhuǎn)速，在螺桿的推動(dòng)下，物料在擠出機(jī)中完成聚合反應(yīng)，經(jīng)模頭擠出后冷切切粒。該發(fā)明先制備了含過量催化劑和引發(fā)劑的高粘度料液，可在擠出機(jī)中直接形成穩(wěn)定流動(dòng)，再過簡(jiǎn)單的調(diào)節(jié)高粘度料液與聚合單體的進(jìn)料速度以及物料投加位置，可制備不同分子量的聚乳酸。

3、聚酯縮聚反應(yīng)對(duì)溫度高度敏感，現(xiàn)有技術(shù)中的生產(chǎn)方式溫度波動(dòng)大，導(dǎo)致反應(yīng)不均勻，溫度過高導(dǎo)致產(chǎn)品顏色加深、安全隱患等問題，溫度過低則導(dǎo)致反應(yīng)速率慢，影響生產(chǎn)效率。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。為此，本技術(shù)的一個(gè)目的在于提出一種聚合反應(yīng)連續(xù)生產(chǎn)線控制系統(tǒng)及方法，提高了聚酯縮聚反應(yīng)過程中反應(yīng)溫度的穩(wěn)定性。

2、本技術(shù)的一個(gè)方面提供了一種聚合反應(yīng)連續(xù)生產(chǎn)線控制方法，包括：

3、步驟s100：根據(jù)聚酯縮聚反應(yīng)的反應(yīng)機(jī)理和縮聚產(chǎn)物的反應(yīng)速率的動(dòng)力學(xué)模型，建立縮聚反應(yīng)放熱方程，根據(jù)冷卻系統(tǒng)建立冷卻熱量方程，建立縮聚反應(yīng)釜與環(huán)境之間的熱交換方程，得到縮聚反應(yīng)釜內(nèi)的熱量平衡微分方程；

4、步驟s200：將縮聚反應(yīng)釜內(nèi)的反應(yīng)溫度、組分濃度定義為強(qiáng)化學(xué)習(xí)模型的狀態(tài)，將冷卻介質(zhì)溫度定義為強(qiáng)化學(xué)習(xí)模型的動(dòng)作，根據(jù)熱量平衡微分方程建立狀態(tài)轉(zhuǎn)移函數(shù)，設(shè)計(jì)分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)，構(gòu)建強(qiáng)化學(xué)習(xí)模型；

5、步驟s300：選擇ddpg算法對(duì)強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型；

6、步驟s400：利用訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型得到最優(yōu)的溫度控制策略，對(duì)聚酯縮聚反應(yīng)過程進(jìn)行優(yōu)化控制。

7、具體地，所述根據(jù)聚酯縮聚反應(yīng)的反應(yīng)機(jī)理和縮聚產(chǎn)物的反應(yīng)速率的動(dòng)力學(xué)模型，建立縮聚反應(yīng)放熱方程，根據(jù)冷卻系統(tǒng)建立冷卻熱量方程，建立縮聚反應(yīng)釜與環(huán)境之間的熱交換方程，得到縮聚反應(yīng)釜內(nèi)的熱量平衡微分方程的具體方法為：

8、步驟s110：根據(jù)聚酯縮聚反應(yīng)的反應(yīng)機(jī)理和縮聚產(chǎn)物的反應(yīng)速率的動(dòng)力學(xué)模型，將縮聚產(chǎn)物的反應(yīng)速率rp、縮聚反應(yīng)釜的工作體積v和反應(yīng)焓變相乘，得到計(jì)算聚酯縮聚反應(yīng)的反應(yīng)放熱速率的縮聚反應(yīng)放熱方程；

9、其中，所述聚酯縮聚反應(yīng)的反應(yīng)機(jī)理簡(jiǎn)化為可逆的二元酸單體二元醇單體縮聚反應(yīng)，反應(yīng)式為：，其中，a為二元酸單體，b為二元醇單體，p為縮聚產(chǎn)物，w為水；

10、所述聚酯縮聚反應(yīng)的動(dòng)力學(xué)模型為：，其中，表示正反應(yīng)速率常數(shù)，表示逆反應(yīng)速率常數(shù)，rp表示縮聚產(chǎn)物的反應(yīng)速率，、分別表示二元酸單體濃度、二元醇單體濃度、縮聚產(chǎn)物濃度、水濃度；

11、所述縮聚反應(yīng)放熱方程為：，其中，為縮聚產(chǎn)物的反應(yīng)速率，為縮聚反應(yīng)釜的工作體積，為反應(yīng)焓變；

12、步驟s120：根據(jù)冷卻系統(tǒng)的反應(yīng)溫度和冷卻介質(zhì)溫度之間的差值，與總傳熱系數(shù)、縮聚反應(yīng)釜的傳熱面積之間的乘積，得到計(jì)算冷卻熱量的冷卻熱量方程；

13、所述冷卻熱量方程為：，其中，為總傳熱系數(shù)，為縮聚反應(yīng)釜的傳熱面積，t為反應(yīng)溫度，為冷卻介質(zhì)溫度；

14、步驟s130：根據(jù)牛頓冷卻定律，計(jì)算反應(yīng)溫度與環(huán)境溫度之間的溫差，將溫差與對(duì)流換熱系數(shù)、縮聚反應(yīng)釜的傳熱面積相乘，得到用于計(jì)算縮聚反應(yīng)釜與環(huán)境之間的熱交換的熱交換方程；

15、所述熱交換方程為：，其中，h為對(duì)流換熱系數(shù)，ta為環(huán)境溫度；

16、步驟s140：根據(jù)縮聚反應(yīng)放熱方程、冷卻熱量方程和熱交換方程，建立縮聚反應(yīng)釜內(nèi)的熱量平衡微分方程；

17、所述縮聚反應(yīng)釜內(nèi)的熱量平衡微分方程為：，其中，為反應(yīng)物密度，為比熱容，為每個(gè)時(shí)間步t內(nèi)的反應(yīng)溫度變化量。

18、具體地，所述獲取縮聚反應(yīng)釜內(nèi)的反應(yīng)溫度、組分濃度作為狀態(tài)，將冷卻系統(tǒng)的冷卻介質(zhì)流量和冷卻介質(zhì)溫度作為動(dòng)作，將熱量平衡微分方程作為環(huán)境的具體方法為：

19、步驟s210：定義強(qiáng)化學(xué)習(xí)模型的狀態(tài)變量集合s，所述狀態(tài)變量集合s中的狀態(tài)s(t)包括：縮聚反應(yīng)釜內(nèi)的反應(yīng)溫度t、組分濃度cx，所述組分濃度cx包括二元酸單體濃度ca、二元醇單體濃度cb、縮聚產(chǎn)物濃度cp、水濃度cw，其中，s(t)中t表示時(shí)間步；

20、步驟s220：定義強(qiáng)化學(xué)習(xí)模型的動(dòng)作變量集合a，所述動(dòng)作變量集合a中的動(dòng)作a(t)為冷卻介質(zhì)溫度；

21、步驟s230：根據(jù)熱量平衡微分方程建立狀態(tài)轉(zhuǎn)移函數(shù)，表示在當(dāng)前時(shí)間步的狀態(tài)下執(zhí)行動(dòng)作后，在下一時(shí)間步轉(zhuǎn)移到新的狀態(tài)；

22、所述在當(dāng)前時(shí)間步的狀態(tài)下執(zhí)行動(dòng)作后，在下一時(shí)間步轉(zhuǎn)移到新的狀態(tài)的具體方法為：

23、步驟s231：將狀態(tài)s(t)中的當(dāng)前時(shí)間步的反應(yīng)溫度t(t)、組分濃度cx(t)代入熱量平衡微分方程，根據(jù)動(dòng)作調(diào)整冷卻介質(zhì)溫度，更新冷卻熱量；

24、步驟s232：根據(jù)更新冷卻熱量后的熱量平衡微分方程，計(jì)算得到下一時(shí)間步的反應(yīng)溫度t(t+1)；

25、步驟s233：根據(jù)下一時(shí)間步的反應(yīng)溫度t(t+1)和聚酯縮聚反應(yīng)的動(dòng)力學(xué)模型，計(jì)算得到下一時(shí)間步的組分濃度；

26、步驟s234：輸出新的狀態(tài)=[t(t+1)，cx(t+1)]。

27、具體地，所述設(shè)計(jì)分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)的具體方法為：

28、步驟s240：預(yù)設(shè)目標(biāo)反應(yīng)溫度和縮聚反應(yīng)釜的安全溫度范圍，根據(jù)目標(biāo)反應(yīng)溫度與當(dāng)前時(shí)間步t的反應(yīng)溫度t(t)之間差值的絕對(duì)值，與安全溫度范圍進(jìn)行比值計(jì)算，得到反應(yīng)溫度波動(dòng)幅度δ(t)；

29、所述反應(yīng)溫度波動(dòng)幅度δ(t)的計(jì)算公式為：；

30、步驟s250：計(jì)算溫度波動(dòng)幅度偏離目標(biāo)反應(yīng)溫度的懲罰函數(shù)；

31、所述懲罰函數(shù)的計(jì)算公式為：，其中，為懲罰函數(shù)的陡峭程度參數(shù)，為懲罰函數(shù)的閾值參數(shù)；

32、步驟s260：統(tǒng)計(jì)在當(dāng)前時(shí)間步t之前的時(shí)間步中，反應(yīng)溫度連續(xù)保持在目標(biāo)反應(yīng)溫度的安全溫度范圍內(nèi)的時(shí)間步數(shù)，計(jì)算溫度穩(wěn)定性的獎(jiǎng)勵(lì)函數(shù)；

33、所述溫度穩(wěn)定性的獎(jiǎng)勵(lì)函數(shù)的計(jì)算公式為：，其中，為溫度穩(wěn)定性的獎(jiǎng)勵(lì)函數(shù)的比例系數(shù)，為對(duì)數(shù)函數(shù)；

34、步驟s270：定義聚酯縮聚反應(yīng)的初期、中期、后期三個(gè)反應(yīng)階段，所述初期對(duì)應(yīng)聚酯縮聚反應(yīng)的酯化階段，所述中期對(duì)應(yīng)聚酯縮聚反應(yīng)的酯交換階段，所述后期對(duì)應(yīng)聚酯縮聚反應(yīng)的縮聚階段，根據(jù)不同的反應(yīng)階段設(shè)置懲罰函數(shù)的權(quán)重系數(shù)和獎(jiǎng)勵(lì)函數(shù)的權(quán)重系數(shù)，定義懲罰函數(shù)和獎(jiǎng)勵(lì)函數(shù)在初期、中期、后期三個(gè)反應(yīng)階段的權(quán)重系數(shù)分別為、、和、、；

35、步驟s280：將懲罰函數(shù)和獎(jiǎng)勵(lì)函數(shù)加權(quán)組合，得到分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)；

36、所述分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)的計(jì)算公式為：。

37、具體地，所述根據(jù)不同的反應(yīng)階段設(shè)置懲罰函數(shù)的權(quán)重系數(shù)和獎(jiǎng)勵(lì)函數(shù)的權(quán)重系數(shù)的具體方法為：

38、步驟s271：計(jì)算聚酯縮聚反應(yīng)過程中的縮聚產(chǎn)物濃度和最終理論濃度之間的比值，將比值作為反應(yīng)進(jìn)度變量；

39、步驟s272：設(shè)定第一反應(yīng)進(jìn)度閾值作為酯化階段完成的臨界點(diǎn)，當(dāng)反應(yīng)進(jìn)度變量達(dá)到第一反應(yīng)進(jìn)度閾值時(shí)，判定酯化階段完成；

40、步驟s273：設(shè)定第二反應(yīng)進(jìn)度閾值作為酯交換階段完成的臨界點(diǎn)，當(dāng)反應(yīng)進(jìn)度變量達(dá)到第二反應(yīng)進(jìn)度閾值時(shí)，判定酯交換階段完成；

41、步驟s274：設(shè)定第三反應(yīng)進(jìn)度閾值作為縮聚階段完成的臨界點(diǎn)，當(dāng)反應(yīng)進(jìn)度變量達(dá)到第三反應(yīng)進(jìn)度閾值時(shí)，判定縮聚階段結(jié)束；

42、步驟s275：計(jì)算懲罰函數(shù)的權(quán)重系數(shù)，在每個(gè)反應(yīng)階段內(nèi)，使用線性插值的方法，對(duì)于酯化階段，懲罰函數(shù)的權(quán)重系數(shù)從線性增加到，對(duì)于酯交換階段，懲罰函數(shù)的權(quán)重系數(shù)從線性增加到，對(duì)于縮聚階段，懲罰函數(shù)的權(quán)重系數(shù)維持在不變；

43、步驟s276：計(jì)算獎(jiǎng)勵(lì)函數(shù)的權(quán)重系數(shù)，在每個(gè)反應(yīng)階段內(nèi)，使用線性插值的方法，對(duì)于酯化階段，獎(jiǎng)勵(lì)函數(shù)的權(quán)重系數(shù)從線性增加到，對(duì)于酯交換階段，獎(jiǎng)勵(lì)函數(shù)的權(quán)重系數(shù)從線性增加到，對(duì)于縮聚階段，獎(jiǎng)勵(lì)函數(shù)的權(quán)重系數(shù)維持在不變。

44、具體地，所述最終理論濃度的計(jì)算方法為：

45、確定聚酯縮聚反應(yīng)中二元酸單體和二元醇單體的化學(xué)計(jì)量比；

46、根據(jù)二元酸單體和二元醇單體的投料量，計(jì)算二元酸單體和二元醇單體的摩爾數(shù)；

47、按照二元醇單體和二元酸單體的摩爾數(shù)和化學(xué)計(jì)量比，計(jì)算縮聚產(chǎn)物的理論摩爾數(shù)；

48、根據(jù)縮聚產(chǎn)物的理論摩爾數(shù)和摩爾質(zhì)量，計(jì)算縮聚產(chǎn)物的理論質(zhì)量；

49、根據(jù)縮聚產(chǎn)物的理論質(zhì)量和反應(yīng)體系的總質(zhì)量，計(jì)算縮聚產(chǎn)物的最終理論濃度。

50、具體地，所述選擇ddpg算法對(duì)強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型的具體方法為：

51、步驟s310：選擇ddpg算法作為訓(xùn)練強(qiáng)化學(xué)習(xí)模型的深度強(qiáng)化學(xué)習(xí)算法，初始化actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)以及對(duì)應(yīng)的目標(biāo)網(wǎng)絡(luò)；

52、步驟s320：初始化經(jīng)驗(yàn)回放緩沖區(qū)r；

53、步驟s330：設(shè)定訓(xùn)練迭代次數(shù)m，當(dāng)前迭代次數(shù)m=0；

54、步驟s340：在每次訓(xùn)練迭代開始時(shí)，隨機(jī)初始化一個(gè)狀態(tài)，智能體與環(huán)境進(jìn)行交互；

55、步驟s350：使用從經(jīng)驗(yàn)回放緩沖區(qū)中采樣的四元組，計(jì)算目標(biāo)q值，當(dāng)聚酯縮聚反應(yīng)完成或反應(yīng)溫度超出目標(biāo)反應(yīng)溫度的安全溫度范圍時(shí)，目標(biāo)q值等于分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)值；當(dāng)聚酯縮聚反應(yīng)非終止且反應(yīng)溫度未超出目標(biāo)反應(yīng)溫度的安全溫度范圍時(shí)，目標(biāo)q值由分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)和下一狀態(tài)的q值構(gòu)成；

56、步驟s360：以最小化目標(biāo)q值與critic網(wǎng)絡(luò)輸出的狀態(tài)-動(dòng)作值函數(shù)q(s,?a)之間的均方差、最大化actor網(wǎng)絡(luò)生成動(dòng)作的累積分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)值為訓(xùn)練目標(biāo)，得到訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型。

57、具體地，所述利用訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型得到最優(yōu)的溫度控制策略，對(duì)聚酯縮聚反應(yīng)過程進(jìn)行優(yōu)化控制的具體方法為：

58、步驟s410：獲取聚酯縮聚反應(yīng)的縮聚反應(yīng)釜的工作體積、傳熱面積，記錄二元酸單體、二元醇單體的投料量，獲取冷卻系統(tǒng)的總傳熱系數(shù)，實(shí)時(shí)獲取環(huán)境溫度和反應(yīng)過程中的反應(yīng)溫度；

59、步驟s420：利用訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型對(duì)實(shí)際的聚酯縮聚反應(yīng)過程進(jìn)行優(yōu)化，在每一時(shí)間步根據(jù)縮聚反應(yīng)釜內(nèi)的實(shí)時(shí)狀態(tài)輸出最優(yōu)的冷卻介質(zhì)溫度對(duì)反應(yīng)溫度進(jìn)行控制。

60、本技術(shù)的一個(gè)方面提供了一種聚合反應(yīng)連續(xù)生產(chǎn)線控制系統(tǒng)，包括：

61、熱量平衡構(gòu)建模塊，用于根據(jù)聚酯縮聚反應(yīng)的反應(yīng)機(jī)理和縮聚產(chǎn)物的反應(yīng)速率的動(dòng)力學(xué)模型，建立縮聚反應(yīng)放熱方程，根據(jù)冷卻系統(tǒng)建立冷卻熱量方程，建立縮聚反應(yīng)釜與環(huán)境之間的熱交換方程，得到縮聚反應(yīng)釜內(nèi)的熱量平衡微分方程；

62、強(qiáng)化學(xué)習(xí)構(gòu)建模塊，用于將縮聚反應(yīng)釜內(nèi)的反應(yīng)溫度、組分濃度定義為強(qiáng)化學(xué)習(xí)模型的狀態(tài)，將冷卻介質(zhì)溫度定義為強(qiáng)化學(xué)習(xí)模型的動(dòng)作，根據(jù)熱量平衡微分方程建立狀態(tài)轉(zhuǎn)移函數(shù)，設(shè)計(jì)分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)，構(gòu)建強(qiáng)化學(xué)習(xí)模型；

63、強(qiáng)化學(xué)習(xí)訓(xùn)練模塊，用于選擇ddpg算法對(duì)強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型；

64、溫度優(yōu)化控制模塊，用于利用訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型得到最優(yōu)的溫度控制策略，對(duì)聚酯縮聚反應(yīng)過程進(jìn)行優(yōu)化控制。

65、本技術(shù)的一個(gè)方面提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)，以實(shí)現(xiàn)一種聚合反應(yīng)連續(xù)生產(chǎn)線控制方法中的步驟。

66、本技術(shù)的一個(gè)方面提供了一種可讀存儲(chǔ)介質(zhì)，所述可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于處理器進(jìn)行加載，以執(zhí)行一種聚合反應(yīng)連續(xù)生產(chǎn)線控制方法中的步驟。

67、本技術(shù)提出的一種聚合反應(yīng)連續(xù)生產(chǎn)線控制系統(tǒng)及方法相對(duì)于現(xiàn)有技術(shù)，具備以下優(yōu)點(diǎn)：

68、本技術(shù)采用強(qiáng)化學(xué)習(xí)方法進(jìn)行反應(yīng)溫度的實(shí)時(shí)優(yōu)化控制，將縮聚反應(yīng)釜內(nèi)的反應(yīng)溫度、組分濃度定義為狀態(tài)，冷卻介質(zhì)溫度定義為動(dòng)作，根據(jù)熱量平衡微分方程建立狀態(tài)轉(zhuǎn)移函數(shù)，通過訓(xùn)練得到最優(yōu)控制策略，能夠根據(jù)實(shí)時(shí)狀態(tài)動(dòng)態(tài)調(diào)整控制策略，適應(yīng)聚酯縮聚反應(yīng)的復(fù)雜動(dòng)態(tài)特性，實(shí)現(xiàn)反應(yīng)溫度的精確控制。

69、本技術(shù)設(shè)計(jì)了分層動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)，能夠針對(duì)不同階段的控溫需求進(jìn)行有針對(duì)性的優(yōu)化，在酯化初期重點(diǎn)懲罰溫度波動(dòng)以盡快達(dá)到目標(biāo)溫度，中期平衡懲罰和獎(jiǎng)勵(lì)以維持恒溫，后期著重獎(jiǎng)勵(lì)溫度穩(wěn)定性以保證產(chǎn)品質(zhì)量，這種分層動(dòng)態(tài)的獎(jiǎng)勵(lì)機(jī)制可以更好地適應(yīng)聚酯縮聚反應(yīng)不同階段對(duì)溫度控制的特定要求。

70、本技術(shù)在獎(jiǎng)勵(lì)函數(shù)中同時(shí)考慮了溫度波動(dòng)幅度和溫度連續(xù)穩(wěn)定時(shí)間兩個(gè)指標(biāo)，通過懲罰函數(shù)最小化溫度波動(dòng)，通過獎(jiǎng)勵(lì)函數(shù)最大化溫度的連續(xù)穩(wěn)定時(shí)間，可以在抑制溫度波動(dòng)的同時(shí)，促使系統(tǒng)盡可能長(zhǎng)時(shí)間地將溫度穩(wěn)定在目標(biāo)反應(yīng)溫度附近，有利于提高產(chǎn)品質(zhì)量的穩(wěn)定性。