基于深度强化学习的服装缝制过程实时动态调度

doi:10.13475/j.fzxb.20220407908

纺织学报 ›› 2022, Vol. 43 ›› Issue (09): 41-48.doi: 10.13475/j.fzxb.20220407908

• 特约专栏:纺织智能制造与机器人 • 上一篇下一篇

基于深度强化学习的服装缝制过程实时动态调度

刘锋¹, 徐杰¹^,²(), 柯文博³

1.武汉纺织大学纺织科学与工程学院, 湖北武汉 430200
2.武汉纺织大学省部共建纺织新材料与先进加工技术国家重点实验室, 湖北武汉 430200
3.广东前进牛仔布有限公司, 广东佛山 528000

收稿日期:2022-04-26 修回日期:2022-05-31 出版日期:2022-09-15 发布日期:2022-09-26
通讯作者: 徐杰
作者简介:刘锋(1998—),男,硕士生。主要研究方向为服装生产调度。
基金资助:
国家重点研发计划项目(2019YFB1706300)

Real-time dynamic scheduling for garment sewing process based on deep reinforcement learning

LIU Feng¹, XU Jie¹^,²(), KE Wenbo³

1. School of Textile Science and Engineering, Wuhan Textile University, Wuhan, Hubei 430200, China
2. State Key Laboratory of New Textile Materials and Advanced Processing Technologies, Wuhan Textile University, Wuhan, Hubei 430200, China
3. Advance Denim Co., Ltd., Foshan, Guangdong 528000, China

Received:2022-04-26 Revised:2022-05-31 Published:2022-09-15 Online:2022-09-26
Contact: XU Jie

摘要/Abstract

摘要：

服装缝制生产过程易受动态事件干扰,针对订单实时到达的动态事件,以最小化最大完工周期为目标,提出基于深度强化学习的服装缝制过程实时动态调度方法。首先,建立服装缝制过程的调度优化模型,并将该问题转化为基于马尔科夫决策过程的顺序决策问题。然后,通过定义状态特征、候选动作集、奖励函数、探索与利用策略等方面,并结合DDQN算法训练深度神经网络用以描述状态-动作值,据此在决策节点选择最合适的调度规则。实验结果表明:针对牛仔裤前片缝制过程,所提出的方法相较于遗传算法,在调度目标的达成度方面略逊2.3%,但决策时间大幅减少91.4%,表明针对订单动态到达的调度问题,该方法能够实现有效地实时响应,确保了缝制生产的高效性与连续性。

关键词: 服装缝制生产, 动态调度方法, 强化学习方法, 深度神经网络, 智能制造

Abstract:

The garment sewing process is prone to interference caused by dynamic events. With the objective of minimizing the completion cycle, a deep reinforcement learning-based real-time dynamic scheduling method for the garment sewing process was proposed for the dynamic events of real-time order arrival. A scheduling optimization model of garment sewing process was established, and the problem was transformed into a sequential decision problem based on Markov decision process. By defining state features, action set, reward function, exploration and exploitation strategy, combined with the DDQN algorithm to train a deep neural network to describe the state-action value, the most appropriate scheduling rule was selected at the decision node. Experiments show that for the sewing process of the front panel of jeans, the proposed method is 2.3% inferior to the genetic algorithm in achieving the scheduling goal, but the decision-making time is greatly reduced by 91.4%. The method is useful to achieve effective real-time response and ensure the efficiency and continuity of sewing production for the scheduling problem of dynamic order arrival.

Key words: garment sewing production, dynamic scheduling method, reinforcement learning method, deep neural network, smart manufacturing

中图分类号:

TS941

刘锋, 徐杰, 柯文博. 基于深度强化学习的服装缝制过程实时动态调度[J]. 纺织学报, 2022, 43(09): 41-48.

LIU Feng, XU Jie, KE Wenbo. Real-time dynamic scheduling for garment sewing process based on deep reinforcement learning[J]. Journal of Textile Research, 2022, 43(09): 41-48.

图/表 7

表1

图1

表2

候选动作集"

序号	动作代码	具体描述
1	SFPT	选择第1道工序加工时间最短的工件
2	LFPT	选择第1道工序加工时间最长的工件
3	SFPT/APT	选择第1道工序加工时间与所有工序总时间比值最小的工件
4	LFPT/APT	选择第1道工序加工时间与所有工序总时间比值最大的工件
5	SLPT	选择最后1道工序加工时间最短的工件
6	LLPT	选择最后1道工序加工时间最长的工件
7	SLPT/APT	选择最后1道工序加工时间与所有工序总时间比值最小的工件
8	LLPT/APT	选择最后1道工序加工时间与所有工序总时间比值最大的工件
9	SHPT	前一半工序时间最短
10	LHPT	前一半工序时间最长
11	SHPT/APT	前一半工序时间与所有工序总时间比值最小的工件
12	LHPT/APT	前一半工序时间与所有工序总时间比值最大的工件
13	SAPT	所有工序总时间最短
14	LAPT	所有工序总时间最长
15	Gupta	对每个工件计算斜度参数,即s_i= $C m i n j ∈ {1,2, 3, …, m - 1} (t i, j + t i, j + 1)$ ,按照s_i的非减顺序排列各工件,选择s_i最小的工件。其中C= $1, 若 t i, m ≤ t i, 1 - 1, 其他$ ,i=1,2,…,n
16	NEH_KK1	计算a_i= $∑ j = 1 m$ ((m-1)(m-2)/2+m-j)t_i_,_j b_i= $∑ j = 1 m$ ((m-1)(m-2)/2+j-1)t_i_,_j i=1,2,…,n 按照min(a_i,b_i)非增顺序排列各工件,选择min(a_i,b_i)最大的工件

表2

表3

基于DDQN训练算法框架"

步骤	算法描述
1	初始化回放缓存记忆体D并设定其最大容量为M
2	初始化在线评估网络Q及其参数θ
3	初始化目标网络 $Q^$ 并设定其参数 $θ^$ =θ
4	for e_iter=1∶M:
5	建立初始状态s₀(按本文3.1节所述方法)
6	更新ε值(按式(14))
7	设置done=False(done==False表示还有待加工服装未进入加工过程;done==True表示所有服装均进入加工过程)
8	while(done==False):
9	以1-ε的概率随机选择一个动作或者依据网络Q评估出各动作q值,并选择当前最优动作a(按式(13))
10	执行动作a_t得到新的状态s_t₊₁和回报r_t,以及更新done_t
11	将(s_t,a_t,r_t,s_t₊₁,done_t)存入D
12	从D中以批量形式采样(s_i,a_i,r_i,s_i₊₁,done_i)
13	更新目标值 y= $r i d o n e i = = T r u e r i + γ · Q^(s i + 1, a r g m a x a Q (s i + 1, a; θ); θ^) d o n e i = = F a l s e$
14	更新Q的参数θ,使Q(s_i,a_i)的值更接近y
15	每隔C步将参数θ赋予 $θ^$

表3

表4

图2

图3

参考文献 15

[1]	LI Xinyu, GAO Liang. An effective hybrid genetic algorithm and tabu search for flexible job shop scheduling problem[J]. International Journal of Production Economics, 2016, 174:93-110. doi: 10.1016/j.ijpe.2016.01.016
[2]	DAI Min, TANG Dunbing, GIRET A, et al. Energy-efficient scheduling for a flexible flow shop using an improved genetic-simulated annealing algorithm[J]. Robotics and Computer-Integrated Manufacturing, 2013, 29(5):418-429. doi: 10.1016/j.rcim.2013.04.001
[3]	郑立平, 郝忠孝. 遗传算法理论综述[J]. 计算机工程与应用, 2003(21): 50-53.
	ZHENG Liping, HAO Zhongxiao. Review of genetic algorithm theory[J]. Computer Engineering and Applications, 2003(21): 50-53.
[4]	郑卫波, 周俊, 许正良. 基于遗传算法的服装企业计划调度建模与求解[J]. 江苏纺织, 2009(1):59-60.
	ZHENG Weibo, ZHOU Jun, XU Zhengliang. Modeling and solving of scheduling of garment enterprise based on genetic algorithm[J]. Jiangsu Textile, 2009(1):59-60.
[5]	谢子昂, 杜劲松, 赵国华. 衬衫吊挂流水线的自适应动态调度[J]. 纺织学报, 2020, 41(10):144-149.
	XIE Ziang, DU Jinsong, ZHAO Guohua. Adaptive dynamic scheduling of garment hanging production line[J]. Journal of Textile Research, 2020, 41(10):144-149.
[6]	NAWAZ Muhammad, ENSCORE Emory, HAM Inyong. A heuristic algorithm for the m-machine, n-job flow-shop sequencing problem[J]. Omega, 1983, 11(1): 91-95. doi: 10.1016/0305-0483(83)90088-9
[7]	FRAMINAN J M, GUPTA J N, LEISTEN R. A review and classification of heuristics for permutation flow-shop scheduling with makespan objective[J]. Journal of the Operational Research Society, 2004, 55(12): 1243-1255. doi: 10.1057/palgrave.jors.2601784
[8]	贺俊杰, 张洁, 张朋, 等. 基于多智能体强化学习的纺织面料染色车间动态调度方法[J/OL]. 计算机集成制造系统:1-31[2022-04-20]. http://kns.cnki.net/kcms/detail/11.5946.tp.20210227.1731.002.html.
	HE Junjie, ZHANG Jie, ZHANG Peng, et al. Multi-agent reinforcement learning based textile dyeing workshop dynamic scheduling method[J/OL]. Computer Integrated Manufacturing Systems:1-31[2022-04-20]. http://kns.cnki.net/kcms/detail/11.5946.tp.20210227.1731.002.html.
[9]	LUO Shu. Dynamic scheduling for flexible job shop with new job insertions by deep reinforcement learning[J]. Applied Soft Computing, 2020. DOI: 10.1016/j.asoc.2020.106208. doi: 10.1016/j.asoc.2020.106208
[10]	孔松涛, 刘池池, 史勇, 等. 深度强化学习在智能制造中的应用展望综述[J]. 计算机工程与应用, 2021, 57(2):49-59. doi: 10.3778/j.issn.1002-8331.2008-0431
	KONG Songtao, LIU Chichi, SHI Yong, et al. Review of application prospect of deep reinforcement learning in intelligent manufacturing[J]. Computer Engineering and Applications, 2021, 57(2):49-59. doi: 10.3778/j.issn.1002-8331.2008-0431
[11]	SUTTON R S, BARTO A G. Reinforcement learning: an introduction[M]. London: MIT press, 2018: 119-133.
[12]	MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529-533. doi: 10.1038/nature14236
[13]	HASSELT Hado Van, GUEZ Arthur, SILVER David. Deep reinforcement learning with double Q-learning[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2016, 30(1): 2094-2100.
[14]	肖鹏飞, 张超勇, 孟磊磊, 等. 基于深度强化学习的非置换流水车间调度问题[J]. 计算机集成制造系统, 2021, 27(1): 192-205.
	XIAO Pengfei, ZHANG Chaoyong, MENG Leilei, et al. Non-permutation flow shop scheduling problem based on deep reinforcement learning[J]. Computer Integrated Manufacturing Systems, 2021, 27(1):192-205.
[15]	HAN Baoan, YANG Jianjun. Research on adaptive job shop scheduling problems based on dueling double DQN[J]. IEEE Access, 2020, 8: 186474-186495. doi: 10.1109/ACCESS.2020.3029868

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

参数符号	符号说明
n	需要加工的服装件数
m	服装的加工工序数
x_j	第j个缝制工序上同时并行工位的数量
J_i	需要加工的服装集合{J₁,…, J_i,…, J_n}
O_i_,_j	服装J_i的第j个加工工序
M_j_,_k	第j个工序上的第k个并行工位
A_i	服装J_i加工任务的下达时间
C_i_,_j	服装J_i在工序j上加工结束的时间
t_i_,_j_,_k	服装i在工序j的并行工位M_j_,_k的加工持续时间
X_i_,_j_,_k	决策变量,服装i在工序j加工时,是否处于并行工位M_j_,_k。如果是,X_i_,_j_,_k=1;否则,X_i_,_j_,_k=0
Y_i_,_j_,_t	决策变量,t时刻服装J_i是否正在O_j工序上加工。如果是,Y_i_,_j_,_t=1;否则,Y_i_,_j_,_t=0
F_i_,_j_,_k_,_l	决策变量,服装J_i是否在O_j工序的M_j_,_k并行工位上的第l顺位加工。如果是,F_i_,_j_,_k_,_l=1;否则,F_i_,_j_,_k_,_l=0

基于深度强化学习的服装缝制过程实时动态调度

Real-time dynamic scheduling for garment sewing process based on deep reinforcement learning

RichHTML

PDF (PC)

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 15

相关文章 12

Metrics

本文评价

推荐阅读 0

工序序号	工序内容	加工时间/s								设备(数量)
工序序号	工序内容	款1	款2	款3	款4	款5	款6	款7	款8	设备(数量)
1	平车装表袋口	30	36	32	30	40	27	30	35	平缝机(1)
2	烫装表袋实样	30	30	30	30	30	30	30	30	烫台(1)
3	平车装表袋内外线	90	105	100	95	110	85	90	100	平缝机(3)
4	绷缝前袋布	36	43	40	40	45	32	36	40	绷缝机(1)
5	平缝袋布于前片上	33	40	35	33	45	30	33	35	平缝机(1)
6	车袋布底	60	60	60	60	60	60	60	60	平缝机(2)
7	双针车前袋口	50	60	55	55	65	45	50	55	双针机(2)
8	平车定前袋口	70	85	75	70	85	65	70	70	平缝机(2)
9	门襟黏衬	25	25	25	25	25	25	25	25	烫台(1)
10	三线车门襟、三线车前浪	50	60	55	55	65	48	53	60	三线缝边机(2)
11	双针车拉链	50	60	55	55	65	50	55	60	双针机(2)
12	平缝门襟于前中间暗边线	60	70	65	65	75	55	65	70	平缝机(2)
13	双针车门襟	30	35	33	35	40	25	35	35	双针机(1)
14	里襟三层合一	30	35	33	35	40	25	35	35	三线缝边机(1)
15	双针车封前浪	60	70	65	65	75	55	65	70	双针机(2)

[1]	张洁, 徐楚桥, 汪俊亮, 郑小虎. 数据驱动的机器人化纺织生产智能管控系统研究进展[J]. 纺织学报, 2022, 43(09): 1-10.
[2]	毛慧敏, 孙磊, 屠佳佳, 史伟民. 纱线自动接头机关键技术[J]. 纺织学报, 2022, 43(09): 21-26.
[3]	高晓飞, 齐立哲, 孙云权. 面向柔性面料立体缝纫的随形机械手设计[J]. 纺织学报, 2022, 43(09): 27-33.
[4]	纪柏林, 王碧佳, 毛志平. 纺织染整领域支撑低碳排放的关键技术[J]. 纺织学报, 2022, 43(01): 113-121.
[5]	杜劲松, 余雅芸, 赵妮, 谢子昂, 费中华, 潘静姝. 不同类型服装企业智能制造能力成熟度评价模型[J]. 纺织学报, 2021, 42(05): 162-167.
[6]	张旭靖, 王立川, 陈雁. 服装缝制生产物料的低碳配送路径优化[J]. 纺织学报, 2020, 41(03): 143-147.
[7]	汪松松, 彭来湖, 戴宁, 沈春娅, 胡旭东. 基于工业互联网的针织机械互联互通结构研究[J]. 纺织学报, 2020, 41(01): 165-173.
[8]	周亚勤, 汪俊亮, 鲍劲松, 张洁. 纺织智能制造标准体系架构研究与实现[J]. 纺织学报, 2019, 40(04): 145-151.
[9]	蒋高明高哲高梓越. 针织智能制造研究进展[J]. 纺织学报, 2017, 38(10): 178-183.
[10]	梅顺齐胡贵攀王建伟陈振徐巧. 纺织智能制造及其装备若干关键技术的探讨[J]. 纺织学报, 2017, 38(10): 166-171.
[11]	张洁吕佑龙汪俊亮王海超 . 大数据驱动的纺织智能制造平台架构[J]. 纺织学报, 2017, 38(10): 159-165.
[12]	胡旭东沈春娅彭来湖汝欣. 针织装备的智能制造及互联互通标准验证[J]. 纺织学报, 2017, 38(10): 172-177.