(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211260436.5 (22)申请日 2022.10.14 (71)申请人 青岛海信日立空调系统有限公司 地址 266510 山东省青岛市经济技 术开发 区前湾港路218号 (72)发明人 陈丽如　 (74)专利代理 机构 青岛联智专利商标事务所有 限公司 37101 专利代理师 马萍华 (51)Int.Cl. F24F 11/89(2018.01) F24F 11/58(2018.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度强化学习的空调控制系统 (57)摘要 本发明公开了一种基于深度强化学习的空 调控制系统， 包括： 分类单元， 其基于空调系统的 历史数据， 对用户角色进行分类， 用户角色基于 对空调的使用习惯而区分， 且每个用户角色涉及 若干用户； 建模单元， 其建立基于用户角色的训 练模型， 训练模 型表征空调运行数据和空调控制 数据之间的关系； 选择单元， 其基于所确定的当 前用户的用户角色， 选择当前用户角色对应的训 练模型； 决策单元， 其根据所选择的训练模型并 通过DDPG算法训练该训练模型， 以求解最优控制 策略； 空调控制系统接收最优控制策略。 本发明 基于用户群体预建立训练模型， 且基于用户个体 训练对应的训练模型， 实现空调系统智能化运 行， 满足用户个 体差异， 提升用户体验。 权利要求书2页 说明书9页 附图4页 CN 115507527 A 2022.12.23 CN 115507527 A 1.一种基于深度强化学习的空调控制系统， 其特 征在于， 包括： 分类单元， 其基于空调系统的历史数据， 对用户角色进行分类， 所述用户角色基于对空 调的使用习惯而区分， 且每 个用户角色涉及若干用户； 建模单元， 其建立基于用户角色的训练模型， 所述训练模型表征空调运行数据和 空调 控制数据之间的关系； 选择单元， 其基于所确定的当前用户的用户角色， 选择所述当前用户角色对应的训练 模型； 决策单元， 其根据所选择的训练模型并通过DDPG算法训练所述训练模型， 以求解最优 控制策略； 所述空调控制系统接收所述 最优控制策略， 用于控制空调器的运行。 2.根据权利要求1所述的基于深度强化学习的空调控制系统， 其特 征在于， 还 包括： 数据预处 理单元， 其对属于每 个用户角色的历史数据进行 预处理； 所述建模单 元基于属于用户角色的、 预处 理后的数据， 建立所述训练模型。 3.根据权利要求1所述的基于深度强化学习的空调控制系统， 其特 征在于， 在空调出厂之前， 利用所述分类单元对用户角色进行分类， 以及利用所述建模单元建 立基于用户角色的训练模型； 在空调出厂后的使用过程中， 利用所述选择单元选择所述当前用户角色对应的训练模 型， 以及利用决策 单元通过DDPG算法训练所述训练模型， 以求 解最优控制策略。 4.根据权利要求3所述的基于深度强化学习的空调控制系统， 其特 征在于， 所述训练模型导入空调系统的控制单 元； 所述选择单元和所述决策单元分别与所述控制单元连接， 用于在选择用户角色对应的 训练模型并通过DDPG算法训练所述训练模型后， 将所求解的最优控制策略反馈至所述控制 单元。 5.根据权利要求3所述的基于深度强化学习的空调控制系统， 其特征在于， 所述空调控 制系统还 包括： 网关设备， 其与空调系统通信； 云平台， 其与所述网关 设备通信； APP侧， 其与所述云平台交 互； 所述选择单元和所述决策单元位于所述云平台或APP侧， 用于在所述云平台或APP侧上 选择用户角色对应的训练模型， 并通过D DPG算法训练所述训练模型， 以求 解最优控制策略； 所述最优控制策略反馈 至所述空调系统的控制单 元。 6.根据权利要求1所述的基于深度强化学习的空调控制系统， 其特 征在于， 在用户采用最优 控制策略控制空调运行时， 用户会 对当前空调控制模式进行评价； 将给出的评价 值作为训练模型从环境中得到的奖励值 其用于所述D DPG算法。 7.根据权利要求2所述的基于深度强化学习的空调控制系统， 其特 征在于， 所述数据预处 理单元对属于每 个用户角色的历史数据进行 预处理， 以获取 特征数据； 所述特征数据包括室内温度、 地理位置、 用户性别、 用户年龄和空调使用时间。 8.根据权利要求7 所述的基于深度强化学习的空调控制系统， 其特 征在于， 所述建模单元对属于每个用户角色的特征数据采用多层感知器训练获取所述训练模权　利　要　求　书 1/2 页 2 CN 115507527 A 2型。 9.根据权利要求1所述的基于深度强化学习的空调控制系统， 其特征在于， 所述空调控 制系统还 包括： 网关设备， 其与空调系统通信； 云平台， 其与所述网关 设备通信； APP侧， 其与所述云平台交 互； 通过APP侧收集用户对当前空调的控制模式所做出的反馈， 基于所述反馈确定当前用 户的用户角色。 10.根据权利要求1所述的基于深度强化学习的空调控制系统， 其特征在于， 所述DDPG 算法的训练过程包括： 针对状态估计网络， 以实际Q值与估计Q值的平方损失为损失函数来更新状态估计网络 的参数； 针对动作估计网络， 利用损失梯度来更新动作估计网络的参数； 将所述状态估计网络的参数复制给状态现实网络， 以更新状态现实网络的参数； 将所述动作估计网络的参数复制给动作现实网络， 以更新动作现实网络的参数。权　利　要　求　书 2/2 页 3 CN 115507527 A 3