美国JLG蓄电池-官网

基于深度强化学习与蜘蛛群智能集成算法的电动汽车电池荷电状态精确估算

来源:JLG电瓶       2026-11-18 17:44:53       点击:

摘要

必须准确掌握电动汽车(EV)电池的荷电状态(SOC),才能实现高效、可靠且长寿命的运行。传统的估算方法依赖于详细的电池模型或额外的传感硬件,这导致其部署缓慢、成本高昂且容易出错。我们提出了一种将深度强化学习(DRL)与蜘蛛群智能(SSI)相结合的SOC估算器。深度Q网络(DQN)无需显式电池模型,即可从测量的电池信号中学习估计策略,而SSI在训练过程中调节探索与利用之间的平衡,使学习收敛更快,预测更准确。在公开的NASA PCoE锂离子电池数据集上,该混合估计器将最大SOC误差从30%降低至8%,并且比传统技术实现了明显更低的平均绝对误差(MAE)和均方根误差(RMSE)。将SSI添加到深度强化学习(DRL)中,还能缩短收敛时间,使估计结果更稳健、更精确。因此,该混合方法是先进电动汽车电池管理系统的理想选择,能够同时提高可靠性和效率。
关键词:
荷电状态 (SOC); 电动汽车 (EV); 深度强化学习 (DRL); 深度Q网络 (DQN); 蜘蛛群智能 (SSI)

 

1. 引言

电动汽车(EV)的快速普及要求电池管理系统(BMS)既高效又可靠。BMS的核心任务是估计荷电状态(SOC),这决定了续航里程预测、能量消耗和电池安全[1,2],而管理良好的电池反过来又使整个系统更加可靠[3,4]。传统上,SOC是通过经验模型、等效电路模型或专用外部传感器[5,6]。这些方法需要精确掌握内部参数,如内阻、开路电压和容量,而这些参数难以测量,且会随使用年限和工作环境的变化而漂移[7,8]。此外,外部传感器具有侵入性,会增加成本,且存在校准误差,这削弱了它们在实际应用中的表现[9,10]。因此,近期许多研究转向机器学习和深度学习,以克服基于模型的估计方法的局限性。特别是深度强化学习(DRL),它能够从原始测量数据中学习复杂的控制策略,而无需显式模型[11,12],基于深度Q网络(DQNs)的智能体能够推理电池行为并在线更新SOC估计值[13,14]。然而,DRL方法在平衡新解的探索与已知解的利用方面仍存在困难,这种平衡会影响训练收敛性和预测稳定性[15,16].
群智能提供了一种自然的解决方案。蜘蛛群智能(SSI)模仿蜘蛛群的协作行为,并调节候选决策在探索与利用之间的转换[17,18]。因此,将SSI与DRL结合可以使SOC估计更准确、收敛更快且更稳定[19,20].
尽管取得了这些进展,基于深度强化学习的SOC估算器在探索与利用平衡不佳时,收敛速度仍然缓慢且预测结果不可靠[21]。传统的估算方法在工业界依然占据主导地位,这限制了机器学习解决方案的大规模应用[22]。目前需要的是一种无需模型但高度准确的SOC估算器,能够从实测电池数据中自适应学习,而无需复杂的建模或昂贵的传感器[23].
本文提出了一种结合深度强化学习(DRL)与状态空间识别(SSI)的混合框架,用于电动汽车电池中准确且低成本的荷电状态(SOC)估计。其主要内容如下:
  • 混合DRL-SSI方法:将DRL(以DQN形式)的学习能力与SSI的优化能力相结合,以提高SOC精度和训练效率。
  • 增强的收敛性与精度:在训练过程中调整探索与利用的平衡,将最大SOC误差从30%降低至8%,并改善了MAE和RMSE。
  • 无模型估算:估算器从记录的电池数据中学习,无需特定电池模型、物理参数测量或额外传感器。
  • 对智能电池管理系统的贡献:该方法为下一代智能电池管理系统提供了低成本、可扩展且准确的SOC估算支持。
  • 在真实电池数据上的验证:该方法在公开的NASA PCoE锂离子电池数据集上进行了测试,其性能明显优于传统的SOC估算器。

图1概述了电动汽车电池的SOC估算方案。
Batteries 12 00494 g001
图1。电动汽车电池SOC估算方案示意图。
图2展示了所提出的基于优化的SOC估算器的流程图。
Batteries 12 00494 g002
图2。基于DDPG的SOC估计框架。灰色虚线区域为环境(电动汽车电池和车辆)。状态向量由扭矩、速度、温度和电流测量值以及SOC测量值(黄绿色区块)组成,这些数据被输入到DDPG智能体(粉色)中。目标记忆(蓝色)包含用于计算奖励的参考SOC。智能体向环境执行动作(SOC估计值),产生的状态-动作-奖励转换被存储在经验回放记忆中,供智能体学习使用。实线箭头表示信息流;图标不用于传递信息。
本文余下部分结构如下。第2节描述了研究方法:问题建模、DQN以及SSI优化框架。第3节展示并讨论了实验结果,以及第四节给出了结论和进一步研究的方向。

1.1. 研究动机

全球向电动汽车的转型,以及对其标准化的推动,对高效电池管理系统(BMS)提出了很高要求,其中荷电状态(SOC)估计是其核心功能。SOC直接决定了续航里程、能源利用率和电池寿命。基于经验或电路模型及外部传感器的传统估计器受参数不确定性、传感器误差和老化影响,当驾驶条件变化时,其实时准确性会下降。
数据驱动方法,尤其是深度强化学习(DRL),是一种极具吸引力的替代方案,因为它们无需显式物理模型,即可从实时电池遥测数据中自适应学习。然而,单独使用DRL时,收敛速度慢且预测结果不稳定。为了克服这些弱点,本文将DRL与一种受自然启发的优化器——蜘蛛群智能(SSI)相结合,使SOC估计在实际电动汽车运行中更加准确、稳定和鲁棒。

1.2. 相关工作

Cai等人 [24] 针对锂离子电池,基于短期特征通过多目标优化调整了一个数据驱动的健康状态(SoH)估计器,旨在获得更可靠的SoH估计值,因为SoH反映了电池的状况和性能。尽管该研究的目标是SoH,但其数据驱动的公式可以迁移到电动汽车电池的SOC估计中。Chun和Han [25] 将强化学习应用于改进锂离子电池老化的估计器;由于荷电状态(SOC)和老化估计紧密耦合,其结果表明基于学习的算法也能使SOC估计受益。Yeom [26] 将深度强化学习(DRL)与模型预测控制(MPC)相结合,用于电池电动汽车的节能环保驾驶;尽管该工作涉及能量管理,但它依赖于准确的SOC预测来降低能耗并提高车辆效率。Li等人 [9] 利用混合机器学习模型,结合光纤传感器数据,共同估计SOC和SOH,并提高了这两个指标的准确性和稳定性。
How等人[5]回顾了锂离子电池的基于模型和数据驱动的SOC估计器,并表明数据驱动技术无需显式数学模型即可达到高精度。在文献[14]中,DRL被用于同时估计SOC和SOH,证明了合适的估计策略可以直接从原始测量值中学习。Adaikkappan和Nageswari[1]调查了电动汽车的电池建模、SOC估计和充电,并强调正确的充电序列需要准确的SOC。Abada等人[2] 综述了以安全为导向的电池建模,其中可靠的SOC信息是安全运行的前提条件。Hu等人[3] 讨论了先进电池管理系统中状态估计的开放性问题和未来方向,并指出SOC与其他电池状态对于有效运行至关重要。
He等人[7]利用描述电池内部电化学过程的物理电化学模型预测了SOC,结果表明此类模型在解释底层现象的同时能提供精确的SOC值。Liu等人[27]通过将模型同时拟合到多个输入参数,改进了电动汽车锂离子电池的SOC估算。Mathieu和Taylor[28]研究了电力系统中非线性电池的控制以及性能与寿命之间的权衡问题,这一问题与电动汽车的SOC管理密切相关。Dabbaghjamanesh等人[29] 利用Q学习预测电动汽车充电站的读档,展示了强化学习如何用于充电相关的状态评估。
Wang和Zhang [30] 使用强化学习进行实时储能套利,并证明其能改善储能运行;类似技术可指导更好的电池使用和SOC估计。Erick和Folly [31] 使用强化学习控制电动汽车充电站的功率流,在充电和放电过程中,准确的SOC信息对于这项任务至关重要。
表1比较了近期SOC估计研究[13,19,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48]在解决的问题、提出的解决方案、验证结果和主要缺点方面的差异,并将其与本文的SSI–DQN框架进行了对比。
表1。近期SOC估计方法比较。

1.3. 研究空白

尽管SOC估计已被广泛研究,但仍存在若干空白:
  • 模型依赖性与参数不确定性:传统估计器依赖于难以测量且随老化和运行环境变化的内部电池参数。
  • 深度强化学习方法的稳定性问题:深度强化学习在无模型估计方面具有前景,但由于探索与利用平衡不佳,当前的深度强化学习估计器往往收敛缓慢、表现不稳定且精度不一致。
  • 传感器局限性:额外的传感器会增加系统成本和复杂性,并通过校准漂移和噪声引入误差。
  • 实际应用局限性:许多方法尚未在真实电池数据或代表实际部署的条件下得到充分验证。
  • 缺乏混合优化框架:将群智能与深度强化学习结合用于SOC估计的研究较少受到关注,尤其是基于SSI的混合方法在很大程度上仍未被探索。

1.4. 本研究的主要贡献

本研究通过以下贡献填补了这些空白:
  • 开发了一种无模型SOC估计框架:一种混合DRL-SSI估计器,既不需要显式的电池模型,也不需要复杂的传感器布置,这使其具有可扩展性,并可迁移至其他化学体系和运行工况。
  • 提高预测准确性和鲁棒性:与传统和独立的深度强化学习方法相比,混合估计器实现了更高的准确性、更稳定的学习和更好的适应性。
  • 将蜘蛛群智能与深度Q网络相结合:在深度强化学习训练中嵌入蜘蛛群智能可改善探索与利用的平衡,从而使训练收敛更快,且SOC预测更稳定。
  • 实际应用性:该研究通过学习实测电池数据,旨在实现实际应用,支持智能电池管理系统在电动汽车中的实际部署。

2. 研究方法

本节介绍了如何获得电动汽车电池的准确荷电状态(SOC)估算值。该方法将蜘蛛群智能(SSI)与深度强化学习(DRL)相结合,以提高SOC的准确性。图3展示了基于DRL的SOC估算与优化的完整流程,包括附加条件。
Batteries 12 00494 g003
图3.基于深度强化学习的电池荷电状态估计与优化的完整流程。驾驶工况被发送至深度Q网络,随后生成粒子并进行先验估计。在每个时间步k输出状态,同时蜘蛛群智能算法执行状态计算和种群更新,以更新SOC估计并提供后验状态估计。箭头方向表示数据流向,颜色区分不同的处理阶段,图标为示意性说明。
图4展示了如何将SSI嵌入到深度Q网络(DQN)框架中,以改善电动汽车电池的SOC估计。DQN是一种深度强化学习模型,其任务是通过与电池环境交互来学习最佳的充放电策略:它以包括SOC等特征在内的电池状态作为输入,并返回要执行的动作。在每个动作之后,环境会返回一个奖励,模型通过这些累积的经验值逐渐优化其策略。深度神经网络用于近似Q函数,即每个动作的预期奖励。在此框架下,SSI通过调整探索与利用之间的平衡来改进DQN。探索让智能体尝试不同的电池管理动作,从而避免过早陷入虽然方便但并非最优的策略;而利用则使其保持在表现良好的策略上并对其进行优化。就像社交蜘蛛一样,SSI在继续探索搜索空间新区域的同时,依然利用DQN训练早期发现的优秀解决方案。
Batteries 12 00494 g004
图4。基于SSI和DQN的SOC估计框架的机器学习图示。电池数据的特征提取并存储在经验回放中。深度神经网络和目标Q网络估计Q值,蜘蛛群智能平衡探索与利用以决定动作并引导它们,奖励计算则评估动作。箭头显示数据流向,颜色区分功能模块,图标为示意图。
将SSI与DQN结合使SOC估计显著更加稳定。DQN从历史电池数据中学习,而SSI改善了其在候选充放电动作中的选择方式。将深度学习与受自然启发的优化器配对,从而使SOC估计既准确又高效,这对于提高电动汽车电池的效率和寿命至关重要。

2.1. 问题建模

准确测量电动汽车牵引电池的SOC是电池管理系统面临的进一步挑战。SOC决定了可行驶里程,有助于防止过充和过放,并支持良好的电池性能。传统的SOC方法依赖于计算量大的方程或额外的传感器,这些方法成本高、需要校准且可能引入误差,因此需要一种没有这些缺陷的高效估算器。让我们表示电动汽车电池的容量;任何时刻的SOC是该容量中仍可用的百分比。目标是从过去的充放电循环中准确预测SOC。 denote the capacity of the EV battery; the SOC at any instant is the percentage of this capacity that is still available. The objective is to predict SOC accurately from past charging and discharging cycles.
为了构建问题,定义以下变量:
SOC(t):SOC(t): The SOC of the battery at time (t)The SOC of the battery at time (t)
P(t):The power supplied or consumed by the battery at time (t)Pt:The power supplied or consumed by the battery at time (t)
Δt:The time interval between consecutive measurementsΔt:The time interval between consecutive measurements
形式上,给定记录的功率测量值在时间间隔,任务是准确估计电动汽车电池在每个时间步的状态。P(t)P(t)ΔtΔtSOC(t)SOC(t)
数学公式:SOC估计可以通过电池充放电的动态模型来构建。基于能量平衡的简单模型给出了一个时间间隔内的SOC变化如下:ΔtΔt
Δ