讲师介绍
陈嵩现为浙江大学数学科学学院的博士研究生，师从刘康生教授，并在许超教授和蔡声泽研究员的联合指导下开展研究。他曾在新加坡国立大学机器学习与动力系统（MLDS）实验室进行学术交流，指导老师为Qianxiao Li教授。他的研究兴趣主要集中在动力系统、控制理论与机器学习算法的交叉领域，尤其致力于运用控制理论解决机器学习面临的实际问题。他已在Nature Communications和IEEE Transactions等期刊上发表多篇论文。
课程摘要
高性能优化算法在深度学习中至关重要。然而，由于算法的不稳定性和较弱的可解释性，理解优化行为（即学习过程）仍然具有挑战性。由于基于梯度的优化可以解释为连续时间的动力系统，因此将反馈控制应用于优化器对应的动力系统，可以为探索更稳健、更准确、更具可解释性的优化算法提供另一个视角。 在本研究中，我们提出了一个名为受控重球优化器的优化框架。通过在受控重球优化器中使用比例积分微分（PID）控制器，我们开发了一种确定性连续时间优化器，称为比例-积分-微分加速优化器（PIDAO），并提供了 PIDAO 在无约束（非）凸优化中收敛性的理论结果。同时，我们利用特定的离散化方法推导出了用于训练深度神经网络的 PIDAO 系列算法。与经典优化器相比，由于 PID 控制器的特性，实验证明 PIDAO 具有更强的探索损失景观的能力，而且计算成本更低。实验评估表明，PIDAO 算法可以加快深度学习的收敛速度并提高其准确性。在多种实验中与先进算法相比，PIDAO算法性能达到了最先进的水平。
会议时间
时间：2024年12月4日（14:00-17:00）
地点：线上会议
腾讯会议入口
