当前位置: 首页 > 科学研究 > 共性技术平台 > 机器学习中心 > 科研成果 > 正文

科学研究

科研成果

SCIENTIFIC RESEARCH ACHIEVEMENTS

统计学、数学和计算机科学的交叉领域研究

  • 分享

字段1 字段2
字段3 字段4
职称 负责人 张志华

张志华团队主要从事统计学、数学和计算机科学的交叉领域研究。具体地,试图应用统计推理、运筹优化和随机分析等来研究机器学习和数据科学的机理和算法,并且运用它们去解决实际问题。近年来在随机梯度算法、深度神经网络、联邦学习和强化学习等理论分析方面取得了一系列的成果:

1)提出了一个统一框架来分析二阶方法的局部和全局收敛性,引入了Nesterov加速去改善随机二阶算法的收敛性能,由此提出了加速的近似牛顿算法。给出了求解一类优化问题和非线性方程组的经典拟牛顿方法的显性超线性收敛率的理论结果。

2)在深度学习理论方面的工作主要涉及神经网络的几何景观和优化轨迹。具体地,证明了超宽稀疏神经网络依旧具备良好的几何景观,提供了线性神经网络在分类和回归两种常见问题设置下的轨迹收敛分析。

3)首次建立了联邦学习(FL)在数据非独立情况的收敛性结果,理论上揭示了通讯有效性和收敛率之间的权衡;发展了函数极限中心定理,由此首次建立了FL中的Local SGD方法的统计估计和推断理论。我们发展起来的分析工具独立于Local SGD问题本身,它针对一类归纳定义的随机过程给出了依概率意义下的一致收敛速度的精确刻画,该工具可作为经验过程Donsker理论中等度连续性质的推广,帮助我们证明这类更复杂的随机过程的Donsker不变原理。

4)系统地讨论了强化学习的稀疏策略问题,给出了构造稀疏策略的一类充分必要条件;建立了鲁棒马尔可夫过程的样本复杂度和渐进统计理论;给出了著名的Q-learning算法的渐近收敛性和半参数统计理论结果。即将由人民邮电出版社出版《深度强化学习》一书。开源了大规模并行的强化学习算法软件包,针对强化学习中环境模拟速度慢、GPU擅长批量处理样本、强化学习模型的参数更新及推断可异步执行等特点,作出了创新性的设计与改进。

这些成果有助于我们理解机器学习和数据科学的前沿基础性问题。它们发表在机器学习、人工智能、运筹优化领域顶级期刊或会议上,如期刊Journal of Machine Learning Research (JMLR)、Artificial Intelligence、MathematicalProgramming和会议COLT、NeurIPS、ICML、ICLR、AISTATS等。表明团队具有高度的国际影响力。

版权所有©北京大学大数据分析与应用技术国家工程实验室 京ICP备05065075号-1 京公网安备 110402430047 号