袁坤，北京大学国际机器学习研究中心助理教授，大数据分析与应用技术国家工程实验室联聘助理教授。2011年于西安电子科技大学通信工程系获得学士学位，2014年于中国科学技术大学自动化系获得硕士学位，2019年于美国加州大学洛杉矶分校电子与计算机工程系获得博士学位。他曾在2018年到瑞士洛桑联邦理工学院任访问研究员，2019年至2022年在阿里巴巴达摩院美国西雅图研究中心任高级算法专家。袁坤主要从事最优化、信号处理、机器学习、数据科学等领域中的理论与算法研究。他目前主要关注如何为深度学习、联邦学习、以及边缘计算中的大规模问题设计快速且可靠的分布式优化与学习算法。

Q：请简要介绍一下您当前的研究方向和研究工作。

A：我当前的主要研究方向为最优化算法及其在机器/深度学习问题中的应用。以ChatGPT为代表的大语言模型正在为人工智能的发展带来革命性的变化。大语言模型的预训练、微调与提示词这三个子领域的发展需要新的最优化理论与算法。目前，在预训练方面，我们正在研究面向大规模机器/深度学习模型、侧重通信高效与系统鲁棒的分布式训练方法。在微调方面，我们在研究可节省内存、可在廉价硬件设备中高效运行的微调方法。在提示词方面，我们把大语言模型作为帮手与工具，研究如何通过设计和调整提示词，让大语言模型协助解决我们关心的科研问题。

Q：您在国外工作期间有什么或印象深刻或有趣的经历吗？这些经历对您从事机器学习研究及后期的选择产生了哪些影响？

A：我在博士毕业之后有一段为期三年的工业界工作经历，这段经历对我后续的研究方向与内容有较大的影响。在读书期间，我要花许多时间来找研究问题，有些问题甚至是“空想”出来的。这些问题的理论会很有趣，但经常找不到好的实际应用。在工业界工作后，我发现不再是我找问题了，而是问题找我。到处都是值得研究的问题，并且往往都可以提炼成既有科学意义，又有实用价值的好问题。所以我现在会比较多的结合应用场景，从实际应用的困难与痛点中提炼有价值的研究问题。

Q：对您而言，机器学习最独特的魅力是什么？

A：机器学习技术的出现，极大提高了计算机的智能，解放了人们的双手，让人们从繁琐的体力或者重复性的脑力活动中解放出来，从而有时间与精力去从事更有价值更具挑战性的生产活动，这一点我觉得的是机器学习最大的魅力。

Q：您对未来在中心的研究和教学工作有哪些规划或期待？

A：我们机器学习中心是一个新成立的非常有朝气的研究机构，未来的发展有无限的可能。我非常荣幸能成为进入咱们中心的首批科研人员之一。在教学方面，我已经开设了《深度学习中的最优化方法》这门课，向同学们讲解了各种深度学习模型与应用场景中训练方法与理论，得到同学们较多的关注与喜爱。另外，我还会教授一门《大语言模型与提示词工程》的课程，希望能与同学们一起来梳理大语言模型这一当前最火热的深度学习技术。在科研方面，我会在大语言模型的预训练、微调与提示词这三个方面继续研究，从系统与算法联合设计的角度，争取做出有价值的结果。

Q：请您谈谈做研究的苦与乐。

A：我觉得做研究的最大困扰就是经常性地陷入迷茫，找不到解决问题的明确方向。我们所面对的，往往是一些开放性的研究问题，没有现成的答案可供参考，只能依靠自己的思考和探索去寻找可能的解决方案。在这个过程中，我们需要不断地尝试各种思路，一个个加以验证，但很多时候，这些尝试都以失败告终。有时候，我们甚至需要推翻已经进行了很长时间的研究，重新开始新的探索。这种反复试错、不断推翻重来的过程，是比较压抑和沮丧的。尤其是在付出了大量的时间和精力之后，却发现自己的努力并没有得到预期的回报，这种失落感有可能会让人丧失对科研的兴趣和信心。但一旦我们找到解决问题的正确思路并将其成功解决，那种喜悦和兴奋是无法用言语来形容的。总体而言，做研究是苦与乐并存，找到新思路的兴奋与思路走不通的沮丧相互交织，非常有意思。

Q：对青年学生如何做好科研您有哪些建议?

A：我觉得同学们在初次涉足科研领域时，应该非常慎重地选择他们的科研课题。这是因为对于大多数人来说，第一次的科研经历和体验将在很大程度上塑造他们的信心和对科研工作的心态。如果首次的科研尝试能够取得一定的科研成果，那么这无疑会极大地提升同学们的自信心和对科研的兴趣。这种积极的反馈将使他们以更加轻松和自信的心态投入到下一个科研项目中去。在我们课题组里，我会尽力为那些初次接触科研的同学们提供一个相对容易入手、研究思路清晰且研究结果可预期的研究项目。这样的安排旨在让大家能够更直接地感受到科研的乐趣，同时尽量减少由于不确定性而带来的迷茫和挫折感。通过这样一次成功的科研实践，我希望能够帮助同学们建立起对整个研究生阶段科研工作的信心，为他们后续的学术旅程奠定一个坚实的基础。

文章来源：北京大学国际机器学习研究中心

转载本网文章请注明出处