2022 年，谷歌旗下 DeepMind 与瑞士洛桑联邦理工学院瑞士等离子体中心联合，开发了一个人工智能深度强化学习系统，并成功实现对托卡马克内部核聚变等离子体的控制。

近日，他们在此前研究的基础之上，在人工智能可控核聚变领域取得新突破：不仅通过实验模拟将等离子体形状的精度提高了 65%，还让新任务学习所需的训练时间实现 3 倍及以上的减少。

（来源：DeepMind Twitter 截图）

长期以来，相关领域的科学家们，一直在寻找清洁、取之不尽的能源，以缓解全球能源危机。核聚变是其中一种潜在的路径。

作为一种为宇宙中的恒星提供动力的方式，核聚变涉及到将氢核聚变，而氢是海水中常见的元素。只有掌握反应堆内部的的物理原理，人类才能通过核聚变获取想要的清洁能源。

几十年来，全球范围内的科学家们一直致力于托卡马克装置的研究。它是一种被磁线圈包围的大型环形容器，产生用于驱动等离子体的可变磁场。由于托卡马克中的等离子体不稳定，因此设计该线圈的控制系统是一个复杂的过程，每当等离子体的所需配置发生变化时都必须重复该过程。

为此，2022 年，DeepMind 和瑞士等离子体中心合作，构建了一个使用人工智能设计托卡马克控制器的三步流程。首先，实验设计者为等离子体的各种物理参数提供一组目标值，比如电流、位置和伸长率，这些目标被转化为用于强化学习训练的奖励函数。强化学习算法与模拟托卡马克环境交互，并尝试找到该奖励函数的最佳控制策略。

图丨通过深度强化学习对托卡马克等离子体进行磁控制（来源：Nature）

由于仿真环境的运行速度相对较慢，因此 DeepMind 使用了一种被称为最大后验策略优化的行动者-批评者算法来优化控制器策略。在这个方案中，研究人员使用了更大的循环神经网络，它可以模拟托卡马克复杂的时域动力学。

研究人员进行了一系列典型的等离子体实验，在这些实验中，控制器调控等离子体所需的电流、形状和位置等参数值。在所有实验中，控制器都将所需值保持在可接受的容差范围内。该系统被用于瑞士等离子体中心的托卡马克装置上，能控制其中的磁铁两秒钟，这是反应堆在过热之前可以运行的最长时间。

（来源：DeepMind 官网）

2022 年 2 月 16 日，相关论文以《基于深度强化学习的托卡马克等离子体磁控制》（Magnetic control of tokamak plasmas through deep reinforcement learning）为题在 Nature 上发表[1]。

图丨相关论文（来源：Nature）

DeepMind 研究人员乔纳斯·德格拉夫（Jonas Degrave）、乔纳斯·布赫利（Jonas Buchli），以及瑞士等离子体中心研究人员费德里科·费利奇（Federico Felici）为该论文的共同第一作者，费德里科·费利奇、乔纳斯·布赫利和布兰登·D·特雷西（Brendan D. Tracey）担任该论文的共同通讯作者。

然而，强化学习具有诸多缺点，影响了控制托卡马克等离子体的效果。在最新的这项研究中，相关研究人员使用了与 2022 年研究成果相同的基本实验设计，并攻克了其中三方面的难题。

第一，他们提出了一种奖励函数塑造的方法，并将其作为直观和简单的解决方案，进一步提高控制精度；第二，为了在积分器反馈中解决稳态误差问题，他们给智能体提供清晰的误差和集成误差信号，这减少了经典控制器和强化学习控制器之间的精度差距；第三，在章节分块和迁移学习中，他们克服了生成控制策略需要花费的训练时间问题。

其中，值得一提的是，他们使用多重启动方法，来解决放电问题，这极大地减少了所需的训练时间。

总的来说，这些技术让训练时间和准确性分别实现了有效的减少和提升，帮助深度学习技术成为等离子体控制的常规可用技术。

几天前，新的相关论文以《面向托卡马克磁控制的实用强化学习》（Towards practical reinforcement learning for tokamak magnetic control）为题在预印本网站 arXiv 上发表[2]。

图丨相关论文（来源：arXiv）

DeepMind 的研究人员布兰登·D·特雷西、安德里亚·米奇（Andrea Michi）、尤里·切尔沃尼（Yuri Chervonyi）和伊恩·戴维斯（Ian Davies）为该论文的共同第一作者。

未来，DeepMind 团队不仅会继续推动模拟性能的提升，还将在硬件上匹配实际等离体子放电时的性能水平。

参考资料：

1. Degrave, J., Felici, F., Buchli, J. et al. Magnetic control of tokamak plasmas through deep reinforcement learning. Nature 602, 414–419 (2022). https://doi.org/10.1038/s41586-021-04301-9

2. Tracey, B D., Michi, A., Chervonyi, Y.et al. Towards practical reinforcement learning for tokamak magnetic control. arXiv（2023）.https://doi.org/10.48550/arXiv.2307.11546

https://www.deepmind.com/blog/accelerating-fusion-science-through-learned-plasma-control

https://www.cnbc.com/2022/02/18/deepmind-scientists-trained-an-ai-to-control-nuclear-fusion-.html

https://www.infoq.com/news/2022/05/deepmind-fusion-control/

支持：张智