目录
全文主旨【省时间快读】
写在前面：
- 本次全文快读，使用了 Dmitry Berenson 的读论文方法（感觉很实用，所以特意写了一篇 博客）。
- 论文标题：Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning，用深度强化学习 做数据中心冷却 的优化。发表于 2019 年，已经被引 116 次。
- 不清楚这篇 2019 年的论文 是否算 RL 做此类优化的早期工作；
- Google Scholar 上，最早的相关工作是在 2017 年，18 年开始变多；
- 除了数据中心冷却之外，建筑的 HVAC（Heating Ventilation and Air Conditioning，供暖通风与空气调节）也比较多。
- 最后，这篇博客是我断断续续写了将近两个月才发出来的，中间跑去实习、又跑去保研、学运筹学、干各种事情，一直搁置到现在。
- 前几天有在读《Lessons from AlphaZero》，并且参加一些组会，对自动化有了一些新的认识。现在看来，下文的博客内容，可能有些太激进、过于偏颇了。
- 对于我的个人观点，读者随便看看就好。RL 是否纯粹，可能没那么重要，重要的是我们把问题解决了，这就足够了。
layer 1：知道 main idea
- 【问题定义】作者试图解决 / 研究什么类型的问题 / 现象？
- 我们希望帮助数据中心节能。数据中心的能耗主要分为三部分：① 电脑跑程序的能耗，② 冷却电脑的能耗，③ 房间照明、监控等其他 misc 事情（一般不考虑）。
- 然而，我们不能影响数据中心的任务调度（比如 A 机器已经很忙了，再干活就过热了，所以把任务强行塞给 B 机器），只能影响冷却系统（比如空调、冷却水等），控制冷却系统的功率、运作方式等。
- 我们的目标是：合理控制冷却系统，使得 ① 机器不过热 ② 能耗尽量小。
- 【问题重要性】读者为什么要关心这个问题 / 现象？
- 因为数据中心耗能很多，冷却耗能占一大部分，所以，如果能节省 15% 的冷却耗能，就已经是很大一笔。
- 【novelty】proposed method 与 previous works 有什么不同？
- previous works：一般采用 two-step 的形式，先（基于物理方程、专家经验等）建 DC 的模型，再基于进行控制。
- proposed method： end-to-end、RL-based method（虽然感觉 proposed method 不算典型 end-to-end，并且也不能算是典型 RL）。
- 【为何胜出】比 previous works 好在哪里？（比如 性能更好 / 更 general / 更快）
- general：用 neural net 代替一些模块，可以省去很多物理建模的复杂度吧。（但是随之而来的调参复杂度，不知道怎么样）
- 性能：貌似在某些情况下，性能＞baseline（一个魔改的 two-step method）。
- 【论文在文献树上的位置】这是什么类型的方法？（通常有几种方法可以解决相同的问题）
- 文中有提到传统的 two-step 解决方案，先物理建模数据中心，然后再 somehow 给出控制信号。
- 月出个人猜测，还会有一些 用 ai 取代部分模块 的方案，比如神经网络建模数据中心、启发式算法跑出控制信号。
- 这篇论文提出了全部采用 ai 技术的方案，并且采用了类似 RL 的框架。
- 【实际应用】这项工作有哪些应用？