MCTS notes

采样 trajectory，从尾部到头考虑每个节点，重新计算探索它的奖励。

如果是在一棵树上，我们可以在采样的时候考虑究竟是走谁。MCTS 认为如果你对一个子树探索次数很多，就得给别人一些机会，即使这个子树的reward很高。我们用 \(p_x\) 表示 \(x\) 点的得分，具体式子感觉很奇怪，我不知道为什么又开根又 \(\ln\)，可能是求导或者做函数分析得到的。这个 \(p_x\) 需要平衡探索 reward 和在子树里面探索的次数。

感觉这些函数设计很奇怪啊，完全不知道为什么要这么写式子

pipeline 其实很自然，优先选没有探索过的节点探索（这里在没探索过的点里面随机选一个），撞到南墙之后更新这条链上所有点的状态。如果某个点的所有后继都探索过了，就选 \(p_x\) 比较大的探索。