目录
1. 贝叶斯优化的基本原理
贝叶斯优化是一种基于概率模型的优化方法，主要用于优化计算代价高昂的黑盒函数。它结合了先验知识和观察到的数据来更新后验知识，并用一个易于求解的代理模型（如高斯过程）来近似真实的目标函数。
原理和实现步骤：
-
先验分布：
贝叶斯优化开始时，我们对目标函数的行为没有太多信息，因此先假设一个先验分布，通常是高斯过程，它假设函数值的分布是正态分布的。 -
后验分布更新：
当通过实验或计算获得新的数据点后，使用这些数据来更新先验分布，得到后验分布。后验分布反映了在观测数据下对目标函数的新认识。 -
采集函数（Acquisition Function）：
采集函数基于当前的后验分布，用来评估下一个采样点的期望效用。常见的采集函数包括EI（Expected Improvement）、PI（Probability of Improvement）和UCB（Upper Confidence Bound）。选择最大化采集函数值的点作为下一个查询点。 -
迭代过程：
使用采集函数选择下一个点，观察目标函数在该点的输出，更新后验分布，然后重复此过程，直至满足停止条件（如达到最大迭代次数或收敛标准）。
2. 轮廓系数的原理
轮廓系数（Silhouette Score）是聚类效果好坏的一种评价指标。它结合了内聚度和分离度两个指标，用来衡量样本点到自己簇内其他点的距离平均值与到最近的其他簇的样本点的距离的平均值的比例。
公式：
对于单个样本 i i i，其轮廓系数 s ( i ) s(i) s(i)定义为：
s ( i ) = b ( i ) − a ( i ) max ( a ( i ) , b ( i ) ) s(i) = \frac{b(i) - a(i)}{\max(a(i), b(i))} s(i)=max(a(i),b(i))b(i)−a(i)
其中，
- a ( i ) a(i) a(i) 是样本 i i i到其同簇所有其他样本的平均距离（内聚度）。
- b ( i ) b(i) b(i) 是样本 i i i到其最近簇的所有样本的平均距离（分离度）。
轮廓系数的值域为 [ − 1 , 1 ] [-1, 1] [−1,1]：
- 接近1表示内聚度高而分离度高，即聚类效果好。
- 接近0表示两者相近，即聚类效果一般。
- 接近-1表示内聚度低而分离度低，即聚类效果差。
3. 贝叶斯优化的实现流程（伪代码）
初始化一个高斯过程（GP）作为目标函数的先验
while 未达到终止条件 do:
使用现有的GP模型，根据采集函数选择下一个参数点
在该参数点上运行目标函数，获取观测结果
将新的参数点和对应的观测结果加入到数据集中
使用所有观测数据更新GP模型（即更新后验）
end while
返回观测到的最优参数