2024-03-05 改进量的期望 Expected Improvement

发布于 2024年03月05日  •  2 分钟  • 974 字

在看正文之前，先复习一下期望（Expectation）：

在统计学和概率论中，期望是一个衡量随机变量取值的中心趋势的指标。

对于一个连续随机变量X，其期望值可以通过以下公式计算：

$$ \mathbb{E}[X] = \int_{-\infty}^{\infty} x \cdot p(x)dx $$

• x 是随机变量 X 的取值。
• p(x) 是随机变量 X 的概率密度函数，它描述了 X 取特定值 x 的概率。
• 积分是在整个实数域上进行的，即从负无穷到正无穷。

进入正文。

获取函数（Acquisition function）在多个方面存在差异，包括效用函数的选择、前瞻步骤的数量、风险厌恶或偏好的程度等。

效用函数的意思是数据的有用性，它可以是目标函数的值，可以是协方差，可以是平均值。

常用的Acquisition function有 EI，PI，UCB等。

EI（Expected Improvement） 是指在选取新的点的时候，用已有数据(observations)的最大值作为benchmark，它会计算已有数据的最大值和新观察值之间的期望差，让这个期望差越大越好。

记住，在Expected Improvement (EI) 中，我们通常对目标函数$f(x)$ 的改进感兴趣，而不是随机变量本身的期望值。

假设观测到的数据集为$D_n = {x_{1:n}, y_{1:n}}$，其中${y_1, …, y_n}$表示为在相应位置${x_1, …, x_n}$收集到的观测值值。在无噪声的情况下，实际观测值是准确的，即${y_1, …, y_n} = {f_1, …, f_n}$。 utility可以表示为 $u(D_n) = max{f_{1:n}} = f_n^*$ 。

如果选择一个新的点${x_{n+1},y_{n+1}}$，那么此时的 utility 为$u(D_{n+1}) = u(D_n \cup {x_{n+1}, f_{n+1}} )=max{f_{1+n}, f_n^*}$。

那么utility的改变为 $u(D_{n+1})-u(D) = \max {f_{n+1}, f_n^} - f_n^ = \max {f_{n+1}-f_n^*,0}$。这其实就是ReLu函数的形式。

如前所说，我们对改进值的期望感兴趣。EI 考虑的是在给定当前最佳解$f_n^*$ 的情况下，新点$x_{n+1}$的目标函数值$f_{n+1}$ 超过当前最佳值的期望量。这通常涉及到对效能函数的改进量$u(D_{n+1})-u(D)$的概率分布进行积分。

如果我们假设目标函数的改进量 $u(D_{n+1})-u(D)$遵循某种概率分布，那么EI 可以表示为：

$$ EI(x) = \mathbb{E}[u(D_{n+1})-u(D)] $$

$$ EI(x) = \int_{f_n^}^{\infty} \max {f_{n+1}-f_n^,0} p(f_{n+1} | x_{n+1},D_n) df_{n+1} $$

这里的$p(f_{n+1}$)表示的是改进量$u(D_{n+1})-u(D)$发生的概率密度。这个积分计算的是在 $x_{n+1}$ 点进行搜索时，目标函数值超过当前最佳值的预期改进量。