优化技术在众多领域有着广泛的应用, 受到高度重视^[1-3]. 无约束最优化问题的一般形式为

$ \begin{align} \text {min} f(x), \quad x\in R^n, \end{align} $

(1.1)

$ f: R^n \rightarrow R $是连续可微函数. 共轭梯度法因其存储量小, 仅需一阶导数信息, 不需大规模矩阵求逆运算等优点, 被认为是求解(1.1)的一类非常有效的方法^[4-6]. 共轭梯度法求解(1.1) 的一般迭代公式为:

$ \begin{equation} x_{k+1}=x_{k}+\alpha_{k}d_{k}, \end{equation} $

(1.2)

其中$ \alpha_k $为歩长因子, 可通过精确线搜索或非精确线搜索求得. $ d_{k} $为$ f(x) $在$ x_{k} $点的下降方向, 通常定义为

$ \begin{eqnarray} d_{k}=\left\{ \begin{array}{ll} -g_{1} & k=1 \\ -g_{k}+\beta_{k}d_{k-1} & k\geq2, \end{array} \right. \end{eqnarray} $

(1.3)

其中$ g_k=\nabla f(x_{k}) $, 一般情况下要求$ g_{k}^{T}d_{k} < 0 $, 更进一步要求$ d_{k} $满足充分下降性^[7], 即满足

$ \begin{equation} g_{k}^{T}d_{k}\leq -c \|g_{k}\|^{2}. \end{equation} $

(1.4)

$ \beta_k $是一标量, $ \beta_k $的不同选取, 对应不同的共轭梯度法. 较著名的有

$ \begin{equation} \nonumber \label{} \beta_{k}^{FR}=\frac{\|g_{k}\|^{2}}{\|g_{k-1}\|^{2}} (\text{Fletcher-Reeves[8], 1964}), \end{equation} $

$ \begin{equation} \nonumber \label{} \beta_{k}^{PRP}=\frac{g_{k}^{T}y_{k-1}}{\|g_{k-1}\|^{2}} (\text{Polak-Ribière-Polyak[9], 1969}), \end{equation} $

$ \begin{equation} \nonumber \label{} \beta_{k}^{DY}=\frac{\|g_{k}\|^{2}}{d_{k-1}^{T}y_{k-1}} (\text{Dai-Yuan[10], 1999}), \end{equation} $

等, $ y_{k-1}=g_{k}-g_{k-1} $. 为得到上述方法的全局收敛性, 一般需步长$ \alpha_k $满足强Wolfe条件, 即满足

$ \begin{equation} f(x_{k}+\alpha_{k}d_{k})\leq f(x_{k})+\rho \alpha_{k}g_{k}^{T}d_{k}, \end{equation} $

(1.5)

$ \begin{equation} \sigma g_{k}^{T}d_{k}\leq g(x_{k}+\alpha_{k}d_{k})^{T}d_{k}\leq-\sigma g_{k}^{T}d_{k}, \end{equation} $

(1.6)

其中$ 0<\rho<\sigma<1 $.

如果优化函数不是二次函数时, 这些算法的计算效率有较大差异. 一般地, 基于非精确线搜索的DY和FR方法具有良好的收敛性能, 但计算效率不如PRP方法. 然而对于一般目标函数, 基于非精确线搜索的PRP方法无法保证产生的搜索方向为下降方向, 无法保证算法的全局收敛性. 为了建立兼具良好数值表现和收敛性质的方法, 近年来, 许多学者提出了改进的共轭梯度法, 这些算法在满足强Wolfe线搜索准则条件下具有充分下降性和全局收敛性. 例如, 文献[11]通过分段函数, 提出一种混合的PRP-WYL共轭梯度法. 文献[12]提出了一种带两个参数的三项共轭梯度法. 文献[13]在PRP公式中引入调节因子, 并据此提出了一个自调节PRP共轭梯度法. Yousif^[14]提出一个改进的RMIL共轭梯度法. Sellami和Sellami[15]提出一个改进的FR共轭梯度法. 文献[16]提出一个三参数族共轭梯度法. Dong[17]提出一种改进的PRP共轭梯度法. 其他的改进共轭梯度法见文献[18-20]. 这些共轭梯度法一般要求线搜索方向近似满足Dai-Liao共轭条件^[21], 即$ d_k^Ty_{k-1}=-\xi g_k^T s_{k-1}(\xi\geq 0)$, 其中$ s_{k-1}=x_{k}-x_{k-1} $. 当搜索方向不能近似满足共轭条件时, 算法的充分下降和收敛性质将不再成立.

受这些文献的启发, 本文给出一个新的$ d_k $和$ \beta_k $的计算公式,

$ \begin{eqnarray} d_{k}=\left\{ \begin{array}{ll} -g_{1} & k=1 \\ (\beta_{k}-1)g_{k}-\beta_{k}d_{k-1} & k\geq2, \end{array} \right. \end{eqnarray} $

(1.7)

$ \begin{equation} \beta_{k}=\frac{\|g_{k}\|^{2}}{\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}}, \end{equation} $

(1.8)

并证明了这类方法在不要求搜索方向为共轭方向, 不要求满足Dai-Liao共轭条件的情况下, 使用强Wolfe线搜索时仍具有充分下降和全局收敛性质, 且当目标函数为一致凸函数时, 新算法具有线性收敛速率. 最后, 我们通过数值试验来验证新算法的优越性.

为证明本文所提出方法的全局收敛性, 需要如下两个常规假设.

(H1) $ f(x) $在水平集$ \Omega:=\{x\in R^{n}|f(x)\leq f(x_{1})\} $上有下界, 其中$ x_{1} $为算法初始点.

(H2) $ f(x) $在水平集$ \Omega $的一个邻域$ N $内连续可微, 且其梯度函数$ g $满足Lipschitz条件, 即存在常数$ L>0 $, 满足$ \|g(x)-g(y)\|\leq L\|x-y\|, \; \forall \; x, y \in N $.

基于公式(1.7)和(1.8), 建立如下算法(简称算法A):

Step 1: 给定初值$ x_{1}\in R^n $, $ \varepsilon>0 $, $ \rho\in(0, 1) $, $ \sigma\in(\rho, 1) $, 令$ d_1=g_1 $, $ k: =1 $.

Step 2: 如果$ \|g_{k}\|<\varepsilon $, 则停止, 否则转Step 3.

Step 3: 由强Wolfe准则计算$ \alpha_k $.

Step 4: 由(1.7)和(1.8)计算$ d_k $, $ \beta_k $, $ x_{k+1}=x_{k}+\alpha_{k}d_{k} $.

Step 5: 令$ k: =k+1 $, 转Step 2.

下面的引理2.1表明由算法A产生的搜索方向满足充分下降性质(1.4).

引理2.1  设目标函数$ f(x) $连续可微, 则算法A产生的搜索方向$ d_k $满足$ g_{k}^{T}d_{k}\leq -c \|g_{k}\|^{2} $.

证  当$ k=1 $时, $ g_{1}^{T}d_{1}=-\|g_{1}\|^{2}<-\frac{1}{\sigma+1}\|g_{1}\|^{2}=-c\|g_{1}\|^{2} $, 这里$ c=\frac{1}{\sigma+1}>0 $. 假设对$ k-1 $的情形$ g_{k-1}^{T}d_{k-1}\leq -c \|g_{k-1}\|^{2} $成立. 下面证明对$ k $的情形也成立.

$ \begin{eqnarray} \label{} g_{k}^{T}d_{k}&=& g_{k}^{T}[(\beta_k-1)g_{k}-\beta_kd_{k-1}]\\ &=&(\beta_k-1)\|g_{k}\|^{2}-\beta_k g_{k}^{T}d_{k-1}\\ &=&\left(\frac{\|g_{k}\|^{2}}{\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}}-1\right)\|g_{k}\|^{2}- \frac{\|g_{k}\|^{2}}{\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}} g_{k}^{T}d_{k-1}\\ &=&\|g_{k}\|^{2}\left(\frac{\|g_{k}\|^{2}-[\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}]-g_{k}^{T}d_{k-1}} {\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}}\right)\\ &=&\|g_{k}\|^{2}\left(\frac{g_{k-1}^{T}d_{k-1}} {\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}}\right)\\ &=&\|g_{k}\|^{2}\left(\frac{g_{k-1}^{T}d_{k-1}} {\|g_{k}\|^{2}-g_{k}^{T}d_{k-1}-g_{k-1}^{T}d_{k-1}}\right)\\ &\leq&\|g_{k}\|^{2}\left(\frac{g_{k-1}^{T}d_{k-1}} {-g_{k}^{T}d_{k-1}-g_{k-1}^{T}d_{k-1}}\right)\\ &=&-\|g_{k}\|^{2}\left(\frac{g_{k-1}^{T}d_{k-1}} {g_{k}^{T}d_{k-1}+g_{k-1}^{T}d_{k-1}}\right) \\ &\leq&-\|g_{k}\|^{2}\left(\frac{g_{k-1}^{T}d_{k-1}} {\sigma g_{k-1}^{T}d_{k-1}+g_{k-1}^{T}d_{k-1}}\right)\\ &=& -\frac{1}{\sigma+1} \|g_{k}\|^{2} \\ &=& -c \|g_{k}\|^{2}. \end{eqnarray} $

因此引理得证.

引理2.2  设目标函数$ f(x) $连续可微, 则算法A产生的标量$ \beta_{k} $满足$ 0<\beta_{k}<1 $.

证  在强Wolfe准则下, 根据引理2.1, $ \beta_{k} $的分母

$ \begin{eqnarray} \label{} {\|g_{k}\|^{2}-(g_{k}+g_{k-1})^{T}d_{k-1}}&\geq& {\|g_{k}\|^{2}+\sigma g_{k-1}^{T}d_{k-1}-g_{k-1}^{T}d_{k-1}}\\ &=&\|g_{k}\|^{2}+(\sigma-1)g_{k-1}^{T}d_{k-1}\\ &\geq&\|g_{k}\|^{2}+c(1-\sigma)\|g_{k-1}\|^{2}\\ &\geq&\|g_{k}\|^{2}. \end{eqnarray} $

由于$ \beta_{k} $的分子分母皆大于零, 且分母大于分子, 因此引理得证.

引理2.3  设目标函数$ f(x) $连续可微, 则算法A产生的搜索方向$ d_k $满足$ \|d_{k}\|^{2}\leq \|g_{k}\|^{2}+\|d_{k-1}\|^{2} $.

证  由(1.7)可知, 当$ k=1 $时, 引理显然成立. 当$ k\geq2 $时, $ d_{k}-(\beta_k-1)g_{k}=-\beta_kd_{k-1}$, 上式两端取模的平方, 并移项得到

$ \begin{eqnarray} \label{} \|d_{k}\|^{2}= 2(\beta_k-1)g_{k}^{T}d_{k}-(\beta_k-1)^{2}\|g_{k}\|^{2}+(\beta_k)^{2}\|d_{k-1}\|^{2}. \end{eqnarray} $

由引理2.1, $ g_{k}^{T}d_{k}<0 $, 引理2.2, $ 0<\beta_k<1 $, 所以上式第一项大于零, 因此上式$ \leq-(\beta_k-1)^{2}\|g_{k}\|^{2}+(\beta_k)^{2}\|d_{k-1}\|^{2}$, 由三角不等式, 上式$ \leq (\beta_k-1)^{2}\|g_{k}\|^{2}+(\beta_k)^{2}\|d_{k-1}\|^{2} \leq \|g_{k}\|^{2}+\|d_{k-1}\|^{2} $. 因此引理得证.

引理2.4  设目标函数$ f(x) $连续可微, 则算法A产生的步长$ \alpha_k $满足$ \alpha_k\geq\frac{(\sigma-1)g_{k}^{T}d_{k}}{L\|d_{k}\|^{2}} $.

证  一方面, 根据假设H2可知,

$ \begin{eqnarray} \label{} (g_{k+1}-g_{k})^{T}d_{k}&=&(g(x_k+\alpha_k d_{k})-g(x_k))^{T}d_{k}\\ &\leq&\| g(x_k+\alpha_k d_{k})-g(x_k)\| \| d_{k}\|\\ &\leq&\| L(x_k+\alpha_k d_{k}-x_k)\| \| d_{k}\| \\ &=&\alpha_k L \| d_{k}\|^2. \end{eqnarray} $

另一方面, 根据强Wolfe准则可知, $ (g_{k+1}-g_{k})^{T}d_{k}=g_{k+1}^{T}d_{k}-g_{k}^{T}d_{k} \geq(\sigma-1)g_{k}^{T}d_{k} $. 结合上述两方面, 可得

$ \begin{eqnarray} \label{} \alpha_k L \| d_{k}\|^2&\geq& (\sigma-1)g_{k}^{T}d_{k} \alpha_k \geq \frac{(\sigma-1)g_{k}^{T}d_{k}}{L\|d_{k}\|^{2}}. \end{eqnarray} $

因此引理得证.

引理2.5  若H1和H2成立, $ \{x_k\} $是有算法A产生迭代点列, 则$ \sum\limits_{k=2}^{\infty}\frac{\|g_{k}\|^4}{\|g_{k}\|^2+\|d_{k-1}\|^2}<+\infty $

证  由(1.5)及引理2.1, 2.3, 2.4有

$ \begin{eqnarray} \label{} f(x_k)-f(x_{k+1})&\geq&-\rho\alpha_k g_{k}^{T}d_{k}\\ &\geq&-\rho\frac{(\sigma-1)(g_{k}^{T}d_{k})^2}{L\|d_{k}\|^{2}}\\ &\geq&\rho\frac{(1-\sigma)c^2\| g_{k}\|^4}{L(\|g_{k}\|^{2}+\|d_{k-1}\|^{2})}\\ &=&\theta\frac{\|g_{k}\|^4}{(\|g_{k}\|^{2}+\|d_{k-1}\|^{2})}, \end{eqnarray} $

这里$ \theta=\frac{\rho(1-\sigma)c^2}{L} $. 因为$ \{f(x_k) \}$单调不增且有下界, 故知$ \sum\limits_{k=2}^{\infty}\left(f(x_k)-f(x_{k+1})\right)<+\infty $, 从而知$ \sum\limits_{k=2}^{\infty}\frac{\|g_{k}\|^4}{\| g_{k}\|^2+\| d_{k-1}\|^2}<+\infty $, 故引理得证.

定理3.1  若H1和H2成立, $ \{x_k\} $是由算法A产生迭代点列, 则或者$ \lim\limits_{k\rightarrow \infty}\inf \|g_{k}\|=0 $, 或者$ x_k $无界.

证  若$ \lim\limits_{k\rightarrow \infty}\inf \|g_{k}\|=0 $不成立, 则存在常数$ \varepsilon>0 $, 对任意$ k\geq1 $, 有$ \|g_{k}\|\geq\varepsilon $. 由$ \Phi(\alpha)=\frac{\alpha^2}{\alpha+\|d_{k-1}\|^{2}} $为单调增函数知

$ \begin{align} \frac{\varepsilon^4}{\varepsilon^2+\|d_{k-1}\|^{2}}\leq\frac{\| g_{k}\|^4}{\| g_{k}\|^2+\|d_{k-1}\|^{2}}. \end{align} $

(3.1)

若$ \{x_k\} $有界, 则由H2知$\{ \| g_{k}\|^2 \}$有界. 即存在$ M>0 $, 对任意$ k\geq2 $有$ \| g_{k}\|^2\leq M $. 由引理2.3知$ \|d_{k}\|^{2}\leq \|g_{k}\|^{2}+\|d_{k-1}\|^{2} \leq M+\|d_{k-1}\|^{2} \leq \cdots \leq kM $. 由上式(3.1)及引理2.5知

$ \begin{eqnarray} \label{} \sum\limits_{k=2}^{\infty}\frac{\varepsilon^4}{\varepsilon^2+kM}&\leq&\sum\limits_{k=2}^{\infty}\frac{\varepsilon^4}{\varepsilon^2+\|d_{k-1}\|^{2}} \leq\sum\limits_{k=2}^{\infty}\frac{\| g_{k}\|^4}{\| g_{k}\|^2+\|d_{k-1}\|^{2}} \leq+\infty. \end{eqnarray} $

而$ \sum\limits_{k=2}^{\infty}\frac{\varepsilon^4}{\varepsilon^2+kM}=+\infty $, 故矛盾, 从而知$ \{x_k \}$无界.

定理3.2  若H1和H2成立, 且水平集$ \Omega $有界, $ \{x_k\} $是由算法A产生迭代点列, 则$ \lim\limits_{k\rightarrow \infty}\inf \|g_{k}\|=0 $.

证  由水平集$ \Omega $有界知$\{ x_k \}$有界, 由定理3.1证明可知$ \lim\limits_{k\rightarrow \infty}\inf \|g_{k}\|=0 $.

为证明本文所提出方法的收敛速率, 需要如下假设.

(H3) $ f(x) $是二次连续可微的一致凸函数. 即存在$ m>0 $, $ M>0 $, 满足$ m \|y\|^2\leq y^T\nabla^2 f(x) y\leq M\|y\|^2, \quad \forall x, y \in R^n $. 若(H3)成立, 根据文献[22]可得到下面两个引理.

引理4.1  若(H3)成立, 则$ f(x) $具有下列性质:

(1) $ f(x) $在$ R^n $上有唯一的极小点$ x^* $.

(2) 水平集$ \Omega $有界.

(3) $ \frac{m}{2} \|x-x^*\|^2\leq f(x)-f(x^*)\leq \frac{M}{2} \|x-x^*\|^2 $, $ m \|x-x^*\|\leq \|g(x)\|\leq M \|x-x^*\| $.

(4) 假设(H1), (H2)成立.

引理4.2  若H3成立, $ \{x_k\} $是由算法A产生迭代点列, 且满足$ \lim\limits_{k\rightarrow \infty}\inf \|g_{k}\|=0 $, 则$ x_k\rightarrow x^* $ ($ k\rightarrow \infty $). 这里$ x^* $为$ f(x) $的唯一极小点.

定理4.1  若H3成立, $ \{x_k\} $是由算法A产生迭代点列, 则$ x_k\rightarrow x^* $ ($ k\rightarrow \infty $). 进一步, 则或者存在一个无穷子列$ \{x_k\}_{k\in K \subset \{1, 2, \cdots\}} $, 使$ \lim\limits_{k\rightarrow \infty\atop k\in K}\frac{\|g_{k}\|}{\|d_{k}\|}=0 $; 或者$ \{x_k\} $线性收敛于$ x^* $.

证  由定理3.2知$ \lim\limits_{k\rightarrow \infty}\inf \|g_{k}\|=0 $, 从而由引理4.2知$ x_k\rightarrow x^* $ ($ k\rightarrow \infty $). 若$ \{\frac{\|d_{k}\|}{\|g_{k}\|}\} $无界, 则必存在无穷点列$ \{x_k\}_{k\in K \subset \{1, 2, \cdots\}} $, 使$ \lim\limits_{k\rightarrow \infty \atop k\in K}\frac{\|d_{k}\|}{\|g_{k}\|}=+\infty $, 从而知$ \lim\limits_{k\rightarrow \infty \atop k\in K}\frac{\|g_{k}\|}{\|d_{k}\|}=0 $. 若$ \{\frac{\|d_{k}\|}{\|g_{k}\|}\} $有界, 即存在$ \frac{1}{\mu}>0$, 对任意$ k\geq 1 $, 有$ \frac{\|d_{k}\|}{\|g_{k}\|}\leq \frac{1}{\mu} $, 从而有

$ \begin{eqnarray} \frac{\|g_{k}\|}{\|d_{k}\|}\geq \mu. \end{eqnarray} $

(4.1)

由$ g_{k+1}-g_{k}=\alpha_{k}\int_0^1\nabla^2f(x_k+\tau\alpha_{k}d_{k})d_{k}d\tau$, 和假设H3知

$ \begin{eqnarray} (g_{k+1}-g_{k})^Td_{k}=\alpha_{k}\int_0^1d_{k}^T\nabla^2f(x_k+\tau\alpha_{k}d_{k})d_{k}d\tau\leq \alpha_{k}M \|d_{k}\|^2.\\ \end{eqnarray} $

(4.2)

又根据Wolfe条件得

$ \begin{eqnarray} (g_{k+1}-g_{k})^Td_{k}\geq(\sigma-1)g_{k}^Td_{k}, \end{eqnarray} $

(4.3)

故由(4.2)和(4.3)知

$ \begin{eqnarray} \alpha_{k}\geq\frac{(\sigma-1)g_{k}^Td_{k}}{M \|d_{k}\|^2}\geq\frac{(\sigma-1)g_{k}^Td_{k}}{2M \|d_{k}\|^2}. \end{eqnarray} $

(4.4)

由引理2.1和(4.1)知

$ \begin{eqnarray} \frac{-g_{k}^Td_{k}}{\|g_{k}\| \|d_{k}\|}\geq\frac{c \|g_{k}\|^2}{\|g_{k}\| \|d_{k}\|}=\frac{c \|g_{k}\|}{\|d_{k}\|}\geq c\mu. \end{eqnarray} $

(4.5)

由(1.5), (4.4)和(4.5)知

$ \begin{eqnarray} \label{} f(x_k)-f(x_{k+1})\geq-\rho\alpha_k g_{k}^{T}d_{k} \geq\frac{\rho(1-\sigma)}{2M}\left(\frac{g_{k}^{T}d_{k}}{\|d_{k}\|}\right)^2 =\frac{\rho(1-\sigma)}{2M}\left(\frac{g_{k}^{T}d_{k}}{\|d_{k}\|\|g_{k}\|}\right)^2\|g_{k}\|^2 \geq\frac{\rho(1-\sigma)c^2\mu^2}{2M}\|g_{k}\|^2. \end{eqnarray} $

令$ \eta=\frac{\rho(1-\sigma)c^2\mu^2}{2M} $, 由引理4.1(3)知

$ \begin{eqnarray} \label{} f(x_k)-f(x_{k+1})\geq\eta\|g_{k}\|^2\geq\eta m^2\|x_k-x^*\|^2\geq\frac{\eta m^2}{M}\left(f(x_k)-f(x^*)\right). \end{eqnarray} $

令$ \omega=\frac{\eta m^2}{M}=\frac{m^2\rho(1-\sigma)c^2\mu^2}{M^2} $, 则

$ \begin{eqnarray} \label{} f(x_k)-f(x_{k+1})\geq\omega\left(f(x_k)-f(x^*)\right), \end{eqnarray} $

即

$ \begin{eqnarray} f(x_{k+1})-f(x_k)\leq-\omega\left(f(x_k)-f(x^*)\right). \end{eqnarray} $

(4.6)

下面证$ 0<\omega<1 $. 由Cauchy-Schwartz不等式及引理2.1有$ \|g_{k}\|\|d_{k}\|\geq-g_{k}^{T}d_{k}\geq c\|g_{k}\|^2$, 从而由(4.5)知$ c\mu\leq1 $, 故

$ \begin{eqnarray} \label{} \omega=\frac{m^2\rho(1-\sigma)c^2\mu^2}{M^2}\leq\frac{m^2\rho(1-\sigma)}{M^2}<1. \end{eqnarray} $

又由(4.6)知

$ \begin{eqnarray} \label{} f(x_k)-f(x^*)&=&f(x_k)-f(x_{k-1})+f(x_{k-1})+f(x^*)\\ &\leq&-\omega\left(f(x_{k-1})-f(x^*)\right)+\left(f(x_{k-1})-f(x^*)\right)\\ &=&(1-\omega)\left(f(x_{k-1})-f(x^*)\right)\\ &\leq&\vdots\\ &\leq&(1-\omega)^{k-1}\left(f(x_{1})-f(x^*)\right), \end{eqnarray} $

从而由引理4.1(3)和上式知$ \|x_k-x^*\|^2\leq\frac{2}{m}\left(f(x_{k})-f(x^*)\right)\leq(1-\omega)^{k-1}\frac{2\left(f(x_{1})-f(x^*)\right)}{m} $. 因为$ x^* $为$ f(x) $的唯一极小点, 故$ f(x_{1})-f(x^*)>0 $. 令$ p=\sqrt{\frac{2(f(x_{1})-f(x^*))}{m}} $, $ q=\sqrt{1-\omega} $($ 0<q<1 $), 则有$ \|x_k-x^*\|\leq pq^{k-1} $, 从而知$ \{x_k\} $线性收敛于$ x^* $. 定理得证.

为了检验本文所提出算法的数值效果, 我们从无约束优化问题测试集中选取了部分算例进行测试(具体算例见文献[4]), 并将数值结果与FR, PRP和DY经典算法进行比较. 测试环境为Windows 10操作系统, CPU1.6GHZ 4GB RAM, 所有程序由Matlab R2016a软件实现. 参数设置为$ \rho=0.04 $, $ \sigma=0.6 $, 算法的终止条件为$ \|g_k\|\leq 10^{-4} $或迭代次数超过1000. 测试函数和数值结果见表 1和表 2, 其中Functions表示测试函数的名称, $ NaN/NI/x_0/\bar{x}/f(\bar{x})/x^*/f(x^*) $分别代表程序运行无结果, 迭代次数, 算法初始值, 算法终止时的迭代值, 算法终止时的函数值, 函数最优解, 函数最优值.

从表 2结果可以看出, FR, PRP和DY算法在数值试验中的表现并不理想, 较多函数寻优失效. 本文提出的新算法具有良好的数值表现, 总体上优于比较的算法, 是可行的, 有效的.