本文中所用记号$\mathbb{R}^{m\times n}$表示所有实数域上$m\times n$阶矩阵的集合; $I_{k}$为$k$阶单位矩阵.对$M\in\mathbb{R}^{m\times n}$, $M^{T}$和$M^{\dagger}$分别表示转置和Moore-Penrose广义逆.对矩阵$M, N\in\mathbb{R}^{m\times n}$, 内积定义为$\langle M, N\rangle={\rm trace}(M^TN)$, 由此导出的矩阵范数为Frobenius范数, 记为$\|\cdot\|$. ${\rm lcm}\{m, n\}$和${\rm gcd}\{m, n\}$分别表示正整数$m, n$的最小公倍数和最大公约数.对$M=[a_{ij}]$, $N=[b_{ij}]\in\mathbb{R}^{m\times n}$, $M\otimes N$表示矩阵$M$和$N$的Kronecker积[1]
$M\odot N$表示矩阵$M$与$N$的Hadamard积[1]
对$M=[a_{ij}]\in \mathbb{R}^{m\times n}$, 矩阵的列拉直算子${V}_{c}(\cdot)$和行拉直算子${V}_{r}(\cdot)$分别表示为
定义1[2] 给定矩阵$A\in \mathbb{R}^{m\times n}, B\in \mathbb{R}^{h\times k}$, 记$t={\rm lcm}\{n, h\}$为$n, h$的最小公倍数, 矩阵$A$和$B$的半张量积可表示为
半张量积最初由程代展教授提出用以解决多线性函数的矩阵表示问题[3], 随后不仅应用在高维数据的排列以及电力系统非线性鲁棒稳定控制代数化等问题[4], 而且为布尔网络[5], 密码学[6], 图染色[7], 模糊控制[8]等领域中的问题研究提供了一种新的研究工具.而这些问题的解决在某些情况下可归结为半张量积下线性方程或矩阵方程的求解问题.如在网络非合作化问题中[9], 设有$m$个玩家, 记$M=\{1, 2, \cdots, m\}$, 玩家$j$的策略集是$N=\{1, \cdots, n_{j}\}, j=1, 2, \cdots, m.$现假定玩家$j$的混合策略是
则所求的Nash均衡点$(a_{1}^{*}, a_{2}^{*}, \cdots, a_{m}^{*})$即等价于求解下列半张量积下的矩阵方程
其中$\Phi$已知.对于此类问题, 姚娟等[10]将其归结为半张量积下矩阵方程$A\ltimes X=B$求解问题, 并细致研究了半张量积下方程该有解的充要条件及具体解析表达式, 同时在其博士论文中讨论了半张量积下矩阵方程$A\ltimes X=B$的最小二乘解.在实际应用中, 如布尔网络, 模糊控制及网络非合作化问题中, 我们往往会遇见更加复杂的问题, 利用半张量积工具, 这类问题可归结为如下半张量积下的矩阵方程组
方程(1.1)中的系数矩阵均来自于实测数据, 由于测量误差的影响, 得到的数据总是不精确的.又由于舍入误差的影响, 方程(1.1)不一定满足类似于文[10]给出的较复杂的相容条件, 因此有必要讨论如下半张量积下矩阵方程组的最小二乘问题.
问题1 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$, 求$X^*\in \mathbb{R}^{p\times q}$满足
对于矩阵方程(组)的求解及其最小二乘解问题, 因其在生物学, 工程力学, 参数识别, 振动理论的逆问题以及线性规划等广泛的应用, 故已被广泛研究.众多学者利用矩阵分块, 广义逆, 矩阵分解等多种技巧方法将方程或方程组降维, 进而给出解存在的充要条件及其具体解析表达式, 或进一步讨论及最小二乘解及极小范数最小二乘解.如对一般矩阵方程组
Mitra[11]基于广义逆给出了极小秩最小二乘解; 李[12-14]分别探究了方程(1.3)的自反解, 广义自反解, 镜像对称最小二乘解, $\kappa$ -厄尔米特最小二乘解; 裘[15]则利用Kronecker积将其化成相应方程组, 再利用广义逆给出解的拉直形式; 袁[16]利用矩阵的谱分解给出了最小二乘解和对称最小二乘解的显示表达式.普通矩阵乘积下矩阵方程组(1.3)的求解及其最小二乘解已得到充分研究, 但半张量积下矩阵方程组(1.1)未见有研究成果, 因此将半张量积概念推广到矩阵方程组的研究工作也是有意义的.类似于文[10]处理半张量下矩阵方程$AX=B$的研究思路, 首先将半张量积下的矩阵方程组转化为普通乘积下的矩阵方程组, 进而结合矩阵分块、矩阵广义逆及其矩阵分解技巧给出最小二乘解的具体解析表达式.同样首先考虑矩阵-向量方程, 即(1.1)式中$X$为向量的情形, 研究其最小二乘解的具体解析表达式; 进而探究一般形式矩阵-矩阵方程, 即(1.1)式中$X$为矩阵的情形, 研究其最小二乘解的具体解析表达式.
本文推导过程中用到如下矩阵微分的基础知识
本节考虑矩阵-向量型的最小二乘问解, 即给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$, 和$D\in \mathbb{R}^{l\times d}$, 求向量$X^{*}\in \mathbb{R}^{p}$满足
由半张量积定义知, 在方程(1.1)中矩阵$A$与$B$的行数, 矩阵$X$与$D$的行数均存在倍数关系.故可分$m=h, p=l$; $m=h, p\neq l$; $m\neq h, p=l$和$m\neq h, p\neq l$四种情形来考虑问题.经验证$m=h, p=l$和$m=h, p\neq l$情况下$X^*$的解析表达式相同, 同样$m\neq h, p=l$和$m\neq h, p\neq l$情形下结果类似, 故只需从$m=h$和$m\neq h$这两种情形下展开讨论.我们的研究思路是, 首先利用半张量积的定义将问题转化为普通乘积下的最小二乘问题, 再结合矩阵的微分和广义逆给出最小二乘解$X^*$的具体解析表达式.
由半张量积定义, 可得问题(2.1)在$m=h$情形下有解的必要条件.
引理1 若$X$是问题(2.1)的解, 则矩阵$A, B, C, D$的维数需满足
ⅰ)$\frac{n}{k}$和$\frac{l}{a}$必为正整数.
ⅱ)$b=d$并且$p=\frac{l}{a}=\frac{n}{k}.$
证 对于
有$\frac{mt}{n}=h, \ \frac{t}{p}=k$, 其中$t={\rm lcm}\{n, p\}.$由$m=h$得$t=n$, 进而有$p=\frac{n}{k}$必为正整数.对于
有
因此$t_{1}=a$, 并且
从而$\frac{l}{a}$必为正整数.此外$p=\frac{l}{a}=\frac{n}{k}$, $b=d$.引理得证.
称引理1中的条件为维数相容条件, 并假定问题(2.1)满足相容条件.将(2.1)式转化为
其中$t_{1}={\rm lcm}\{n, p\}, t_{2}={\rm lcm}\{1, a\}$.记(2.2)式的目标函数为$F(X)$.此时有
其中$\widehat{A}_{r}=[A_{r}\ A_{k+r}\cdots\ A_{(p-1)k+r}]$, $\widehat{D}_{ij}=[d_{ij}\ d_{a+i, j}\cdots\ d_{(p-1)a+i, j}]^{T}$, $A_{s}$表示矩阵$A$的第$s$列, $B_{r}$表示矩阵$B$的第$r$列, $r=1, \cdots, k;$ $s=1, \cdots, n.$由一阶微分必要条件知$F(X^*)$达到极小须$\frac{\partial F(X^*)}{\partial X^*}=0$.对函数$F(X)$求导, 可得
结合广义逆, 可得如下结论.
定理1 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$, 则问题(2.)在$m=h$情形下的唯一最小二乘解$X^{*}$可表示为
例1 令
则由引理1有$p=\frac{n}{k}=\frac{6}{2}=\frac{l}{a}=3$.故$X^{*}\in \mathbb{R}^{3}$, 再由定理1可得
故唯一最小二乘解$X^{*}=[0.0332, 0.2373, 0.2391]^{T}$.
由半张量积定义, 可得$m\neq h$时问题(2.1)的维数相容条件.
引理2 若$X$是问题(2.1)的解, 则矩阵$A, B, C, D$的维数须满足
ⅰ)$\frac{h}{m}$, $\frac{n}{k}$和$\frac{l}{a}$必为正整数, ${\rm gcd}\{k, \frac{h}{m}\}=1$.
ⅱ)$p=\frac{l}{a}=\frac{nh}{mk}$, $b=d$.
证 由半张量积的定义有
因为$t_{1}=a$, $\frac{t_{2}}{n}=\frac{h}{m}$以及$p=\frac{l}{t_{1}}=\frac{l}{a}=\frac{t_{2}}{k}=\frac{nh}{mk}$, 从而$\frac{h}{m}$和$\frac{l}{a}$必为整数, 且有
其中$\frac{n}{k}$是$\frac{nh}{k}$的公约数.此外,
故可知$\frac{h}{m}$与$k$互素.若$\frac{l}{a}=\frac{n}{k}$, 则$p=\frac{h}{m}\cdot\frac{n}{k}=\frac{l}{a}$, 从而有$\frac{h}{m}=1$.这显然与条件矛盾.证明完毕.
假定问题(2.1)满足相容条件.由半张量定义, 问题(2.1)可转化为
记$\widetilde{A}=(A\otimes I_{h/m})$.此时问题(2.4)可转化为$m=h$情形来讨论, 利用上一小节的结论可得
定理2 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$, 则方程(2.1)在$m\neq h$情形下的最小二乘解$X^{*}$的解析表达式为
其中$\overline{A}_{r}=[\widetilde{A}_{r}\ \widetilde{A}_{k+r}\cdots\ \widetilde{A}_{(p-1)k+r}], $ $\widetilde{A}_{s}$表示矩阵$\widetilde{A}$的第$s$列, $B_{r}$表示矩阵$B$的第$r$列, $r=1, \cdots, k;$ $s=1, \cdots, nh/m.$
例2 令
则由引理2知$p=\frac{l}{a}=\frac{9}{3}=\frac{h}{m}\ast\frac{n}{k}=\frac{12}{4}\ast\frac{4}{4}=3$, 故最小二乘解$X^{*}\in \mathbb{R}^{3}$, 再由定理2可得
故其唯一最小二乘解$X^{*}=[ 0.8537\ \ 1.6393\ -1.1944]^{T}$.
本节讨论矩阵-矩阵型最小二乘解, 即给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$, 求矩阵$X\in\mathbb{R}^{p\times q}$使得
仿照第二节, 也分$m=h$, $l=p$; $m=h, l\neq p$; $m\neq h, l=p$和$m\neq h, l\neq p$四种情况讨论问题.先考虑$m=h$, $l=p$的情形, 其它情形可类似讨论.由半张量积的定义将(3.1)式转化为普通乘积下的最小二乘问题, 进而结合奇异值分解及广义逆给出最小二乘解$X^*$的解析表达式.为方便记(3.1)式中右端极小值问题中目标函数为$G(X).$
引理3 若$X\in \mathbb{R}^{{p}\times{q}}$是问题(3.1)的解, 则系数矩阵$A, B, C, D$的维数满足下列条件
(ⅰ) $\frac{n}{l}$, $\frac{d}{b}$必为正整数.
(ⅱ) $\frac{ad}{b}|k$, $\frac{n}{l}|k$且$q=\frac{ad}{b}=\frac{lk}{n}$.
证 对于方程(1.1)有
因为$m=h$和$l=p$, 则$t=n$, $t_{1}=q$, $\frac{t_{1}}{a}=\frac{q}{a}=\frac{d}{b}$和$\frac{t}{p}=\frac{n}{l}=\frac{k}{q}$.因此$p=l, q=\frac{ad}{b}$; 并且$\frac{d}{b}$, $\frac{n}{l}$均为整数, 且有$q=\frac{ad}{b}$和$\frac{n}{l}$均整除$k$.
假定问题(3.1)满足引理3中给出的维数相容条件.对于$A\ltimes X=B$, 有
其中$\overleftarrow{A}_{t}\in \mathbb{R}^{m\times n/l}, \overleftarrow{B}_{t}\in \mathbb{R}^{m\times n/l}$分别是矩阵$A, B$的列分块矩阵, $t=1, \cdots, q.$通过矩阵的列拉直算子${V}_{c}(\cdot)$将上式转化为
记
对于$X\ltimes C=D$, 有
记$\overleftarrow{C}=(C\otimes I_{d/b}).$由(3.2)和(3.3)式可得
对$G(X)$进行求导得
由一阶微分必要条件知, 函数$G(X^{*})$达到极小值需$\frac{\partial G(X)}{\partial X}=0.$因此
记矩阵$\overleftarrow{A}$, $\overleftarrow{C}$的奇异值分解为
其中$U_{1}=[U_{11}\ U_{12}]$, $V_{1}=[V_{11}\ V_{12}], U_{2}=[U_{21}\ U_{22}], V_{2}=[V_{21}\ V_{22}]$均为列正交矩阵.而$\Sigma_{1}={\rm diag}(\sigma_{1}\ \sigma_{2}\cdots\ \sigma_{s})$, $\Sigma_{2}={\rm diag}(\eta_{1}\ \eta_{2}\cdots\ \eta_{t})$, 其中$\sigma_{i}\geq 0, \eta_{j}\geq 0(i=1, \cdots, s;j=1, \cdots, t)$分别为矩阵$\overleftarrow{A}, \overleftarrow{C}$的奇异值, ${\rm rank}(\overleftarrow{A})=s$, ${\rm rank}(\overleftarrow{C})=t.$
将(3.6)式代入方程(3.5)得
假定
其中矩阵$X_{11}\in \mathbb{R}^{s\times t}, X_{12}\in \mathbb{R}^{s\times (q-t)}, X_{21}\in \mathbb{R}^{(p-s)\times t}, X_{22}\in \mathbb{R}^{(p-s)\times(q-t)}.$将上述分块代入方程(3.7), 方程(3.7)等价于
记$X_{11}=[X_{ij}], V_{11}^{T}(\overleftarrow{A}^{T}\overleftarrow{B}+D\overleftarrow{C}^{T})U_{21}=[d_{ij}], i=1, \cdots, s;\ j=1, \cdots, t$.由(3.8)式中第一个等式可得$\sigma_{i}^{2}x_{ij}+x_{ij}\eta_{j}^{2}=d_{ij}, $则
其中矩阵$Y=[y_{ij}], y_{ij}=\frac{1}{\sigma_{i}^{2}+\eta_{j}^{2}}.$由(3.8)式中的第二和第三个等式可得
定理3 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$, 则方程(3.1)在$m=h, p=l$情形下的最小二乘解$X^{*}$的解析表达式为
其中$X_{22}\in \mathbb{R}^{(p-s)\times (q-t)}$任意.
例3 令
则根据引理3可得, 其最小二乘解$X^{*}\in \mathbb{R}^{2\times 3}$, 由定理3可知
故最小二乘解
由半张量积定义给出$m=h, p\neq l$情形下问题(3.1)的维数相容条件.
引理4 若$X\in \mathbb{R}^{{p}\times{q}}$是问题(3.1)的最小二乘解, 则须满足两个条件
(ⅰ) $\frac{d}{b}$必为正整数;
(ⅱ) $p=\frac{l}{\beta}=\frac{n}{\alpha}$, $q=\frac{ad}{b\beta}=\frac{k}{\alpha}$, 其中$\alpha$和$\beta\neq 1$分别为$n$与$k$和$l$与$a$的公约数, 且${\rm gcd}\{\beta, \frac{d}{b}\}=1$.
因为$m=h$, 故$\frac{t}{p}=\frac{n}{p}=\frac{k}{q}=\alpha$, 且$t_{1}=\frac{ad}{b}$和$\frac{t_{1}}{q}=\frac{\frac{ad}{b}}{q}=\frac{l}{p}=\beta$, $\frac{t_{1}}{a}=\frac{d}{b}$, 因此$\{\beta, \frac{d}{b}\}=1$, $\beta|a$, 若$\beta=1$, 则$l=p$, 这与条件矛盾.故而$\frac{d}{b}$必为整数.并且$p=\frac{l}{\beta}=\frac{n}{\alpha}$以及$q=\frac{ad}{b\beta}=\frac{k}{\alpha}$.证明完毕.
从引理4中可看出其最小二乘解不唯一, 令其所有解称为相容解.假定问题4满足引理4中的维数相容条件, 则可得下列结果:对于$A\ltimes X=B$, 其结果类似于3.1小节有
其中$\overleftarrow{A}_{t}\in \mathbb{R}^{m\times \alpha}, \overleftarrow{B}_{t}\in \mathbb{R}^{m\times \alpha}$分别是矩阵$A, B$的分块矩阵, $t=1, \cdots, q.$对于$X\ltimes C=D, $有
其中$X_{i}$是矩阵$X$的第$i$行, $\overline{C}_{j}\in \mathbb{R}^{\beta\times d}$和$D_{i}\in \mathbb{R}^{\beta\times d}$分别是矩阵$\overline{C}=(C\otimes I_{d/b})$和矩阵$D$的分块矩阵$(i=1, \cdots, p;j=1, \cdots, q)$.通过矩阵的行拉直算子$V_{r}(\cdot)$可将(3.10)式进一步简化为
简记
则
重复$3.1$小节中求导的过程可得下述定理.
定理4 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$, 和$D\in \mathbb{R}^{l\times d}$. $A$和$B$的奇异值分解如(3.6)式所示.则方程(3.1)在$m=h, p\neq l$情形下的最小二乘解$X^{*}$可表示为
例4 令
则由引理4知$p=\frac{l}{\beta}=\frac{6}{3}=\frac{n}{\alpha}=\frac{2}{1}=2, q=\frac{a}{\beta}\ast\frac{d}{b}=\frac{9}{3}\ast\frac{8}{4}=\frac{k}{\alpha}=\frac{6}{1}=6, $故其最小二乘解$X^*\in \mathbb{R}^{2\times6}, $再由定理4得
则可得该方程的最小二乘解为
同样首先给出$m\neq h,~ p=l$情形下问题(3.1)的维数相容条件.
引理5 若$X\in \mathbb{R}^{{p}\times{q}}$是问题(3.1)的最小二乘解, 则须满足
ⅰ)$\frac{h}{m}$与$\frac{d}{b}$必是正整数;
ⅱ)$p=l=\frac{n}{\alpha}\frac{h}{m}$, $q=\frac{ad}{b}=\frac{k}{\alpha}, $其中$\alpha$是$n$和$k$的公约数, 且${\rm gcd}\{\alpha, \frac{h}{m}\}=1.$
证 证明过程类似于引理4.
类似于3.1小节.记$\overline{A}=(A\otimes I_{h/m})$, $\overleftarrow{C}=(C\otimes I_{d/b})$, 则又转化为$m=h, p=l$的情形.
其中$p=l=\frac{nh}{m\alpha}$.重复3.1小节的过程, 则有下列结果.
定理5 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$. $A$和$B$的奇异值分解如(3.6)所示.则问题(3.1)在$m\neq h$情形下的最小二乘解$X^{*}$可表示为
例5 令
则由引理5知$p=l=3=\frac{n}{\alpha}\frac{h}{m}=\frac{4}{4}\ast\frac{6}{2}, q=\frac{ad}{b}=\frac{2\ast3}{3}=\frac{k}{\alpha}=\frac{8}{4}, $故最小二乘解$X^*\in R^{3\times 2}$, 再由定理5有
$m\neq h$, $p\neq l$情形下问题(3.1)的维数相容条件如下.
引理6 若问题(3.1)有最小二乘解$X\in \mathbb{R}^{{p}\times{q}}$, 则需满足
ⅰ)$\frac{h}{m}$和$\frac{d}{b}$为正整数.$p=\frac{l}{\beta}=\frac{n}{\alpha}\cdot\frac{h}{m}$, $q=\frac{k}{\alpha}=\frac{a}{\beta}\cdot\frac{d}{b}$, 其中$\alpha$和$\beta\neq1$分别为$n$与$k$和$a$与$l$的公约数;
ⅱ)${\rm gcd}\{\alpha, \frac{h}{m}\}=1, $ ${\rm gcd}\{\beta, \frac{d}{b}\}=1$.
证 由半张量积的定义,
从上可知$\frac{t}{n}=\frac{h}{m}$, $\frac{t_{1}}{a}=\frac{d}{b}$必为整数, 并且有$\frac{t}{p}=\frac{nh/m}{q}=\alpha, \frac{t_{1}}{q}=\frac{l}{p}=\beta$, 因此$p=\frac{l}{\beta}=\frac{n}{\alpha}\cdot\frac{h}{m}$, $q=\frac{k}{\alpha}=\frac{a}{\beta}\cdot\frac{d}{b}$.此外, 若$\beta=1$, 则$l=p$, 显然与条件相悖, 并且
因此${\rm gcd}\{\alpha, \frac{h}{m}\}=1$和${\rm gcd}\{\beta, \frac{d}{b}\}=1$.证毕.
假定(3.1)满足引理6中的维数相容条件.记$\overline{A}=(A\otimes I_{h/m})$.此时, 转化为$m= h, p\neq l$的形式, 重复3.2小节的过程, 则有下面结果.
定理6 给定矩阵$A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{h\times k}$, $C\in \mathbb{R}^{a\times b}$和$D\in \mathbb{R}^{l\times d}$, $A$和$B$的奇异值分解如(3.6)所示.则问题(3.1)在$m\neq h, p\neq l$情形下的最小二乘解$X^{*}$可表示为
半张量积作为一种新的研究工具在多线性函数、电力系统、布尔网络、密码学及模糊控制等领域有广泛地应用.本文将半张量积应用于矩阵方程求解问题, 研究了半张量积下矩阵方程组$AX=B, XC=D$的最小二乘解, 分矩阵-向量方程($X\in \mathbb{R}^{p}$)和矩阵-矩阵方程($X\in \mathbb{R}^{p\times q}$)两种情形展开讨论.结合半张量积的定义给出问题有解的相容条件, 即系数矩阵维数需满足的关系式, 进而将半张量积下的问题转化为普通矩阵乘积下的矩阵方程最小二乘问题, 结合广义逆, 矩阵微分及奇异值分解给出问题解的具体解析表达式.对每一种情形给出简单的数值算例验证理论结果的正确性.