车牌识别系统^[1]作为交通管理系统的重要方面, 已经受到研究者们的重视.而车牌图像倾斜校正是车牌识别过程中的一个不可缺少的步骤, 因为车牌悬挂或者拍摄角度的倾斜会严重影响到车牌字符的分割及识别.因此在车牌识别系统中, 首先必须对定位到的车牌图像做倾斜校正处理.

常用的车牌校正方法有

(1) Hough变换法^[2], 利用图像空间的线与参数空间的点的对偶性, 将车牌上下边界直线转换为计算参数空间的点的累计局部最大值, 从而对车牌倾斜度进行校正.此方法直观可靠, 但依赖于车牌的上下边框线;

(2) 旋转投影法^[3], 对定位到的车牌图像进行二值化, 不断对图像进行旋转, 直至达到垂直投影长度最小或者水平投影字符间距最大.但此方法对噪声污染极其敏感.

(3) 字符上下边缘拟合法^[4], 对二值化后的车牌图像寻找每个字符的连通域, 对所有连通域的上顶点和下顶点进行拟合, 找出字符上下边缘, 再对上下边缘进行水平校正; 此方法与旋转投影法一样简洁明了且理论上准确可行, 但都要求车牌的字符不受其他因素的影响且对车牌图像的二值化效果要求非常高;

(4) 主成分分析法^[5], 首先通过像素点的特征寻找车牌图像的两个主元方向, 再将坐标系旋转到主元方向, 从而达到校正的目的; 此方法在车牌的噪声满足高斯分布的时候效果较好, 而在车牌受到非高斯噪声的影响时准确率则会大大降低.

而实际拍摄的车牌图像通常无法提取到边框信息且会受到不同程度的噪声污染, 在这种情况下上述车牌校正的方法则会失效, 因此需找到一种能够排除噪声干扰的衡量指标来对车牌进行校正.笔者在分析了车牌的倾斜特性之后, 提出了一种基于旋转变换和鲁棒主成分分析的车牌校正方法.此方法首先运用鲁棒主成分分析法对车牌图像进行去噪并恢复其低秩车牌图像, 以排除噪声污染对车牌图像的秩的影响, 再通过搜索使得所恢复的低秩车牌图像的秩最低的最佳旋转角度的方法来对车牌进行校正.

鲁棒主成分分析广泛应用于低秩矩阵恢复.对于所给定的数据矩阵 $D\in R^{m\times n}$, 为了恢复矩阵 $D$的低秩结构, 可将矩阵 $D$分解为两个矩阵之和, 即 $D=A+E$.其中矩阵 $A$是低秩矩阵, 而矩阵 $E$是稀疏噪声矩阵.

矩阵的低秩恢复, 需要最小化噪声污染 $E$, 且能使得矩阵 $A$的秩最低.即求解如下的优化问题^[6]

$ \begin{equation*} \min ({\rm rank}(A), \|E\|_0)\ \ \ \quad {\rm s.t.}\quad D=A+E, \end{equation*} $

将其转化为单目标优化问题为

$ \begin{equation*} \min \ {\rm rank}(A)+\alpha\|E\|_0\ \ \ \quad {\rm s.t.}\quad D=A+E, \end{equation*} $

其中rank(A)为矩阵秩函数; 0-范数 $\|E\|_0$, 表示矩阵中非零元素的个数; $\alpha$为参数, 用来平衡低秩项和稀疏项.

由于上述优化问题的目标函数是非凸的, 是一个NP难题.根据Candes等人的研究^{[7, 8]}, 可以将上述NP难题就转化为一个可以在多项式时间内求解的优化问题, 如下

$ \begin{equation*} \min \|A\|_*+\alpha\|E\|_1\ \ \ {\rm s.t.}\quad D=A+E. \end{equation*} $

图像的秩的定义:将一个平面空间上的二维图像 $f$用矩阵表示为 $D(x, y)$, 将此矩阵运用鲁棒主成分分析法去除噪声污染后恢复的低秩矩阵记为 $A$, 该低秩矩阵的秩记为 $R={\rm rank}(A)$, 也称为原二维图像 $f$的秩.

观察以上三幅车牌图像, 可以猜测图像a)的秩最低, 而a)图像无论发生哪种倾斜（如图b)c)所示）其秩均会增大.于是笔者进行了下述实验:

设未发生倾斜的车牌图像矩阵为 $f$, 统计了车牌图像库中300张未发生倾斜的车牌图像的秩, 均满足 $R={\rm rank}(A) < k < \min(N_{\rm row}, N_{\rm col})$; 再对这300张车牌图像分别按顺时针和逆时针做多次不同角度的旋转, 并统计每个旋转角度下的车牌图像的秩, 发现这300张车牌图像在旋转后的秩关于车牌的倾斜角度都呈现如下图所示的趋势:

通过以上实验可以发现对于未发生倾斜的车牌图像(例如图a)), 由于车牌的规则性以及车牌矩阵各行列间的线性相关性, 可以将其看做是一个带噪声的低秩图像.而在实际中, 由于车牌悬挂或拍摄角度的影响会导致车牌图像发生了倾斜（例如如图b)c)）, 此时车牌图像的规则性就会遭到破坏, 车牌图像的秩也会因此增加.

通过以上分析, 可以得出车牌图像的秩在未发生倾斜时最低.本文结合旋转变换和鲁棒主成分分析, 搜索使得车牌图像的秩最低的旋转角度来对车牌进行校正.

将车牌图像看做是一个带噪声的低秩图像, 运用鲁棒主成分分析法可以消除噪声污染的影响, 恢复车牌图像的低秩结构, 从而求出车牌图像的秩.对于一个倾斜车牌图像, 对车牌进行校正, 就是将车牌旋转到车牌图像的秩最小的方向.

将原始倾斜车牌图像做不同 $\theta$角度的旋转( $\theta$为正表示逆时针旋转, 为负表示顺时针旋转), 并分别对旋转后的车牌图像矩阵 $D\circ \theta$运用鲁棒主成分分析法恢复其低秩矩阵 $\tilde{A}$, 并求其秩 ${\rm rank}(\tilde{A}(\theta))$, 直到找到一个 $\theta^*$使得

$ {\rm rank}(\tilde{A}(\theta^*))\leq {\rm rank}(\tilde{A}(\theta)), $

将原倾斜车牌图像做 $\theta^*$角度的旋转, 即可对车牌进行校正.

车牌校正模型应使得车牌图像旋转后所恢复的低秩矩阵 $\tilde{A}$的秩 ${\rm rank}(\tilde{A})$最小.因此建立车牌校正模型如下

$ \begin{align*} &\min\quad {\rm rank}(\tilde{A}(\theta)), \\ &{\rm s.t.}\quad (\tilde{A}, \tilde{E})=\arg\min(\|A\|_*+\alpha\|E\|_1), \\ &\quad\quad D\circ \theta = A+E. \end{align*} $

(1)

此模型的求解, 可以分为两个步骤, 首先是运用鲁棒主成分分析法对 ${\rm rank}(\tilde{A}(\theta))$进行求解, 然后再优化 $\theta$角度.

对于任意一个给定的 $\theta$, 可用增广拉格朗日乘子法^[9]来求解 $\tilde{A}$和 ${\rm rank}(\tilde{A})$, 即求解

$ \begin{align*} \min\limits_{A, E, \lambda, \mu}L(A, E, \lambda, \mu)=\|A\|_*+\alpha\|E\|_1+\lambda(D\circ \theta-A-E)+\frac{\mu}{2}\|D\circ \theta-A-E\|_F^2, \end{align*} $

(2)

其中 $\lambda$是拉格朗日乘子, $\mu>0$是惩罚因子.

采用交替方向法^[10] (alternating direction methods, ADM), 通过反复交替迭代矩阵A和E, 来求解问题(2), 求解步骤如算法1所示.

根据3.1中的分析, 可以知道 ${\rm rank}\tilde{A}$关于旋转角度 $\theta$的函数 ${\rm rank}(\tilde{A}(\theta))$是一个单峰函数, 因此只要给定一个旋转区间就可以采用线性搜索算法对 $\theta$进行优化.本文采用黄金分割法来进行求解, 求解步骤如算法2所示.

为了验证本文校正算法的性能, 利用本文提出的算法对拍摄图像进行测试, 车牌校正过程如图 4.1 a)-f)所示(图片上方的数字为车牌图像的秩).

对车牌图像库中300张图像分别运用本文方法进行车牌校正后, 均可以得到较理想的效果.如图 4.2展示了其它几个车牌校正效果图.

对于如下图 4.3(a)所示的污染较严重的车牌图像.采用本文方法进行车牌校正后的效果图如图 4.3 (b)所示.采用旋转投影法^[3]的校正效果如图 4.3(c)所示; 采用主成分分析法^[5]的校正效果如图 4.3(d)所示.

通过比较上图中的校正效果图, 由图 4.3(c)-(d)可以看出旋转投影法和主成分分析法的校正都受到了右下方污染的影响, 校正准确率较低; 但由效果图 4.3(b)可以看出, 本文方法并没有受到此噪声污染的影响, 仍能准确地对车牌进行校正.试验结果可以表明, 本文方法相较于其它方法具有较好的鲁棒性.

本文在分析了车牌图像的倾斜特性的基础上, 得出了车牌图像在未发生倾斜时的秩最低的结论.基于此结论, 本文采用鲁棒主成分分析法对车牌图像进行低秩恢复求解图像的秩, 并搜索使得车牌图像的秩最低的旋转角度的方法来对车牌进行校正.此方法不仅对受到高斯噪声污染的车牌具有很高的校正准确率, 且能够准确地校正受到非高斯噪声污染的车牌.本文所提出的车牌校正方法相比于其它车牌校正方法, 对车牌图像的质量要求更低, 但准确率更高, 鲁棒性更好.因此本文的车牌校正方法更具有普适性.