[00116863]模型参数优化估计与递归学习算法

成果简介： 本项目深入研究了模型参数的约束最小均方估计问题与约束最小绝对偏差估计问题及其递归学习算法。研究了参数估计的最优性与鲁棒性,递归学习算法,在信号和图像恢复的应用。本项目主要属非光滑优化建模及神经计算研究领域。在以下几个方面展开了研究： 1、广义约束最小绝对偏差估计研究 工程优化问题常常转化为模型参数的最小绝对偏差（L1）估计问题。在处理几类常见的非高斯白噪声情形,L1估计是最大似然估计。经典的最小绝对偏差（L1）估计通常对总体残差的极小化,没有考虑到对局部残差的极小化和限制性约束。我们首次提出一种广义约束最小绝对偏差估计,不仅对局部残差极小化,而且具有限制性约束。建立了广义约束最小绝对偏差估计的鲁棒性分析。 2、约束优化问题的递归学习算法研究 随着稀疏L1优化方法优势及其广泛应用的发现, 最小绝对偏差估计的算法研究一直成为热点。 我们提出一种离散时间变化的递归学习算法求解线性约束的L1优化问题;提出一种连续时间变化的递归学习算法求解线性约束和非线性球约束的L1优化问题。在无任何限制条件下,理论证实了两种递归学习算法是全局稳定和全局收敛到最优解。克服了现有求解算法要求较强的限制条件和收敛到近似解的缺陷。进一步, 对广泛一类约束优化问题,我们提出一种连续时间变化的递归学习算法。理论证实了该算法是全局稳定和全局收敛到最优解。我们提出了一个显著的计算矩阵广义逆的迭代算法,建立一个新的优化问题,提出一个高效求解算法,从理论上也证明了提出的算法无条件地收敛到全局最优解,此外在该算法基础上,又提出了一个加速的迭代策略,理论上也证明了该算法的全局收敛性。 3．噪声约束最小均方估计研究 在处理高斯白噪声情形,经典的最小均方估计是最大似然估计。在处理非高斯白噪声情形,最小均方估计具有不鲁棒的缺陷。我们首次提出一种含噪声约束的最小均方估计,既对局部噪声极小化,而且对局部噪声予以限制性约束。建立了广义约束最小绝对偏差估计的鲁棒性和最优性分析。 证实了噪声约束的最小均方估计比经典的最小均方估计具有估计精度佳的优势,而且比广义约束最小绝对偏差估计具有快速实现的优势。 4．信号模型参数估计研究 4．1自回归信号模型 自回归模型广泛应用于系统辩识和信号恢复领域。模型参数估计是其关键的研究内容。经典的估计方法有最大拟然方法,高阶统计方法,改进的二阶统计方法。这些方法是在某种度量意义下对噪声残差的极小化,模型参数估计是非常依赖方差的估计。我们提出了一种基于噪声区间约束L1优化建模的回归信号模型参数估计方法。 进一步,我们提出了一种基于噪声区间约束L2优化建模的回归信号模型参数估计方法。所提出的两种模型参数估计方法克服依赖方差的估计的缺陷,增强了模型参数估计精度和鲁棒性。分析出在非高斯噪声环境下参数估计新方法的鲁棒性和最优性,提出一种有效的递归学习算法。 4．2 盲信号数据融合 信号数据融合是模式识别与计算机视觉的重要技术,我们首次提出一种基于约束最小绝对偏差估计的盲信号融合方法与递归学习算法,解决了传统的盲信号融合方法的非凸问题;分析出递归学习算法的全局收敛性,有效解决了盲信号融合问题。 5．二维自滑动平均（2D-ARMA）模型参数估计及应用研究 5．1 2D-ARMA模型参数估计 2D-ARMA模型参数估计是二维数字信号处理的重要内容,在系统辨识,图像编码,图像恢复与识别有广泛的应用。我们首次提出了一种在带噪情况下的2-D ARMA模型参数估计方法。该算法比现有的2D-ARMA模型参数估计方法具有低计算复杂度和较高的估计精度优势。 5．2 数字图像恢复 数字图像恢复在医疗,遥感,宇航,国防等方面具有广泛应用,是图像信息处理的重要内容。图像恢复目的是对观测模糊图像进行处理使它趋于原始图像。实际应用中,在未知的模糊情形下根据观测的模糊图像信息进行盲图像恢复。该问题被公认为是较难的研究课题. 现有算法有先验模糊辩识方法,非参数式的盲迭代方法,自回归移动平均（ARMA）参数估计方法。ARMA参数估计法是一种速度较快的方法,但由于非凸的问题,算法会收敛到局部极小点。我们提出一种快速盲图像恢复的新算法。其主要工作是将退化图像重建成为一个二维自回归移动平均（2D-ARMA）模型首次对重建模型的激励噪声进行预估,使点模糊估计问题转化为一个约束凸优化问题,克服了现有ARMA估计方法的非凸困难,解决了局部最优问题。新算法加快了盲图像恢复算法的速度,提高了盲图像恢复算法的实用性。实验结果表明新算法比几种热点的盲图像恢复算法具有快速盲图像恢复和恢复效果佳的特征。