本发明公开一种基于滤波器组的多载波调制系统原型滤波器优化设计方法,其为了能够实现FBMC系统快速设计并且使阻带衰减与ISI/ICI间更好的平衡,将此问题的归结成无约束的优化问题,其目标函数是ISI/ICI、PF系数向量的模和阻带能量的加权和。通过解析目标函数的梯度向量和修正其Hessian矩阵,用修正牛顿法迭代优化PF。利用修正牛顿的方法进行逐步优化目标,同时全面考虑FBMC系统的各项性能,使ISI/ICI对FBMC系统影响减小。本发明为降低设计的复杂度和更好的平衡ISI/ICI与滤波器阻带衰减,实现信号的准确传递提供了简单高效的解决方案。