本发明涉及一种言语交互训练系统和方法,该系统包括用户选择模块,获取用户选择的训练内容;言语交互训练模块,将训练内容以多模态的导引方式展示给用户,导引用户进行言语训练;用户反馈模块,收集反馈的语音以及与语音对应的唇部视频;言语评测模块,接收用户反馈的语音以及对应的唇部视频,对用户的言语训练进行自动评测并给出评测结果;结果反馈模块,用于将评测结果反馈给用户,供用户对言语训练进行纠正和调整。本发明对用户的言语训练进行自动评测给出评测结果,将评测结果反馈给用户,用户根据评测结果了解自身言语训练的水平并对自己的言语训练进行纠正和调整,进一步提高言语水平,从而极大的增强言语障碍者的康复训练效果。