本发明涉及一种用于言语障碍康复训练的多通道交互方法及系统。
言语障碍康复训练方法为:1)选取实物对其进行三维建模,将三维模型储存在实物数据库中;2)设定训练任务场景,在声音场景中设置声源并建立图像场景;3)用户将实物移动至特定位置并进行声音交互训练;4)拍摄用户的实物操作场景并采集用户发出的声音;5)对拍摄的实物操作图像进行处理,确定实物位置并将绘制在显示设备上;根据其位置结合语音输入内容判断是否符合训练任务要求,并在显示设备上给予相应的反馈;6)重复步骤3)~5)直至完成训练任务。言语障碍康复训练实现了包括实物交互、声音交互的多通道交互,可以更加生动有效地进行言语障碍的康复训练,实时性强,生动有趣,易于推广。