[00111309]软硬件一体化的交互式教学系统

项目针对当前多媒体教育教学中的不足,结合目前学校各种软硬件多媒体教学环境,开展语音合成、语音识别、语音评测、语音检索以及语义理解等核心技术的研发优化,攻克云端弹性存储技术、教育资源分享技术等一批工程技术研究;研制完成云资源服务平台、支撑商务平台以及畅言多媒体教学机等产品,形成面向课堂互动教学应用场景的“云+端”软硬一体化整体解决方案。 项目于2014年12月批准立项,并与安徽省科技厅签订了《安徽省科技攻关项目合同书》,合同书编号：2014z02007。 项目针对当前多媒体教育教学中的不足,结合目前学校各种软硬件多媒体教学环境,完成了语音合成、语音识别、语音评测、语音检索以及语义理解等核心技术的研发优化,攻克了云端弹性存储技术、教育资源分享技术等一批工程技术研究;研制完成云资源服务平台、支撑商务平台以及畅言多媒体教学机等产品,形成面向课堂互动教学应用场景的“云+端”软硬一体化整体解决方案,实现电子课本、云课讲堂、交互课件、习题与微课、空间动态、资源中心、消息推送等第三方应用功能且可根据需要增加新应用,通过无线可投射终端显示设备上,并实现屏幕内容和操作同步。 该系统语音合成自然度达到4.5分,可懂度达到99.5%;语音识别率在安静环境下的达到95%,噪声环境下不低于85%;评测平均响应时间不超过5秒,语音交互转写字正确率不低于95%;语义理解关键信息抽取正确率不低于90%;采用“服务+应用”的架构模式,功能模块化可动态加载;系统的平均响应时间小于4秒;支持任意电子教材和书写文本的点读合成;支持对任意文本的口语评测。 本项目通过语音技术在软硬件一体化交互式教学系统的应用研究将交互式教学提升到一个崭新的高度,实现智能语音交互式教学,并且通过创新型设备实现教师脱离设备的互动式教学,以下为对创新点的描述。 创新点一：基于笔迹识别、光学字符识别技术,实现了智能对象标记和搜索 该创新方法为解决通过笔迹识别和OCR识别实现在交互式教学的创新型对象标记方法,将笔迹和图像自动识别成文本,并转换成标准的字符并执行对象标记,可直接用于教学应用搜索,改善了课堂教学的输入效率,充分提高教学效率和效果,解决了传统的搜索方法带来的海选资源问题。尤其是对教学方面,在短短的45分钟课堂教学中,老师只需写出知识点,启用对象标记功能,轻轻松松划下标记,可以有效识别知识点名称并展示与知识点相关的资源信息,有效节省时间,提高课堂教学效果。与此同时,该对象标记方法也支持对图像的识别,对于电子课本上图片式的文字,也可通过该对象标记功能,系统先通过图像识别技术正确识别标记的文字,再显示与标记文字相关的资源信息。 创新点二：基于手写识别、语音合成与识别和智能跟踪技术,实现了教学中的即写即读、智能朗读和跟踪 该创新方法通过讯飞手写识别技术、语音核心技术,实现了在教学中即写即读,并通过智能跟踪技术,实现了课堂教学的语音朗读与文本的智能跟踪,充分提升语音技术在语言教学中的实用性。 本特性的目的是结合了手写识别技术、语音合成技术、语音识别技术、智能跟踪技术、嵌入式软硬件技术。提供一种用于教学或娱乐领域,便于将手写的笔迹文字识别并合成,转化为标准流畅的语音朗读出来。同时,智能识别输入语音,并实时跟踪手写笔迹文字的交互式多媒体设备。 创新点三：基于无线通信、音频识别技术,提出了人机互动、教学互动的创新型教学方法 该创新方法通过创新型的设备,实现无线的课堂交互式应用,改变了课堂教学教师需要在交互式设备前进行教学的弊端;实现了课堂的通过无线设备的课堂教学应用,将教学者从教学设备中解放出来,并通过交互式语音技术实现了语音输入教学方法创新,通过最自然的交互式方法实现课堂教学的革命性应用。 本特性的目的是结合无线通信技术、音频识别技术和嵌入式软硬件技术,提供一种可便于教学领域,使用方便、操控简单随意、功能丰富、内容多样的多媒体交互式语音教学设备。 本项目中的软硬件一体化的交互式教学系统包括云资源服务平台和科大讯飞语音特色的畅言多媒体教学机。本项目采用“云+端”的模式,基于强大的资源云服务,以教学机为主要应用载体、以移动教学、交互课件、微课视频为主要特色,打通微课录制、上传、汇聚、分享的云端互通流程,为翻转课堂、分组教学等新型教学模式奠定应用基础。 该项目成果目前已建立北京、新疆、安徽、广东四大推广区域,共设4100个,其中新疆区域包括喀什、阿克苏等地区,共计3000点;安徽区域共计1000点;广东区域共计50点;北京区域共计50点。开展的示范校运营项目已到达13所,分别是北京北航附小、广东江门市景贤学校、培英高中、合肥市六安路小学,合肥市第五十中学、屯溪路小学、稻香村小学、梦园中学、梦园小学、潜山路小学、喀什第一中学、喀什第三小学、和田于田县第一中学。