百度发布曦灵-AI 手语平台可实现分钟级生成手语合成视频手语主播实时直播
3 月 3 日消息,百度智能云曦灵正式发布“AI 手语平台”,可实现分钟级生成手语合成视频、手语主播实时直播等能力,为手语服务普及的难题提出了新解法。同时百度智能云曦灵还发布了“AI 手语平台一体机”,可以通过规模化部署快速建立无障碍窗口,适用于医院、银行、车站等多种公共场合,缓解无障碍窗口短缺困境。
针对线上场景,“AI 手语平台”具备“视频手语合成”、“直播手语合成”、“文本转手语”、“语音转手语”四大功能,只需几小时的部署,即可实现普通视频合成为手语视频、实时直播中增加手语画面、文字翻译为手语、语音实时翻译为手语等多种效果。AI 手语平台可搭载在各类 App、网站、小程序中,让听障人士也能轻松实现线上社交、娱乐休闲、课程学习等各类需求。
对于诸如医院、银行、机场等线下场景,一体化产品的优势正在逐渐放大。百度智能云曦灵此次发布的全离线一体机 V3 以及端云结合一体机 P3,搭载了“AI 手语平台”的核心功能,可实现 ASR 语音识别、语音翻译、人像渲染等多功能,让“AI 手语平台一体机”像手机、电脑一样可快速、批量的生产,并渗透到生活的各个角落。
未来通过“AI 手语平台一体机”即可将普通服务窗口直接转换为“无障碍窗口”,听障人士在医院可轻松实现挂号、看诊、缴费、取药等全系列流程,在车站、机场可独立完成值机、托运、改签、中转,在法院、警局等特殊场景中也可对各类紧急情况进行实时平等的沟通。
在语音识别清晰度上,百度智能云曦灵-AI 手语平台通过 SMLTA 语音识别算法模型,实现声学、语言一体化端到端建模语音识别,在手机端近场语音识别率可达 98% 以上。百度语音技术部总监高亮表示,基于百度自研的深度学习算法,还可针对诸如旅游、医院、司法等不同领域的词准率进行针对性训练,词准率可达 96%,使得 AI 手语平台一体机更好地应用于不同场景中。
其次,在手语翻译的准确度及精炼度上,百度人工智能技术委员会主席何中军表示,百度研发了首个基于神经网络的精炼度可控手语翻译模型,并联合手语语言学专家、特殊教育专家以及天津理工大学聋人工学院等制定了自然手语标注规范,建设了大规模自然手语翻译语料库,使得模型可以从真实数据中学习手语翻译知识,比如语序的调整、词语的映射以及长度控制等,从而生成符合听障人群习惯的自然手语。
最后,在手语动作的流畅度上,AI 手语平台通过“动作融合算法”,基于《国家通用手语词典》规范精修近 11000 多个手语动作,让每一个动作的起落之间自然衔接,带来真人手语般地连贯性表达。再配合 4D 扫描技术训练,使得 AI 手语数字人表情自然生动,口型生成准确度高达 98.5%。