基于音視頻識別及語義分析的智能約談平臺
針對行政約談場景中存在的人工記錄效率低、內容理解偏差記錄、資料追溯繁雜等問題,本成果開展了基于音視頻識別及語義分析的智能約談平臺的研究。基于 AI 深度學習的音視頻識別框架、復雜網絡理論和語義知識本體的文本語義相似度計算方法,研究音視頻識別的語音轉寫、對話管理、計算機視覺技術和內容分析的語義理解、語義優化、情感識別方法,實現網信約談、紀委約談、公安審訊、監獄談話等多種行政約談場景下的約談智能化和數字化。其中,語音識別轉寫是開展智能約談系統研究的前提和基礎,本成果訓練了聲學模型和語言模型,構建編碼器,通過音頻角色分離和聲紋識別技術分離說話人聲音,編碼器識別解碼,經過文本語義處理轉寫為文本。而文本語義處理是智能約談系統提升約談效能的源動力,成果構建了基于語義本體的自動專家導引約談知識庫,通過基于復雜網絡的語義相似度計算給約談工作人員推薦約談問題;約談結束后,利用融合主題特征的文本自動摘要技術快速生成匯報摘要,利用基于分布式表示的事件抽取技術自動生成約談報告。本成果研制高效、便捷的智能約談音視頻識別及語義分析平臺,實現了在線約談預約、人臉識別身份核驗、語音實時轉寫、約談問題智能引導提問、音視文同步顯示、匯報摘要自動生成、約談報告自動生成、約談文件回溯、約談大數據分析等功能。
西安電子科技大學
2022-12-15