新里程碑！微軟語音到文字轉錄已經達到人類水平

雷鋒網 AI 科技評論按：語音到文字的轉換是語音研究領域的重要課題。自引入神經網絡的方法以來，語音識別正確率有了長足的進展，也為蘋果 Siri、亞馬遜 Echo、科大訊飛語音輸入法等等實際產品提供了生長的土壤。面對算法識別總還是比人類要差一些的現狀，微軟剛剛發布一篇博文公布了自己的最新成果，達到人類水平已經不是夢想。雷鋒網 AI 科技評論編譯如下。 

2016 年，微軟語音和對話研究團隊對外公布了一則里程碑性的消息，他們在 Switchboard 數據庫的對話語音識別任務中達到了人類的一致性水平，這意味着他們的系統識別對話中文字的能力已經和專業的人類轉錄員一樣好。

當時微軟的研究人員們測量的這個轉錄系統的單詞誤識別率為 5.9%，這個表現已經達到了他們測量的人類轉錄員的水平；其它的研究人員也進行了自己的研究，運用了一個更加深入的多轉錄員協作模式，達到了更好的 5.1% 的人類平均單詞錯誤率。這個結果和更早的研究是相符的，其中表明如果人類更仔細、更努力地去做，他們就能夠對對話中出現的確切單詞有更高的一致性。

一年後的 8 月 20 日，微軟語音和對話研究團隊負責人黃學東興奮地公布了他們的最新進展，他們的語音識別系統也達到了同樣的 5.1% 的錯誤率。這是業界的新的里程碑，也比他們去年的成績又有顯著的提高。研究的細節在他們一同發表的論文『The Microsoft 2017 Conversational Speech Recognition System』中進行了詳細介紹。

Switchboard 是一個錄製的電話對話語料庫，語音研究界用這個語料庫測試語音識別系統的表現已經有 20 多年的時間。測試任務是對陌生人之間關於運動和政治話題的討論進行從語音到文字的轉錄。

相比去年的單詞誤識別率，今年的系統又把它下降了 12%。這個新系統在他們使用的基於神經網絡的語音語言模型上又繼續加入了一系列改進，其中添加了一個額外的 CNN-BLSTM（convolutional neural network combined with bidirectional long-short-term memory，帶有雙向 LSTM 的卷積神經網絡）用來提升語音建模的效果。並且，系統中以前就在使用的從多個語音模型進行綜合預測的方法，如今在幀 / 句音級別和單詞級別下都可以發揮效果。

除此之外，微軟的研究員們還根據整個對話過程的歷史記錄來預測接下來可能會說的話，進一步加強了識別器的語言模型，大大增強了模型對話題和局部上下文的適應能力。

在開發過程中，研究團隊也從自家的大規模深度學習軟件 Microsoft Cognitive Toolkit 2.1 （CNTK） 中獲益匪淺，不管是探索模型架構還是優化模型的超參數。並且，微軟在雲端運算基礎設置方面的投資，尤其是 Azure 雲 GPU，也幫助提升了訓練模型、測試新想法的效果和速度。

在過去的 25 年中，達到與人類水平的錯誤率都是這個領域的研究目標。如今，微軟在長期研究中的投入已經證明了它們的價值，微軟未來也會在 Cortana、Presentation Translator、Microsoft Cognitive Services 等自家產品和服務中讓用戶們感受到這些技術的好處。看到百萬級的用戶每天使用這些產品，微軟的研究團隊也感到非常欣慰。

在語音識別方面，業界和學術界有許多研究團隊都做出了傑出的貢獻，微軟研究團隊也表示自己從這個領域的整體發展中得到了很大收穫。不過，雖然在 Switchboard 語音識別任務中取得了 5.1% 錯誤率這樣的喜人成果，整個語音研究領域還有許多的挑戰等待克服，比如在有噪音、錄音距離較遠的場景下，在語音有口音的情況下，在只有非常有限的講話風格和語言訓練數據的條件下，達到接近人類水平的語音識別效果都還是很大的困難。另一方面，在教會了電腦把語音轉換為文字之後，下一步還要教會電腦理解其中的含義和目的。在微軟研究團隊看來，從語音識別到語音理解將會是語音相關技術的下一個重要前沿。

論文地址：https：//www.microsoft.com/en-us/research/publication/microsoft-2017-conversational-speech-recognition-system/