谷歌宣布開(kāi)源Android語(yǔ)音識(shí)別轉(zhuǎn)錄工具Live Transcribe的語(yǔ)音引擎

8月18日，谷歌宣布開(kāi)源Android語(yǔ)音識(shí)別轉(zhuǎn)錄工具Live Transcribe的語(yǔ)音引擎。

這家公司希望這樣做可以讓任何開(kāi)發(fā)人員為長(zhǎng)篇對(duì)話提供字幕，減少因網(wǎng)絡(luò)延遲、斷網(wǎng)等問(wèn)題導(dǎo)致的溝通障礙。源代碼現(xiàn)在可以在GitHub上獲得。這意味著無(wú)論你是出國(guó)或是與新朋友見(jiàn)面，Live Transcribe都可以幫助你進(jìn)行溝通。

交流時(shí)可以實(shí)時(shí)暢通(只要有網(wǎng)絡(luò))交流時(shí)可以實(shí)時(shí)暢通(只要有網(wǎng)絡(luò))

谷歌于今年2月發(fā)布了Live Transcribe。該工具使用機(jī)器學(xué)習(xí)算法將音頻轉(zhuǎn)換為實(shí)時(shí)字幕，與Android即將推出的Live Caption功能不同，Live Transcribe是一種全屏體驗(yàn)，使用智能手機(jī)的麥克風(fēng)(或外接麥克風(fēng))，并依賴于Google Cloud Speech API。Live Transcribe可以用70多種語(yǔ)言和方言標(biāo)題實(shí)時(shí)口語(yǔ)。另一個(gè)主要區(qū)別是Live Transcribe可在18億臺(tái)Android設(shè)備上使用(當(dāng)Live Caption在今年晚些時(shí)候推出時(shí)，它只適用于部分Android Q設(shè)備)。

在云上工作

谷歌的Cloud Speech API目前不支持發(fā)送無(wú)限長(zhǎng)的音頻流。此外，依賴云意味著網(wǎng)絡(luò)連接、數(shù)據(jù)成本和延遲方面都有潛在問(wèn)題。

結(jié)果，語(yǔ)音引擎在達(dá)到超時(shí)之前關(guān)閉并重新啟動(dòng)流請(qǐng)求，包括在長(zhǎng)時(shí)間靜默期間重新開(kāi)始會(huì)話并且每當(dāng)語(yǔ)音中檢測(cè)到暫停時(shí)關(guān)閉。在會(huì)話之間，語(yǔ)音引擎還在本地緩沖音頻，然后在重新連接時(shí)發(fā)送它。因此，谷歌避免了截?cái)嗟木渥踊騿卧~，并減少了會(huì)話中丟失的文本量。

70多種語(yǔ)言和方言中挑選自己合適的70多種語(yǔ)言和方言中挑選自己合適的

為了降低帶寬需求和成本，谷歌還評(píng)估了不同的音頻編解碼器：FLAC，AMR-WB和Opus。FLAC(無(wú)損編解碼器)可以保持準(zhǔn)確性，不會(huì)節(jié)省太多數(shù)據(jù)，并且具有明顯的編解碼器延遲。AMR-WB可以節(jié)省大量數(shù)據(jù)，但在嘈雜的環(huán)境中準(zhǔn)確度較低。

與此同時(shí)，Opus允許數(shù)據(jù)速率比大多數(shù)音樂(lè)流媒體服務(wù)低許多倍，同時(shí)仍保留音頻信號(hào)的重要細(xì)節(jié)。谷歌還會(huì)在長(zhǎng)時(shí)間的靜音期間使用語(yǔ)音檢測(cè)來(lái)關(guān)閉網(wǎng)絡(luò)連接。

總體而言，該團(tuán)隊(duì)能夠?qū)崿F(xiàn)“在不影響準(zhǔn)確性的情況下，將數(shù)據(jù)使用量減少10倍”。

為了比Cloud Speech API更進(jìn)一步減少延遲，Live Transcribe使用自定義Opus編碼器。編碼器恰好提高了比特率，使“延遲在視覺(jué)上無(wú)法區(qū)分發(fā)送未壓縮的音頻”。