link_post_macwhisper

聲音變文字 AI 神器——Whisper

近日人工智能之議揚揚不休,言語模型外,多論及圖像生成。然而有一人工智能工具用處甚多,但較少人提及,故撰文介紹。開創 ChatGPT 的公司 OpenAI,旗下除語言及圖像工具,尚有一利器,無需賬戶登入兼免費使用。利器名為 Whisper,能將語音化作文字(speech to text)。

自動把語音轉譯文字之功能由來已久,絕非新鮮事,但只限少數語言,諸如 YouTube 之上只能自動分辨出英荷法德意日韓葡俄及⻄班牙等語言,還未包含粵語及華語,對中文頻道的資訊流動形成局限。YouTube 上有不少優質廣東話旁白影片,卻只有少量團隊有足夠資源為其配備書面中文字幕,缺少了字幕等基本配置, 變相窒礙了世界各地懂中文但不懂粵語的人士觀看,殊覺可惜。

中文語音轉寫工具在中國也非新事,例如與中共中央宣傳部有合作關係的科大訊飛,總部設於中國安徽省合肥市,其實驗室早獲國家重點認證,並在三年前已提供 藏語和維吾爾語等語言的轉寫,但考慮到儘量不想佔用國家資源的前提下,我等只 能退而求其次,使用美國開發的 Whisper 技術。

Whisper 的轉寫功能包括大量語言,諸如馬達加斯加語、古吉拉特語、馬拉雅拉姆語等,對我們來說,最重要當然是粵語及華語,輸入聲源檔案要求寬鬆,即使收音效果較差或講者帶有強烈口音,也都能一一照辦,錯別難免,但已算極為出色。關鍵是能完全離線工作,對訪問整理尤為合適。

現在加上這個 Whisper 技術,輕鬆把語音轉成文字,生成的中文字幕自動變成書面 語,再配合機器翻譯,傳播層面更廣。而 Whisper 能懂極多語言,例如近日需要整 理一些印地語訪問影片,本身不諳該語,以前只能求助於人,如今卻輕鬆掌握。



聲音變文字 AI 神器——Whisper功能介紹

Whisper 本身不是軟件,而是 API,簡單來說是軟體之間的溝通方式。對於技術 面較高的讀者,不妨直接到GitHub查看其技術文件自行安裝,完全免費,亦可參考我在Patreon上寫的相關文章。對於一般讀者而言,可考慮安裝其他開發 者設計的相關軟件,收費也不昂貴。

  1. Mac 用家:建議使用由荷蘭開發者 Jordi Bruin 開發的 MacWhisper,軟件可以免 費使用,但免費版本只能使用較低級的「模型」,準確度較低,建議購買完整版本,一次性交 17 歐元。
MacWhisper
  1. Windows 用家:可安裝 WhisperDesktop 並下載相關「模型
Whisper Desktop
  1. 如果完全不想安裝軟件,最簡單的試用方法是去 Replicate ,但經過幾次實測,經常斷線。
AI,speech to chat,人工智能,薯伯伯,語音轉文字,chatgpt,whisper
網頁版 Replicate

有關轉寫的「模型」(models),目前分了 tiny、base、small、medium、large 五種,其分別是越大的模型越準確,但花的時間也較多。測試可先試用 tiny 模型,在一般應用上,使用 medium 或 large 會較佳。如果轉寫的語音檔案是包含非英語,應使用 multilingual model(多語言模型)。

AI,speech to chat,人工智能,薯伯伯,語音轉文字,chatgpt,whisper


MacWhisper實際應用示範

  1. 先安裝 MacWhisper ,安裝後下載相關「模型」,語言選 Chinese。免費版 MacWhisper 可以試用 tiny model,但準確度不高。
  1. 下載 YouTube 影片:打開 en.y2mate下載影片,若果將來此連結無限,可自行在 Google 搜 「download youtube」 找尋類似服務。
  1. 轉寫訪問:這次使用以前一段訪問作示範,下載 Video,儘量使用較高的質素下載,把檔案更改為較短的名字,例如 test.mp4,因為太長的中文名未必能支援。
  1. 用 MacWhisper 打開檔案,即自動執行轉寫,等待數分鐘便能看到文字,之後可以輸出為不同格式,例如純文字 text,或字幕檔案 srt 等。
把Podcast影片轉成文字Transcript例子
免費版有些字詞未必譯得精準,例如「兒歌網」譯成「移江網」、「陳松齡」變「陳崇寧」

其他注意事項:
1. Whisper 不能輕鬆簡單地加入講者身份,例如二人對談,文字不能自動分開不同 講者的發言。
2. Whisper 的粵語轉寫只會輸出書面中文,而非粵語文字。對於粵語文字要求較高的用戶又或影片創作人,可考慮使用香港大學畢業生 Hinnes 及 Kevin 開發的 Subanana,其介面更為易用,粵語支援更佳,收費也很合理(目前最低月費是 24.9 美元,無限使用)。

【MacWhisper】

網址:MacWhisper