ElevenLabs AI 配音翻譯是什麼？
語音人工智慧 (AI) 技術公司 ElevenLabs 在 2023 年 10 月宣布推出一項名為「AI Dubbing」的新功能，簡單的說，就是可以把影片中的語音內容進行語言轉換，例如從中文旁白轉為英文旁白，或英轉中。
除了中文和英文，ElevenLabs 目前一共可以支援 29 種語言，包括日文、韓文、土耳其文、俄語、荷蘭語、希臘語等，未來應該還會持續增加。
特別的是，ElevenLabs 的 AI 語音轉換技術是建立在以 “原影片聲音” 為基礎之上來進行語言的轉換，例如電影中原本的鋼鐵人配音是英文，那你聽到的轉換後的 “中文”，＂理論上＂就是原配音的 “中文版” (類似小勞勃·道尼說中文的概念)。
不過，ElevenLabs 轉換語言後，嘴型的部分還是會維持影片原貌，暫時無法像某些 AI 工具一樣連嘴型都跟著轉換。
由於 ElevenLabs 的「AI Dubbing」一推出後，就有不少部落格或媒體大推這項應用，並且指出，這類技術對於許多領域的應用都將帶來重要的助力，
例如教育圈、各種影音內容創作者等等。想像一下，省去繁瑣的翻譯配音程序、省去相關人力成本，同時還能節省大量時間，能以各種語言快速傳播影音內容，這是件多麼神奇、高效又有利的事阿！
但眾所周知，2023 年普遍被默認為 AICG (人工智慧內容生成) 紀元年，這也意味著雖然很多生成式 AI 技術狂冒出頭，但成熟度未必都能達到理想水平。
不論如何，這種省時省力省錢的 AI 配音翻譯還是值得一試，我們就一起來探索一下 ElevenLabs 的表現究竟達到了什麼樣的水準吧！
ElevenLabs AI 配音翻譯實作
ElevenLabs AI 配音翻譯成品－中文轉成英文(1)
先來實測中文配音轉成英文配音的翻譯效果和語音表現如何。
原中文影片如下 : 唐伯虎點秋香 唐伯虎敲碗即興饒舌 原片⬇️
中文配音轉成英文配音後：⬇️
ElevenLabs AI 配音翻譯成品－中文轉成英文(2)
第2個範例是使用原本部落格文章內的一篇中文文章，用AI虛擬人報導後的影片，參考 《 全民 AI 主播時代來臨！只需 1 張圖、 2 分鐘，即刻生成個性化 AI 虛擬人影片》。
原影片：（中文配音）
中文配音轉成英文配音後：⬇️
中文翻譯成英文的效果，好像…還過的去。(整體評價稍後討論)
聲音的還原度，也差不多，的確與原影片聲音很相近。
接著，讓我們來看看英文配音轉中文配音的效果吧！🙂
ElevenLabs AI 配音翻譯成品－英文轉成中文(1)
第1支示範影片原片如下:
英文配音轉成中文配音後：⬇️
ElevenLabs AI 配音翻譯成品－英文轉成中文(2)
英文配音轉成中文配音後：⬇️
說實話，無論是精準度還是聲音還原度，英文翻譯成中文的效果，真的都明顯遜於中轉英。
ElevenLabs AI 配音翻譯成品－英文轉成中文(3)
如果遇上多人同時出聲，那效果更容易打折扣。
例如以下這支漫威電影片段，偶爾會出現同時多人一起說話的情形：(原片段)
英文配音轉成中文配音後：⬇️
ElevenLabs AI 影片配音翻譯 成品效果
一如先前所提，無論是精準度還是聲音還原度，英文翻譯成中文的效果，都明顯不如中轉英，
主要還是在漏譯了一些中文，或是中文的精準度有點欠缺。
事實上，就算是中轉英，也還是難免存在一些顯而易見的翻譯錯誤。(唐伯虎點秋香那部華夫人說的 “華府”，英文翻譯居然變成美國政府的 “華府”😆 )
不過這不意外，畢竟即使是久經市場考驗的 Google 翻譯，截至現階段，也還無法做到 100 % 精準翻譯的效果。(尤其是涉及成語、諧音或雙關語的情況下)
那麼問題來了，在 ElevenLabs AI 轉換或製作配音翻譯的過程中或結束後，「AI Dubbing」這項功能好像還沒有提供可以人為手動修正或編輯的功能。
也就是說，如果有出現任何錯誤翻譯、漏譯等狀況，整支影片的配音翻譯就等於沒戲了。
另外，其實我試了其他好幾支影片，發現 AI Dubbing 過後的影片，常會有莫名的 “環境音” (原影片沒有的怪聲) 出現，或是人聲以極慢的速度播放，就像語速調降了好幾倍。
此外，多人同時發聲的影片 (上方的 英文轉成中文(3) 範例影片)，ElevenLabs AI 也沒辦法準確的把所有角色的所有台詞/對白轉換成目標語言。
希望這些不足之處，ElevenLabs AI 能夠持續優化，因為可以用原聲把影片中的語音內容進行語言轉換，真的是一種非常便利、非常高效、非常好用的功能。
即便 ElevenLabs AI 目前仍有些 “小小” 的不足之處，但如果選擇的影片偏短，一次只有單一人聲說話 (例如演講內容)，語音內容清楚，語速不過快也不過慢，AI Dubbing 的配音翻譯功能還是很好用的，尤其是時下熱門的短影音影片。
ElevenLabs AI 影片配音翻譯 操作方式
要使用 ElevenLabs 的AI 影片配音翻譯功能，只須簡單以下幾個步驟：
1. 前往 ElevenLabs AI 網站 ⬅️，選擇畫面上方的 Dubbing 分頁。
2. 登入 (可用 Google 帳號登入)
3. 選擇 “Create new dub” (如下圖)
可以自己選擇原始語言 (或選擇 “自動偵測”) 和目標語言，
影片來源可以選擇 “自己上傳”，或是直接貼上影片網址 (預設的有YouTube、TikTok 等等)
然後再點選 創建 “Create”
4. 影片轉換完成後，可以直接下載，或是先預覽影片成果 (選擇 “View”)，如下圖。
就這樣，是不是超簡單的？
另外需要注意的是，ElevenLabs AI 的免費帳號有提供約 10,000個字符的額度，但實際系統是怎麼計算的，很難一概而論。
理論上，在我試過的方式中，先把影片下載到本機電腦，再上傳到 ElevenLabs AI，會比直接貼影片網址的方式消耗掉較少的額度。
此外，影片長短、影片語音內容涉及的文字多寡，當然也是決定因素之一。
如果硬要平均計算，免費的額度可能僅供1~2支時長3分鐘以內的影片，但實際情形還是因各種因素而異。
如果真的覺得適合，每個月的訂閱費用計畫也不貴，可隨時取消，目前最低是第一個月僅 1 美元，就有約 30,000 的字符額度。
ElevenLabs AI 的另一項好用功能：語音合成 (Speech Synthesis)
ElevenLabs AI 還有另一項不錯用的功能，就是語音合成 (Speech Synthesis)，使用的額度也相對少很多。
我們可以使用「文字到語音」(Text to Speech) 或「語音到語音」(Speech to Speech) 來生成新的合成語音。
如果是「文字到語音」(Text to Speech) ，只要輸入文字，選擇好需要的聲音和相關設定，就能生成 mp3 語音檔。
「語音到語音」(Speech to Speech) 則是能讓用戶上傳既有的語音，AI會透過結合不同的語音和風格，生成出新的語音。
下圖是採用 「文字到語音」(Text to Speech) 的方式，將想要生成的語音內容貼在 “Text” 框中即可。
生成語音之後，可如上圖的畫面最下方，點選播放試聽，並在畫面右側選擇下載即可。
AI 配音或翻譯潛藏著許多未來可能性，就讓我們一起期待更多好用、新穎又高效的新興技術吧！
探索更多來自 遠距生活 的內容
訂閱即可透過電子郵件收到最新文章。
