Runway Gen-2|AI 圖片、文字生成影片🎞️使用感想:前景可期,但部分效果仍待改善

純文字生成的影片,效果仍有亮點

by Jelena耶萊娜

Runway Gen-2 可用文字/圖片/圖+文 生成影片

110604 1


Runway GEN-2 是一個引人注目的 AI 創意工具平台。一如該平台主頁的標語 “Bring your image to life with Gen-2” (讓照片栩栩如生地呈現),該平台可讓用戶透過文字或圖片 (或圖+文) 生成影片。

但就免費版本而言,這種生成出的影片,目前嚴格來說,比較像是片長很短的動態相片

根據《時代雜誌》(TIME) 網站,Runway 是一家獲得 Google 投資的新創公司,它們家的視覺特效工具曾被用於製作奧斯卡獲獎影片的特效,實力不容小覷。

就應用層面來說,無論是製作宣傳影片、廣告、網路動畫或是媒體內容,像 Runway GEN-2 這類以AI技術為基礎的圖文生成影片工具,都有潛力為用戶提供更多富有想像力和吸引力的解決方案。

不過,我在實測了數次 Runway GEN-2 後發現,它在核心功能部分仍存在著一些問題;

舉例來說,在多數情況下,若影片內容涉及人物的動作、表情,那麼生成的影片效果很可能會無法符合用戶的預期 (甚至有些驚嚇感)。

儘管如此,Runway GEN-2 平台仍大方提供免費方案的用戶使用這些生成影片工具,可能也是藉此為AI演算法提供更多訓練,日後的表現仍然值得期待。

本文將分享一些實測的圖片生成影片、文字生成影片,以及圖+文生成影片的範例結果。

Runway Gen-2 圖片 (或圖+文) 生成影片

– 登入/註冊帳號 > 進入主頁

進入 “Runway GEN-2” ⬅️網站後,可選擇使用 Google 帳號登入。(如下圖)


– 選擇 “Start with Image” (用圖片生成影片)

gen 2 102101 1

其實一開始,無論是選擇”Start with Image” (用圖片生成影片),或是”Start with Text” (用文字生成影片),
進入工作畫面後都還是能改變

如下圖所示,可以隨時切換為 “Text”、”Image”,或圖片+描述 “Image+Description”。

110609 1


以本例來說,我打算透過上傳一張圖片+輸入簡短描述來生成影片。 因此,我選擇點選 “Image+Description”,然後再拖曳1張圖片上傳至平台

110601 1

等候約1~2分鐘,影片便生成完畢。之後可選擇影片右上角的下載功能來下載影片
當然,也可以直接在畫面上播放觀看影片後再決定是否要下載。

110610 1

目前免費版本的生成影片時長是4秒,如果想延長影片,就必須選擇 ” Extend 4s” (再延長4秒)。

110602 1

影片生成結果:

AI 影片生成工具-Runway GEN-2 圖片生成影片1- 8s

根據官網方案說明,免費方案可視情況延長至最多16秒 (文字生成影片的部分),但實際情況仍視用戶免費方案所剩餘的積分而定。

以下圖為例,左上角可顯示剩餘的生成秒數為23秒,相當於115點積分。

110611 1

根據官網的方案價格說明,目前基本型免費方案可以享有125點積分,但無法提高 Gen-1 和 Gen-2 的解析度或刪除影片浮水印。

看到這裡,可能會有人覺得疑惑,我為什麼不上傳一張人臉清晰一點的圖像來生成影片?

原因是…我怕嚇到人。因為我試過上傳一張美女圖像,希望能讓她的表情透過動態變得更生動;

豈料影片生成後,美女的表情變化瞬間變成面目猙獰的狀態,且露齒效果令我備感驚嚇,覺得可能 Runway GEN-2 對於這類的效果表現 “還沒準備好”,所以就先以一張人臉較為 “抽象” 的圖片替代。

Runway Gen-2 文字生成影片

沒片沒真相,以下這支短片,就能看到人物在活動時不僅面部不穩定,連整個人的外表、性別、衣著等,都極度不穩定。
(但這張的人物表情,還是沒有近看表情變化時那種面目猙獰的近距離人物特寫照驚悚)

不過,這支影片還是有可圈可點之處。那就是這支影片純粹是以文字生成的,也就是沒有透過上傳任何圖像,單純以輸入文字描述方式所生成的短影片。

說實話,除了”人物”,其他的背景元素如建築物、植物、大自然、光線等,整體效果都顯得頗為自然,成色與逼真程度還是有一定水準。

文字生成影片的方式,就如圖片生成影片的方式一樣,其實進入到工作畫面後,都還是能改選,程序一樣,這裡就不再贅述。

AI 影片生成工具-Runway GEN-2 文字生成影片2- 4s

雖然人物的面部表情不禁細看,但整體而言,我在影片生成指令上要求呈現的 “光影變化”、”氛圍感”,Runway GEN-2 還是都有做到。至少是我個人可以接受的程度。

Runway Gen-2 風景主題的生成影片

以下2支短影片,也全都是由純文字生成的影片,且主要以風景線為主。第二支即使有人物,也是以非正面的方式呈現。

從這2支短影片可看出,相較於人物,Runway GEN-2 在處理正常自然風景這一塊,還是相對穩定一些。

AI 影片生成工具-Runway GEN-2 文字生成影片3- 4s (風景主題)


AI 影片生成工具-Runway GEN-2 文字生成影片4- 4s



Runway Gen-2 其他 AI 影片生成模組參考

除了直接上手使用文字/圖片/圖+文 生成影片功能以外, Runway GEN-2 平台還有提供許多參考工具,
例如主頁中可看到的 “Text/Image to Video” (見下圖)

110606 1


點選進去後,便可看到許多已帶有提示詞指令的影片範本。

裡面我特別看了是否有針對人物面部特寫或是近距離的活動特寫,但稍微瀏覽了一下,好像有人物出現的範本都是 “人很模糊” 或是底色較暗的狀態 😂,即便有特寫,也是 “卡通或3D風格的人物” 居多。

顯然 Runway GEN-2 大概也知道自家目前的罩門在哪。不過,這些建物、植物和動物類別的生成效果還是不錯的。

110607 1


Runway Gen-2 方案

目前 Runway Gen-2 的方案除了免費方案,還有分月付和年付方案。

月付方案目前有 USD 15/35/95 美元,年付則是平均每月 12/28/76 美元,打8折。(實際方案可能由官方隨時變更。)

不過,只要註冊了就能先獲得 125 個積分點,對於想要嘗試體驗的用戶而言,應該還是足夠充份的。
有興趣的朋友們可以試試看喔!




探索更多來自 遠距生活部落格 的內容

訂閱後即可透過電子郵件收到最新文章。

You may also like