
用 Freebeat 2.0 製作音樂視頻
Freebeat 2.0 根據一首歌生成完整的音樂視頻:先加入歌曲,填寫畫面說明或留空,然後點擊 Create,之後在同一工作區按順序完成分析歌曲、確定風格、生成靜圖、生成片段並合成為成片。三分鐘以上的成片很常見,每首歌最多使用前六分鐘。若只需自行選擇圖片模型和視頻模型,請參閱 Custom。
1準備歌曲和畫面說明
打開 /music-video-generator。這是建立頁。點擊 Create 之前,系統不會開始生成,也不會鎖定任何設定。請在此頁面選擇歌曲、填寫畫面說明,並確定視頻的畫幅與清晰度。
1.1完整音樂視頻的建立頁
中間的大框是完整音樂視頻的起點。在這裡加入歌曲、填寫畫面說明,並選擇尺寸與版本。點擊 Create 之前,系統不會開始生成。點擊後會離開建立頁,進入工作區。
Create 旁的按鈕用於切換版本。若要生成完整成片,並在之後使用對話、Storyboard 和 Studio,請選擇 Freebeat 2.0。點擊該按鈕可切換到 Freebeat 1.0。1.0 是舊版生成器:建立後不會出現左側 Conversation 和右側 Storyboard,後續也沒有 Studio。本教學按 2.0 編寫。若按鈕已顯示 1.0,請在加入歌曲前切換回 2.0。
大框下方的標籤不是當前視頻的設定項。每個標籤會進入不同的產品。
Music Video 是當前頁面。它根據一首歌生成完整音樂視頻:分析歌曲、確定整體風格、鎖定人物與場景、按時間劃分場景、生成靜圖、將靜圖做成片段,最後合成為可完整播放的成片。三分鐘以上的成片很常見。本教學後續內容都沿這條流程說明。
Dance Video 不使用這條分鏡流程。它從舞蹈動作出發,生成舞蹈視頻,重點是肢體動作與節拍對齊。後續頁面也不是 Conversation / Storyboard / Studio。若要製作完整 MV,請不要選擇該標籤。
Realtime Music Video 是即時生成路徑。歌曲播放時,畫面會同步生成。結果通常更短、更快,適合快速預覽效果。它不會將一首三分鐘的歌曲拆成場景、靜圖和片段,再合成為完整成片。
Photo Karaoke 使用你的照片和一首歌,生成帶歌詞的卡拉 OK 視頻,重點是人物、口型與字幕。它不會按歌曲規劃多個場景,也不會像本頁這樣逐段生成片段。
Onbeat Effects 用於已有素材。它會在現有畫面上疊加卡點特效,使畫面隨鼓點和節奏變化。它不會從一首歌重新生成完整 MV,也不會提供 Scene Planning 和 Video Clips。
More 包含若干獨立的小型工具,各自完成單一任務。製作完整音樂視頻時不需要使用它們。
若目標是將一首歌做成完整音樂視頻,請留在 Music Video 頁面,版本選擇 Freebeat 2.0,不要切換下方其他標籤。
推薦這樣做加入歌曲之前,先確認版本按鈕顯示為 Freebeat 2.0。
不建議這樣做切換到 1.0 後再查找 Storyboard。Storyboard 僅在 2.0 中提供。
1.2加入這首視頻所依據的歌曲
點擊 Add Music。加入的歌曲是整支視頻的依據。後續的場景時間、靜圖和片段都會按這首歌劃分。之後更換歌曲,整支視頻也會隨之改變。
歌曲可以透過以下三種方式加入:
- 從列表中選擇一首歌曲
- 若本機已有音訊檔案,點擊
Upload music - 若歌曲在網上,貼上受支援的音樂連結
歌曲加入後,如需使用整首,請選擇 Full。三分鐘的歌曲可以使用完整時長。歌曲超過六分鐘時,即使選擇 Full,Freebeat 也只使用前六分鐘。
請勿先加入一首臨時佔位歌曲再點擊 Create。後續頁面會按這首歌劃分場景,佔位歌曲對應的時間劃分也會不準確。
1.3填寫畫面說明
點擊大輸入框。這裡不是劇本欄,只需要說明:畫面中應持續出現的人物、所處地點,以及歌曲進入高潮時畫面應如何變化。也可以留空。留空時,Freebeat 仍會根據這首歌生成視頻。
如需填寫,寫清以下幾項即可:
- 畫面中應持續出現的人物
- 事件發生的地點
- 整體氛圍
- 副歌或高潮出現時,畫面如何變化
一句話即可。例如:「一個女人先站在黃昏的城市街道上,然後到水下,金色的光,開頭安靜,副歌時變大。」
不需要鏡頭術語、分鏡表或完整劇情。「做酷一點」這類表述幾乎沒有作用。寫清人物、地點,以及能量如何變化,才有幫助。
只有在確實沒有偏好時才留空。如果人物、地點或感覺已經明確,現在寫下來,比出圖後再修改成本更低。
1.4設定畫幅、清晰度與生成方式
輸入框下方一排是將隨本次視頻一起生效的設定。請根據每個控制項的實際作用選擇,不要只看名稱。
16:9 是畫面比例。YouTube、大多數電腦和橫版貼文使用該比例。手機故事和 Reels 通常需要更高的比例。請按實際觀看場景選擇。點擊 Create 後將鎖定。
720p 是清晰度。更高更清晰,生成也更慢。建立前可以修改。點擊 Create 後,將與比例一併鎖定。
Captions 會將歌詞或字幕疊加在畫面上。需要字幕出現在成片中時打開;需要乾淨畫面時關閉。
Remove watermark 會去掉成片上的 Freebeat 浮水印。不希望角落出現該標記時打開。
Fast、Studio、Custom 決定靜圖和片段的生成方式。Fast 更快,適合第一次完整製作。Studio 更慢,風格更穩定。Custom 可以自行選擇圖片模型和視頻模型,該路徑見 Custom 教學,不在本頁。
Auto 會讓 Freebeat 自動繼續後續步驟,無需在每個區塊手動確認。第一次製作視頻時建議開啟。若希望每完成一個區塊先檢查再繼續,請關閉。
Public 表示其他人可以查看本次製作。歌曲或畫面不希望公開時,請關閉。
Freebeat 2.0 這一排沒有 Character。人物面部和造型稍後在 Reference Images 中檢查。
1.5點擊 Create
點擊 Create。Freebeat 2.0 會直接進入 /music-video-generator/storyboard/...,即工作區。該路徑沒有額外的確認頁。
剛才選擇的畫幅和清晰度將在本次視頻中鎖定。如果選擇有誤,請先修改再點擊。
推薦這樣做點擊 Create 前再次確認 16:9 和 720p。點擊後將無法更改。
不建議這樣做未確認畫幅就點擊 Create,等到第一批圖片生成後才發現問題。
2查看視頻的生成過程
點擊 Create 後仍停留在同一頁面。在電腦上,頁面分為左右兩側。左側是對話:Freebeat 會記錄當前進度,需要修改時在此輸入。右側是 Storyboard:視頻按以下順序逐塊出現。
Your Track → Visual Style → Creative Brief → Reference Images → Scene Planning → Scenes → Video Clips → Final Video
每一步都不需要打開新頁面,只需滾動右側。
2.1左側為對話,右側為畫面
在電腦上,工作區包含三個部分。
Conversation 在左側,是進行中的記錄。Freebeat 會寫下剛完成的內容和接下來的步驟;片段生成後,片段列表也顯示在這裡。面部不正確、某個場景過長,都在這裡輸入修改。成片完成的說明也顯示在這裡。
Storyboard 在右側,是實際內容。每個區塊都是可以查看的視頻組成部分:歌曲解讀、整體風格、靜圖、片段和播放器。畫面是否正確,在右側判斷。
Studio 在頂部,是時間線。片段生成後,打開它,按歌曲順序對照音樂查看。第一次製作視頻時,先留在 Storyboard,等有片段後再進入 Studio。
左側和右側對應同一次任務。左側顯示片段已完成時,右側應出現這些片段。左側顯示成片已完成時,右側應出現 Final Video。
點擊頂部的 Conversation,右側會隱藏,只保留對話。再點擊 Storyboard,兩側會同時顯示。
左側的片段列表只是進度報告,不是視頻本身。名稱和時間在左側,畫面在右側。只看左側,容易把「列表已出現」誤認為「視頻已完成」。
2.2Your Track 是歌曲分析結果
Your Track 是右側第一塊。Freebeat 在這裡分析剛加入的歌曲:歌名、時長、段落位置,以及它對這首歌的理解。
查看以下四項:
- 歌名和時長,確認載入的是正確的檔案
- 波形上的彩色結構:Intro、Verse、Chorus 以及其他段落
- 波形下方的簡短說明,即 Freebeat 對這首歌的理解
- 歌詞(如有)
彩色分段最為重要。後續場景和片段都按此劃分。如果副歌被提前標註了十秒,後面最重要的畫面也會提前十秒出現。
分段與實際聽到的內容不符時,先停在這一步。在左側對話中告知 Freebeat,或先修改這一塊,再判斷後續圖片。歌曲劃分錯誤時,後面每張卡片都會偏早或偏晚,即使圖片本身品質很好。
2.3Visual Style 是整支視頻的視覺風格
Visual Style 位於 Your Track 下方。它不是某一個場景,而是後續靜圖和片段將統一採用的顏色、光線和質感。
通常會看到一段風格說明、一塊色板、一句光線說明和一句質感說明。應將它們作為同一項決定來閱讀:整支視頻將統一使用這個視覺風格。
只需判斷一件事:如果每個場景都使用這個風格,是否仍適合這首歌?金色、潮溼、高亮可以很好看,但未必適合安靜的室內歌曲。灰暗、陳舊、佈滿灰塵可以很真實,但未必適合明亮的流行副歌。
風格不合適時,在這裡修改。Scenes 和 Video Clips 會沿用這裡保留的設定。等到某一段「看起來不對」再改色板,效率會低很多。
2.4Creative Brief 是書面計畫
Creative Brief 把這支視頻的想法寫成文字。歌曲決定事件應在何時發生。這一塊說明這支視頻在講述什麼。
通常會看到:
Logline:應能概括整支成片的一句話Core drive:底層情緒,不是劇情Director's vision:這種情緒在畫面上應呈現的樣子Character、Venue、Prop:會反覆出現的人物、地點和物件Content chapter:按順序寫的故事,通常與歌曲分段對應
先看那一句話。如果這句話空泛,或與預期不符,後面的卡片就會偏離主題,即使單張畫面看起來不錯。
再看人物、地點和物件。這三項是 Reference Images 接下來要鎖定的內容。若 Brief 中寫的是一個女人站在潮溼的城市街道上、手裡拿著杯子,後續參考圖就不應再出現另一位男主角,或換成另一座城市。
章節應跟隨歌曲:開頭更安靜,中間增強,結尾收束。如果兩個章節在描述同一件事,或一個章節覆蓋整段主歌,請在這裡修改文字。靜圖會沿用這份大綱。
2.5Reference Images 鎖定人物與場景
Reference Images 是視頻第一次開始呈現統一世界觀的地方。每張卡都是後續會反覆使用的靜圖:一張臉、一個地點、一個物件、一種造型。
請查看整塊看板,不要只看最顯眼的一張。
- 同一個人是否持續出現,還是混入了第二張臉?
- 街道、水面、房間、物件是否仍屬於同一部作品?
- 是否有一張模糊、空白,或明顯弱於其他卡片?
- 是否有一張看起來屬於另一部作品?
某張不正確時,打開該卡進行修改。運動畫面無法修正已經錯誤的面部。一張較弱的地點卡會持續出現在後續場景中。
如果自行上傳人物照片,請注意以下要求:
- 一張圖只放一個人。 合照會降低面部識別準確度。
- 背景乾淨,面部清晰。 雜亂的房間、過暗的側臉更難被準確沿用。
- 更換造型時仍保持同一張臉。 兩套服裝可以。兩個人不行。
一塊有效的看板,關鍵在於重複:同一個人、同一個世界、同一組物件。後續場景會沿用這些內容。
2.6Scene Planning 按時間劃分場景
Scene Planning 把歌曲劃分成更大的場景。每張卡是一段時間,不是成品圖。會看到類似 0:00–0:11 的時間、一句故事、對應的歌曲段落(Intro、Verse、Chorus),以及一句風格說明。
將這些時間與歌曲對照,也與左側列表對照。歌曲中最重要的部分應有獨立場景。如果副歌與相鄰主歌擠在同一張卡上,後面會顯得倉促。十一秒的前奏沒有問題;一張卡覆蓋兩分鐘、佔用半首歌,則不合適。
Story / Beat / Look 是這段時間的計畫:這裡發生什麼、對應歌曲的哪一段、畫面應是什麼風格。如果兩張卡在描述同一件事,或某張卡的風格與 Visual Style 衝突,請在這裡修改。時間劃分錯誤後再生成靜圖,成本會更高。
2.7Scenes 是這些計畫對應的靜圖
Scenes 是靜幀網格。它不是又一排 Story / Beat / Look 說明。每張卡是一幀,下方是場景名稱。名稱應與左側列表對應。
按順序查看這些卡,確認它們是否仍構成一支完整視頻。
- 這個人看起來是否仍是同一個人?
- 地點是否仍屬於同一個世界?
- 是否有一張損壞、空白或偏離主題?
- 順序是否仍跟隨歌曲,還是安靜的主歌配上了高潮畫面?
某張不正確時,修改那張。較弱的靜圖會變成較弱的片段。不要把一張錯誤的靜幀送入 Video Clips,並期望運動畫面掩蓋問題。
推薦這樣做發現較弱的靜圖後立即修改。
不建議這樣做期望在生成片段時修正已經錯誤的面部或地點。
2.8Video Clips 是按歌曲順序排列的運動片段
Video Clips 是運動片段區塊。每張卡是一段,按歌曲順序排列,靜圖上有播放按鈕。左側可能會顯示類似 All 16 Clips Rendered 的文字。那只是數量。畫面在這些卡片上。
不要只根據縮圖判斷。請打開重要片段並完整觀看。
觀看一段時,檢查三件事:
- 人物看起來是否仍是同一個人
- 運動是否與節拍對齊,而不是偏早、偏晚或空白
- 這一段與前後幾段是否仍屬於同一套畫面
某一段不合適時,只重做那一段。已經合適的片段予以保留。
然後打開 Studio,按順序對照歌曲觀看。一段單獨看沒有問題,放入整首歌中仍可能偏晚或偏平。
2.9Final Video 是成片播放器
Final Video 是右側最後一塊。左側顯示成片已完成時,這裡應出現播放器。
在這個畫面上,可以預覽整支視頻、分享、需要修改時間線時點擊 Edit,確認完成後下載。
紫色按鈕可能顯示 Render & download,也可能顯示 Rendering。Rendering 只表示正在生成下載檔案。播放器中已經是成片,請先觀看。
請完整觀看一遍,不要只看好看的鏡頭。注意畫面是否跟上節拍、人物是否發生變化,或結尾是否過於突然。
如果最終結果仍不合適,回到最早出現問題的那一步。Final Video 只拼接前面的結果,不會生成新的風格或新的面部。
在這裡完成一支三分鐘視頻很正常。實際示例中,播放器顯示的是 0:00 / 3:01。
3出現問題後,回到對應步驟
不要一出現問題就整支重做。回到真正出問題的那一步。
| 如果問題是這個 | 先回到這裡 | 為什麼 | 怎麼做 |
|---|---|---|---|
| 人物看起來不像同一個人 | Reference Images | 面部是在這裡鎖定的。 | 修改較弱的卡片,再繼續。 |
| 節奏和歌曲對不上 | Your Track 或 Scene Planning | 時間是在出圖之前確定的。 | 檢查歌曲分段和場景時間。 |
| 風格好看,但不適合這首歌 | Visual Style | 風格是在這裡選定的。 | 在這裡修改風格,不要拖到最後。 |
| 想法空泛,或與預期不符 | Creative Brief | 後續步驟會沿用這段文字。 | 收緊那一句話和章節。 |
| 有一兩張靜圖損壞 | Scenes | 這是修改靜圖成本最低的位置。 | 只修改較弱的卡片。 |
| 有一兩段運動不合適 | Video Clips | 運動在這裡生成。 | 只重做較弱的片段,再到 Studio 檢查。 |
| 整支視頻看起來不均勻 | Studio,再回到最早出錯的一步 | 完整播放會暴露縮圖看不出的問題。 | 找到較弱的位置,再回到生成它的那一步。 |
| 成片仍不可用 | 最早出錯的那一步 | Final Video 只拼接前面的結果。 | 先修好前面,再回來。 |