
用 Freebeat 2.0 制作音乐视频
Freebeat 2.0 根据一首歌生成完整的音乐视频:先添加歌曲,填写画面说明或留空,然后点击 Create,之后在同一工作区按顺序完成分析歌曲、确定风格、生成静图、生成片段并合成为成片。三分钟以上的成片很常见,每首歌最多使用前六分钟。若只需自行选择图片模型和视频模型,请参阅 Custom。
1准备歌曲和画面说明
打开 /music-video-generator。这是创建页。点击 Create 之前,系统不会开始生成,也不会锁定任何设置。请在此页面选择歌曲、填写画面说明,并确定视频的画幅与清晰度。
1.1完整音乐视频的创建页
中间的大框是完整音乐视频的起点。在这里添加歌曲、填写画面说明,并选择尺寸与版本。点击 Create 之前,系统不会开始生成。点击后会离开创建页,进入工作区。
Create 旁的按钮用于切换版本。若要生成完整成片,并在之后使用对话、Storyboard 和 Studio,请选择 Freebeat 2.0。点击该按钮可切换到 Freebeat 1.0。1.0 是旧版生成器:创建后不会出现左侧 Conversation 和右侧 Storyboard,后续也没有 Studio。本教程按 2.0 编写。若按钮已显示 1.0,请在添加歌曲前切换回 2.0。
大框下方的标签不是当前视频的设置项。每个标签会进入不同的产品。
Music Video 是当前页面。它根据一首歌生成完整音乐视频:分析歌曲、确定整体风格、锁定人物与场景、按时间划分场景、生成静图、将静图做成片段,最后合成为可完整播放的成片。三分钟以上的成片很常见。本教程后续内容都沿这条流程说明。
Dance Video 不使用这条分镜流程。它从舞蹈动作出发,生成舞蹈视频,重点是肢体动作与节拍对齐。后续页面也不是 Conversation / Storyboard / Studio。若要制作完整 MV,请不要选择该标签。
Realtime Music Video 是实时生成路径。歌曲播放时,画面会同步生成。结果通常更短、更快,适合快速预览效果。它不会将一首三分钟的歌曲拆成场景、静图和片段,再合成为完整成片。
Photo Karaoke 使用你的照片和一首歌,生成带歌词的卡拉 OK 视频,重点是人物、口型与字幕。它不会按歌曲规划多个场景,也不会像本页这样逐段生成片段。
Onbeat Effects 用于已有素材。它会在现有画面上叠加卡点特效,使画面随鼓点和节奏变化。它不会从一首歌重新生成完整 MV,也不会提供 Scene Planning 和 Video Clips。
More 包含若干独立的小型工具,各自完成单一任务。制作完整音乐视频时不需要使用它们。
若目标是将一首歌做成完整音乐视频,请留在 Music Video 页面,版本选择 Freebeat 2.0,不要切换下方其他标签。
推荐这样做添加歌曲之前,先确认版本按钮显示为 Freebeat 2.0。
不建议这样做切换到 1.0 后再查找 Storyboard。Storyboard 仅在 2.0 中提供。
1.2添加这首视频所依据的歌曲
点击 Add Music。添加的歌曲是整支视频的依据。后续的场景时间、静图和片段都会按这首歌划分。之后更换歌曲,整支视频也会随之改变。
歌曲可以通过以下三种方式添加:
- 从列表中选择一首歌曲
- 若本地已有音频文件,点击
Upload music - 若歌曲在网上,粘贴受支持的音乐链接
歌曲添加后,如需使用整首,请选择 Full。三分钟的歌曲可以使用完整时长。歌曲超过六分钟时,即使选择 Full,Freebeat 也只使用前六分钟。
请勿先添加一首临时占位歌曲再点击 Create。后续页面会按这首歌划分场景,占位歌曲对应的时间划分也会不准确。
1.3填写画面说明
点击大输入框。这里不是剧本栏,只需要说明:画面中应持续出现的人物、所处地点,以及歌曲进入高潮时画面应如何变化。也可以留空。留空时,Freebeat 仍会根据这首歌生成视频。
如需填写,写清以下几项即可:
- 画面中应持续出现的人物
- 事件发生的地点
- 整体氛围
- 副歌或高潮出现时,画面如何变化
一句话即可。例如:「一个女人先站在黄昏的城市街道上,然后到水下,金色的光,开头安静,副歌时变大。」
不需要镜头术语、分镜表或完整剧情。「做酷一点」这类表述几乎没有作用。写清人物、地点,以及能量如何变化,才有帮助。
只有在确实没有偏好时才留空。如果人物、地点或感觉已经明确,现在写下来,比出图后再修改成本更低。
1.4设置画幅、清晰度与生成方式
输入框下方一排是将随本次视频一起生效的设置。请根据每个控件的实际作用选择,不要只看名称。
16:9 是画面比例。YouTube、大多数电脑和横版帖子使用该比例。手机故事和 Reels 通常需要更高的比例。请按实际观看场景选择。点击 Create 后将锁定。
720p 是清晰度。更高更清晰,生成也更慢。创建前可以修改。点击 Create 后,将与比例一并锁定。
Captions 会将歌词或字幕叠加在画面上。需要字幕出现在成片中时打开;需要干净画面时关闭。
Remove watermark 会去掉成片上的 Freebeat 水印。不希望角落出现该标记时打开。
Fast、Studio、Custom 决定静图和片段的生成方式。Fast 更快,适合第一次完整制作。Studio 更慢,风格更稳定。Custom 可以自行选择图片模型和视频模型,该路径见 Custom 教程,不在本页。
Auto 会让 Freebeat 自动继续后续步骤,无需在每个区块手动确认。第一次制作视频时建议开启。若希望每完成一个区块先检查再继续,请关闭。
Public 表示其他人可以查看本次制作。歌曲或画面不希望公开时,请关闭。
Freebeat 2.0 这一排没有 Character。人物面部和造型稍后在 Reference Images 中检查。
1.5点击 Create
点击 Create。Freebeat 2.0 会直接进入 /music-video-generator/storyboard/...,即工作区。该路径没有额外的确认页。
刚才选择的画幅和清晰度将在本次视频中锁定。如果选择有误,请先修改再点击。
推荐这样做点击 Create 前再次确认 16:9 和 720p。点击后将无法更改。
不建议这样做未确认画幅就点击 Create,等到第一批图片生成后才发现问题。
2查看视频的生成过程
点击 Create 后仍停留在同一页面。在电脑上,页面分为左右两侧。左侧是对话:Freebeat 会记录当前进度,需要修改时在此输入。右侧是 Storyboard:视频按以下顺序逐块出现。
Your Track → Visual Style → Creative Brief → Reference Images → Scene Planning → Scenes → Video Clips → Final Video
每一步都不需要打开新页面,只需滚动右侧。
2.1左侧为对话,右侧为画面
在电脑上,工作区包含三个部分。
Conversation 在左侧,是进行中的记录。Freebeat 会写下刚完成的内容和接下来的步骤;片段生成后,片段列表也显示在这里。面部不正确、某个场景过长,都在这里输入修改。成片完成的说明也显示在这里。
Storyboard 在右侧,是实际内容。每个区块都是可以查看的视频组成部分:歌曲解读、整体风格、静图、片段和播放器。画面是否正确,在右侧判断。
Studio 在顶部,是时间线。片段生成后,打开它,按歌曲顺序对照音乐查看。第一次制作视频时,先留在 Storyboard,等有片段后再进入 Studio。
左侧和右侧对应同一次任务。左侧显示片段已完成时,右侧应出现这些片段。左侧显示成片已完成时,右侧应出现 Final Video。
点击顶部的 Conversation,右侧会隐藏,只保留对话。再点击 Storyboard,两侧会同时显示。
左侧的片段列表只是进度报告,不是视频本身。名称和时间在左侧,画面在右侧。只看左侧,容易把「列表已出现」误认为「视频已完成」。
2.2Your Track 是歌曲分析结果
Your Track 是右侧第一块。Freebeat 在这里分析刚添加的歌曲:歌名、时长、段落位置,以及它对这首歌的理解。
查看以下四项:
- 歌名和时长,确认加载的是正确的文件
- 波形上的彩色结构:Intro、Verse、Chorus 以及其他段落
- 波形下方的简短说明,即 Freebeat 对这首歌的理解
- 歌词(如有)
彩色分段最为重要。后续场景和片段都按此划分。如果副歌被提前标注了十秒,后面最重要的画面也会提前十秒出现。
分段与实际听到的内容不符时,先停在这一步。在左侧对话中告知 Freebeat,或先修改这一块,再判断后续图片。歌曲划分错误时,后面每张卡片都会偏早或偏晚,即使图片本身质量很好。
2.3Visual Style 是整支视频的视觉风格
Visual Style 位于 Your Track 下方。它不是某一个场景,而是后续静图和片段将统一采用的颜色、光线和质感。
通常会看到一段风格说明、一块色板、一句光线说明和一句质感说明。应将它们作为同一项决定来阅读:整支视频将统一使用这个视觉风格。
只需判断一件事:如果每个场景都使用这个风格,是否仍适合这首歌?金色、潮湿、高亮可以很好看,但未必适合安静的室内歌曲。灰暗、陈旧、布满灰尘可以很真实,但未必适合明亮的流行副歌。
风格不合适时,在这里修改。Scenes 和 Video Clips 会沿用这里保留的设置。等到某一段「看起来不对」再改色板,效率会低很多。
2.4Creative Brief 是书面计划
Creative Brief 把这支视频的想法写成文字。歌曲决定事件应在何时发生。这一块说明这支视频在讲述什么。
通常会看到:
Logline:应能概括整支成片的一句话Core drive:底层情绪,不是剧情Director's vision:这种情绪在画面上应呈现的样子Character、Venue、Prop:会反复出现的人物、地点和物件Content chapter:按顺序写的故事,通常与歌曲分段对应
先看那一句话。如果这句话空泛,或与预期不符,后面的卡片就会偏离主题,即使单张画面看起来不错。
再看人物、地点和物件。这三项是 Reference Images 接下来要锁定的内容。若 Brief 中写的是一个女人站在潮湿的城市街道上、手里拿着杯子,后续参考图就不应再出现另一位男主角,或换成另一座城市。
章节应跟随歌曲:开头更安静,中间增强,结尾收束。如果两个章节在描述同一件事,或一个章节覆盖整段主歌,请在这里修改文字。静图会沿用这份大纲。
2.5Reference Images 锁定人物与场景
Reference Images 是视频第一次开始呈现统一世界观的地方。每张卡都是后续会反复使用的静图:一张脸、一个地点、一个物件、一种造型。
请查看整块看板,不要只看最显眼的一张。
- 同一个人是否持续出现,还是混入了第二张脸?
- 街道、水面、房间、物件是否仍属于同一部作品?
- 是否有一张模糊、空白,或明显弱于其他卡片?
- 是否有一张看起来属于另一部作品?
某张不正确时,打开该卡进行修改。运动画面无法修正已经错误的面部。一张较弱的地点卡会持续出现在后续场景中。
如果自行上传人物照片,请注意以下要求:
- 一张图只放一个人。 合照会降低面部识别准确度。
- 背景干净,面部清晰。 杂乱的房间、过暗的侧脸更难被准确沿用。
- 更换造型时仍保持同一张脸。 两套服装可以。两个人不行。
一块有效的看板,关键在于重复:同一个人、同一个世界、同一组物件。后续场景会沿用这些内容。
2.6Scene Planning 按时间划分场景
Scene Planning 把歌曲划分成更大的场景。每张卡是一段时间,不是成品图。会看到类似 0:00–0:11 的时间、一句故事、对应的歌曲段落(Intro、Verse、Chorus),以及一句风格说明。
将这些时间与歌曲对照,也与左侧列表对照。歌曲中最重要的部分应有独立场景。如果副歌与相邻主歌挤在同一张卡上,后面会显得仓促。十一秒的前奏没有问题;一张卡覆盖两分钟、占用半首歌,则不合适。
Story / Beat / Look 是这段时间的计划:这里发生什么、对应歌曲的哪一段、画面应是什么风格。如果两张卡在描述同一件事,或某张卡的风格与 Visual Style 冲突,请在这里修改。时间划分错误后再生成静图,成本会更高。
2.7Scenes 是这些计划对应的静图
Scenes 是静帧网格。它不是又一排 Story / Beat / Look 说明。每张卡是一帧,下方是场景名称。名称应与左侧列表对应。
按顺序查看这些卡,确认它们是否仍构成一支完整视频。
- 这个人看起来是否仍是同一个人?
- 地点是否仍属于同一个世界?
- 是否有一张损坏、空白或偏离主题?
- 顺序是否仍跟随歌曲,还是安静的主歌配上了高潮画面?
某张不正确时,修改那张。较弱的静图会变成较弱的片段。不要把一张错误的静帧送入 Video Clips,并期望运动画面掩盖问题。
推荐这样做发现较弱的静图后立即修改。
不建议这样做期望在生成片段时修正已经错误的面部或地点。
2.8Video Clips 是按歌曲顺序排列的运动片段
Video Clips 是运动片段区块。每张卡是一段,按歌曲顺序排列,静图上有播放按钮。左侧可能会显示类似 All 16 Clips Rendered 的文字。那只是数量。画面在这些卡片上。
不要只根据缩略图判断。请打开重要片段并完整观看。
观看一段时,检查三件事:
- 人物看起来是否仍是同一个人
- 运动是否与节拍对齐,而不是偏早、偏晚或空白
- 这一段与前后几段是否仍属于同一套画面
某一段不合适时,只重做那一段。已经合适的片段予以保留。
然后打开 Studio,按顺序对照歌曲观看。一段单独看没有问题,放入整首歌中仍可能偏晚或偏平。
2.9Final Video 是成片播放器
Final Video 是右侧最后一块。左侧显示成片已完成时,这里应出现播放器。
在这个画面上,可以预览整支视频、分享、需要修改时间线时点击 Edit,确认完成后下载。
紫色按钮可能显示 Render & download,也可能显示 Rendering。Rendering 只表示正在生成下载文件。播放器中已经是成片,请先观看。
请完整观看一遍,不要只看好看的镜头。注意画面是否跟上节拍、人物是否发生变化,或结尾是否过于突然。
如果最终结果仍不合适,回到最早出现问题的那一步。Final Video 只拼接前面的结果,不会生成新的风格或新的面部。
在这里完成一支三分钟视频很正常。实际示例中,播放器显示的是 0:00 / 3:01。
3出现问题后,回到对应步骤
不要一出现问题就整支重做。回到真正出问题的那一步。
| 如果问题是这个 | 先回到这里 | 为什么 | 怎么做 |
|---|---|---|---|
| 人物看起来不像同一个人 | Reference Images | 面部是在这里锁定的。 | 修改较弱的卡片,再继续。 |
| 节奏和歌曲对不上 | Your Track 或 Scene Planning | 时间是在出图之前确定的。 | 检查歌曲分段和场景时间。 |
| 风格好看,但不适合这首歌 | Visual Style | 风格是在这里选定的。 | 在这里修改风格,不要拖到最后。 |
| 想法空泛,或与预期不符 | Creative Brief | 后续步骤会沿用这段文字。 | 收紧那一句话和章节。 |
| 有一两张静图损坏 | Scenes | 这是修改静图成本最低的位置。 | 只修改较弱的卡片。 |
| 有一两段运动不合适 | Video Clips | 运动在这里生成。 | 只重做较弱的片段,再到 Studio 检查。 |
| 整支视频看起来不均匀 | Studio,再回到最早出错的一步 | 完整播放会暴露缩略图看不出的问题。 | 找到较弱的位置,再回到生成它的那一步。 |
| 成片仍不可用 | 最早出错的那一步 | Final Video 只拼接前面的结果。 | 先修好前面,再回来。 |