街头万圣节氛围

进入10月,街头已充满万圣节气息。本文将介绍如何用AI制作一段充满万圣节氛围的有趣音乐视频(MV)。

不过这次并非使用实拍或生成式AI视频,而是通过文字、图形、照片和视频的动态展示——即“动态图形”(Motion Graphics),利用React框架中的Remotion工具和代码来实现。Remotion可以将用React编写的画面逐帧渲染,导出为MP4等视频格式。

什么是动态图形?

动态图形是指通过移动文字、图形、图标、照片等元素来表现的视频形式。比如新闻节目中的字幕、广告中文字弹出的效果、YouTube解说视频中数字递增的场景,大家应该都很熟悉。

这类视频不依赖实拍素材,也不使用热门的生成式AI视频模型,而是通过“组装素材并赋予动态”的方式制作。

Remotion让PC端实现这一过程变得简单。它的原理有些原始:将动态网页逐帧截图,再用ffmpeg合成为MP4视频。具体步骤如下:

  1. 用类似HTML/CSS的方式编写文字、颜色、位置、缩放等样式
  2. 通过获取当前帧数(useCurrentFrame())来控制动画效果
  3. 在浏览器中用Remotion Studio预览动画
  4. 最后用一条命令导出MP4视频

由于是程序控制渲染,结果稳定一致,不像生成式AI视频那样存在随机性。对于需要精确显示文字和数字的视频,这种方式更为合适。

准备工作如下:

mkdir -p ~/Desktop/mg && cd ~/Desktop/mg
npx create-video@latest --yes --blank .
npm run dev

这样会启动一个空白的Remotion Studio,按Ctrl+C退出即可。

Remotion Studio界面

下面举三个简单示例,代码直观,懂一点编程的人应该能看懂。

示例1:文字渐显

让“AIとは?”(什么是AI?)这几个字从下方缓缓升起并出现。

文字渐显代码示例

关键是interpolate函数,定义了0到20帧间透明度从0变到1,位置从下方60像素移动到原位,20帧后保持不变。

修改src/Root.tsx如下:

import {Composition} from 'remotion';
import {Title} from './Title';
export const RemotionRoot: React.FC = () => (
  
    
  
);

然后运行npm run dev预览。

示例2:数字递增

制作类似“用户15,000人”数字递增效果。

数字递增代码示例

spring函数可以生成从0到1的平滑弹性动画,乘以15000即可实现数字递增动画。

将src/Root.tsx中所有“Title”替换为“Counter”,再运行npm run dev。

示例3:导入照片和视频

除了文字和数字,Remotion还能直接使用已有照片和视频,非常实用。只需将素材放入public/文件夹,比如public/photo.jpg和public/clip.mp4。

  • 照片用标签显示,可实现缩放、移动、透明度等动画
  • 视频用播放,可作为小窗口叠加或模糊背景
// src/Media.tsx
import {AbsoluteFill, Img, OffthreadVideo, interpolate, spring, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
export const Media: React.FC = () => {
  const frame = useCurrentFrame();
  const {fps} = useVideoConfig();

  // 照片动画:放大、斜向平移、轻微旋转
  const zoom = interpolate(frame, [0, 90], [1.1, 1.7]);
  const panX = interpolate(frame, [0, 90], [-120, 120]);
  const panY = interpolate(frame, [0, 90], [80, -80]);
  const rotate = interpolate(frame, [0, 90], [-4, 4]);

  // 视频小窗口动画:弹出并沿圆形轨迹移动
  const pop = spring({frame, fps, config: {damping: 8}});
  const t = (frame / 90) * Math.PI * 2;
  const x = Math.cos(t) * 420;
  const y = Math.sin(t * 2) * 200;
  const tilt = Math.sin(t) * 10;

  return (
    
      {/* 背景照片 */}
      
        
      
      {/* 中心视频小窗口 */}
      
        
      
    
  );
};

将src/Root.tsx中所有“Counter”替换为“Media”,运行npm run dev即可。

这样就能给文字添加特效,处理照片和视频,制作出氛围感十足的视频。

不过,正如代码所示,处理坐标等细节对人来说较为繁琐,这时AI就派上用场了。Remotion相关知识AI掌握较好,可以通过聊天指令帮忙生成代码。

准备Remotion组件库

在制作正式MV前,准备了一个Remotion组件库。因为每次让AI单独生成动画代码成本高,且代码冗长,修改耗时,且结果不稳定。

所以预先制作了文字布局、文字动画、背景、装饰、图标、整体风格等“组件”,AI只需根据主题选择合适的组件组合。这样程序渲染时结果稳定一致。

组件包括:

  • 文字布局(30种):居中大字、左对齐、竖排、斜排、左右分割、倾斜照片卡片、手机框播放视频、文字散布、波浪排列、左右摇摆等
  • 文字动画(20种):波动、弹跳、旋转、从下浮现、抖动出现等
  • 背景(28种):星星、气泡、电路、点阵、条纹、渐变等,含全屏照片或视频背景
  • 照片动画(11种):缓慢放大、缩小、横向或斜向移动、轻微摇摆、节拍弹跳、呼吸式缩放等
  • 装饰(18种):荧光笔、印章、纸屑、闪光等
  • 图标(约490个):来自Lucide图标库,包含万圣节主题的鬼魂、骷髅、糖果等
  • 风格(11种):配色、字体、场景切换、动画强度、BGM曲风等整体切换,保证文字与背景对比度合适

组合方式多达30万种,加入图标后超过1亿种。无需写代码,AI只需“选择”即可,降低成本且更稳定。

此外,为MV制作还添加了:

  • 按场景指定照片和视频使用方式(大图、倾斜卡片、拼贴等)
  • 无文字场景(仅展示照片)及文字纵向位置调整(避免遮挡人物脸部)
  • 歌词按时间叠加,逐字逐行不同动画,配合节拍跳动
  • 可指定曲速(BPM),场景时长自动匹配,图片切换同步节拍
  • 场景文字可散布、波浪、左右摇摆,避免单调
  • 节拍同步弹跳图标(最多24个),位置大小颜色随机,避免遮挡人物脸部
  • 黑屏淡入淡出效果,配合歌曲渐隐结束

还附赠素材制作工具(可选):

  • 曲速和节拍检测工具(librosa、mlx-whisper)
  • ComfyUI图像生成工具(Node.js调用API)
  • 检测文字是否遮挡脸部工具(macOS Vision框架,Swift实现)

使用方法简单:让AI阅读组件说明(PARTS.md),输入主题,AI自动生成剧本(scenario.json),示例如下:

{
  "bpm": 112.36,
  "hold": 0,
  "fadeIn": 0.4,
  "fadeOut": 1.5,
  "lyrics": [
    {"start": 0.1, "end": 3.0, "text": "镜子前戴上面具", "fx": "bounce"},
    {"start": 16.7, "end": 21.0, "text": "Trick or Love", "big": true, "fx": "wave"}
  ],
  "scenes": [
    {"tech": "compose", "lines": [], "sec": 3.2, "layers": {"layout": "none", "bg": "photofull", "pick": [1]}},
    {"tech": "compose", "lines": ["面具的", "下方"], "sec": 4.3, "layers": {"layout": "left", "motion": "slide", "bg": "photofull", "pick": [2]}}
  ]
}

最后用命令导出视频,曲目叠加即可:

node scripts/render.mjs 主题.md --name mv --bgm-file 曲目.mp3

剧本会自动检测文字溢出、无效组件名、素材编号错误等问题,避免出错。每次渲染耗时约30秒至1分半,视场景和图标数量而定。

利用组件库与AI制作万圣节MV

制作流程简单,首先需要音源。这里使用了“ACE-Step 1.5”,歌词由AI生成,主题为“万圣节风格的欢快J-pop歌曲”。以下为DeepSeek V4 Flash生成的歌词:

[Verse 1]
镜子前戴上面具
借来的面孔露出笑容

[Pre-Chorus - building energy]
甜蜜糖果融化
叫不出你的名字

[Chorus - anthemic]
Trick or Love 比糖果更想要你
别窥视面具下的我
Trick or Love 月亮落下前
请选择真正的我

[Verse 2]
黑色披风随风摇曳
你假装成吸血鬼

[Pre-Chorus - building energy]
钟声响起午夜十二点
魔法消失前

[Chorus - anthemic]
Trick or Love 比糖果更想要你
别窥视面具下的我
Trick or Love 月亮落下前
请选择真正的我

[Bridge - whispered]
变成鬼怪就不怕了
但说喜欢的话语让我害怕

[Chorus - powerful belting]
Trick or Love 即使摘下面具的脸
只想听你笑着接受我
Trick or Love 即使天亮也在身旁
请选择真正的我

[Outro - dreamy]
Trick or Love...
南瓜灯光渐渐熄灭

[Fade Out]

用ACE-Step 1.5制作音源,提示词为“女性主唱,欢快万圣节,J-pop”,BPM 110,C大调,60秒长度。

ACE-Step 1.5界面

准备好后,将PARTS.md、主题“万圣节MV,明快欢快,色彩丰富热闹”、音频文件、歌词输入,AI自动生成剧本和素材,导出MP4视频。

生成的MV示例

由于作者曾用Claude Code(Sonnet 5.5)制作组件库,直接用该模型生成MV。也用DeepSeek V4 Flash测试,结果各有风格:Sonnet 5.5偏正式,DeepSeek V4 Flash更活泼,和日常聊天时的印象相符。

最后提醒,Remotion虽然功能强大,但其许可有特殊规定:个人、员工不超过3人的营利组织及非营利组织可免费商用;4人及以上的公司需购买商业许可。

通过Remotion,动态图形视频可以用代码精准制作。结合AI编写代码,即使是“万圣节风格的欢快视频”这样的主题,也能包含音乐、图片和动画,和AI协作完成。

但每次让AI单独生成所有动画代码成本较高,且不稳定。准备组件库让AI选择组合,既节省成本又易于修改,且不断完善组件库能减少后续AI遇到的问题。

当然仍有挑战,比如歌词时间点只能做到大致匹配,避免文字遮挡人脸仍需人工或其他AI辅助。但这已是AI时代制作MV的新尝试。

组件库支持扩展,想要新动画或背景时,可让AI帮忙制作。感兴趣的朋友不妨尝试体验。