产品详细介绍

Runway Gen-2 是 Runway Research 推出的新一代多模态视频生成系统,能够基于文本、图像或现有视频片段,真实且一致地合成全新视频。它通过深度生成模型,将用户的语言描述、参考图片风格或源视频结构转化为动态画面,让“用文字拍电影”成为现实。

Gen-2 支持多种创作模式:

  1. 文本生成视频(Text to Video)
    用户只需输入一段文字描述,即可生成对应风格和内容的视频。无论是写实场景、动画风格还是抽象艺术,只要能描述出来,就有机会在画面中呈现。

  2. 图像 + 文本驱动视频(Image + Text to Video)
    通过一张“驱动图像”(driving image)和一段文字提示,Gen-2 可以在保持图像主体构图的基础上,按照文字描述生成动态视频。例如:用一张角色设定图,加上一句“在雨夜的霓虹街道上行走”,即可得到风格统一的短视频。

  3. 仅图像驱动视频(Variations Mode)
    在变体模式下,用户可以只提供一张图像,让系统围绕这张图像生成多种风格或动作变化的视频版本,用于角色延展、场景探索或视觉风格试验。

  4. 视频到视频(Video to Video)风格迁移
    Gen-2 能将任意图像或文本提示的风格,迁移到源视频的每一帧上,实现视频级别的风格化与重绘。用户可以:

    • 将手绘分镜、低保真预演(previz)转化为完整风格化动画;
    • 为无纹理的 3D 渲染添加真实材质和光影;
    • 将普通拍摄视频转换为特定艺术风格或电影质感。
  5. 与 Gen-1 的协同与增强
    在 Runway 的整体创意工作流中,Gen-2 延续并强化了 Gen-1 的能力。通过定制模型和参数调优,用户可以在图像到图像、视频到视频翻译任务中获得更高保真度的结果。用户研究表明,Gen-1 在图像与视频翻译方面的效果已优于既有方法,而 Gen-2 在此基础上进一步扩展了多模态生成能力。

Runway Research 专注于构建面向创作者的多模态 AI 系统,Gen-2 是其推动“新型创作形态”的关键一步。它适用于影视前期预演、广告创意、动画分镜、游戏概念设计、虚拟场景搭建等多种场景,大幅降低视频创作门槛,让个人创作者和专业团队都能以更低成本、更高效率完成视觉内容生产。

简单使用教程

以下为基于 Runway Gen-2 的基础使用流程示例(具体界面与功能以实际产品为准):

  1. 注册与登录

    • 访问 Runway 官网,创建账号或使用已有账号登录。
    • 进入 Runway 的创作控制台,找到 Gen-2 或相关视频生成入口。
  2. 选择生成模式
    在 Gen-2 界面中,根据创作需求选择:

    • Text to Video:仅用文字生成视频;
    • Image + Text:用驱动图像 + 文本提示生成视频;
    • Image Variations:用单张图像生成多种视频变体;
    • Video to Video:上传源视频,并选择图像或文本作为风格参考。
  3. 输入素材与提示词

    • 文本:用简洁清晰的语言描述场景、主体、动作和风格,例如:“黄昏时分的未来城市航拍,赛博朋克风格,霓虹灯闪烁”;
    • 图像:上传角色设定图、场景概念图或风格参考图;
    • 视频:上传需要进行风格化或重绘的源视频片段(时长和分辨率需符合平台要求)。
  4. 设置关键参数

    • 选择视频时长或帧数(如可选);
    • 调整风格强度、细节程度、运动幅度等参数(视界面提供情况而定);
    • 确认输出分辨率和纵横比,以适配目标平台(如横屏 16:9、竖屏 9:16 等)。
  5. 预览与生成

    • 点击预览或生成按钮,让 Gen-2 进行推理与合成;
    • 先查看低分辨率预览,确认构图、动作和风格是否符合预期;
    • 如不满意,可修改提示词、替换参考图像或调整参数后重新生成。
  6. 导出与后期处理

    • 对满意的结果进行高清导出,选择合适的编码格式与分辨率;
    • 可在 Runway 内或其他视频编辑软件中进行剪辑、配乐、字幕与合成;
    • 将最终成片发布到社交媒体、展示平台或用于项目制作。
  7. 进阶建议

    • 为获得更稳定的角色与场景一致性,可在多次生成中复用同一驱动图像或相似提示词;
    • 利用 Video to Video 模式,将粗略分镜或 3D 预演转化为风格统一的动画样片;
    • 结合 Gen-1 的定制模型能力,为特定项目训练更贴合需求的风格与角色表现。