达摩院发布一站式AI视频创作平台"寻光",打造全新AI工作流


今年是 AI 视频生成爆发的元年,以 Sora 为代表的算法模型和产品应用不断涌现。短短几个月内,我们目睹了几十种视频生成工具的问世,基于 AI 的视频创作方式开始流行起来。

但新技术也引发更多的挑战与质疑,除了大家熟知的 “开盲盒” 现象,AI 所生成的视频内容也因可控性差、处理工作流繁琐而频频被诟病。

OpenAI 曾经邀请专业视频制作团队对 Sora 进行了测试,其中来自于多伦多的 Shy Kids 团队,利用 Sora 制作了一个气球人主题的短片,把创意和 AI 技术进行了完美的结合,让人印象深刻。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

整个短片其实并不是 Sora 直接输出的结果,而是由多个视频片段组成,且 Sora 在生成不同视频时,很难保证主角的一致性。因此,在引入了大量的人工后期编辑,他们才呈现出最终的短片效果。Shy Kids 的主创们总结,“Sora 的技术很酷,但是它的生成过程很难控制。”

对生成内容的精准可控,是 AI 视频创作中的重要需求,也是今天算法面临的一大挑战。

为此,在刚结束的上海世界人工智能大会(WAIC)上,达摩院发布了一站式 AI 视频创作平台 “寻光”。

其定位为 PUGC 一站式 AI 视频创作平台,可辅助用户创作剧本、分镜图等,并通过工作流整合提升创作全流程的效率,支持对生成及上传素材进行丰富的 AI 编辑,提供人物控制、场景控制、风格迁移、运镜控制、目标新增 / 消除 / 修改等十多种 AI 编辑功能,让视频中的元素和对象精准可控。

达摩院希望借由寻光平台进一步提升 AI 视频创作的效率,目标是用 AI 能力重塑传统视频制作的整个流程,打造 AI 时代的全新视频工作流。

业界首次落地
基于图层的视频编辑

在寻光研发的初期,达摩院还与*传媒从业者及创作者进行了广泛且密集调研,了解其对于视频 AIGC 创作的需求与痛点。他们发现,视频图层几乎是所有视频创作者们提到频次最高、最迫切的需求。

基于此,寻光平台首次在行业推出系统性的视频图层编辑功能。用户通过文本输入,即可生成符合文本描述且具有透明背景的视频,并且一键将其融合到其他背景视频当中。在传统视频生成能力的基础上,用图层这样一种更灵活的形式来产生内容。

寻光更提供图层拆解功能,轻轻一圈,选定目标立刻拆解为单独的图层视频,再丝滑嵌入不同的背景视频。

用户可以将不同的前景图层跟不同的背景进行图层融合,组合出更多新的视频。图层融合的能力进一步激发 AI 创作力和想象力,同时能够保持多个分镜头之间的场景和人物的一致性。
在达摩院看来,AI 不会取代创作者的工作,而是会优化视频创作的工作流,成为创意驱动的新引擎。

一站式 AI 创作平台
更简洁的交互,更丰富的编辑能力

剧本创作、分镜设计、素材编辑…… 传统的视频创作步骤分工明晰、周期冗长。在 AI 技术的加持下,原本分散在不同制作流程中的创作步骤,如今都可以在寻光平台上流畅完成。

“我们希望让视频编辑像操作 ppt 一样简洁直观,容易上手。” 达摩院视觉技术实验室高级算法专家陈威华在现场介绍,寻光平台的一大亮点在交互方面。

寻光平台在设计时便充分考虑到 AI 视频创作的特点,将每个视频项目抽象为多个分镜头画面,用户可根据剧本自动生成一组分镜头,也可以自己上传原始视频素材,由算法切分成多个分镜头。

在创作空间里,用户可以很方便的查看每一个分镜头,一个场景内的多个分镜头可以收起或者展开,场景之间可以通过拖拽来调整顺序,场景内的分镜头也可以进行拖拽。用户也可以在任意位置上进行分镜头的添加和新建,可调用图片生成或者视频生成能力去产生内容,也可以添加自己已有的各种素材。

对于每个分镜头,寻光提供完整且智能的 AI 视频编辑能力进行处理,可依据用户意图,在语义层面而不是像素层面实现编辑。分镜头里的人体、人脸、前景、背景等任意局部目标,都可以进行精细化的编辑和修改。

比如,理解空间景深的运镜控制;

又比如,能够理解物体相对关系的目标消除 / 修改。

在对视频全局元素的编辑上,寻光平台提供了超过 20 种的风格迁移。

寻光也提供帧率控制、视频超分等实用的视频编辑功能。

“我们希望一个视频里的所有元素都是可编辑、可修改的,这样可以给用户的创作提供最大的自由度”,陈威华说。

写在最后

今天,我们正处在 AIGC 的变革浪潮之中,AI 有可能催生出新的视频工作流。无论是专业的*从业者还是热爱创作的 UGC 用户,都将从中获益。

“工欲善其事,必先利其器”,达摩院希望寻光视频创作平台能够成为每一位创作者的专属视频工作室,实现 AI 与创作者之间更紧密、高效的协作,真正释放 AI 的生产力。

为此,达摩院视觉技术实验室已做了大量技术储备。该实验室致力于多模态视觉信号的理解与生成技术研究,当前的重点研究方向包括更加精准的图像 / 视频 / 3D 内容生成,更加可控的图像 / 视频 / 3D 内容编辑,更加高效的生成框架,多模态的理解 - 生成框架等。

陈威华表示,“寻光”将于近期开放内测,持续迭代,优化交互,欢迎创作者们来定制属于自己的 AI 工作流。

内测申请地址:
https://xunguang.damo-vision.com/


# 视频编辑  # 对象  # 算法  # 人工智能  # https  # AIGC  # 达摩  # 图层  # 工作流  # 多个  # 进行了  # 一站式  # 首次  # 很难  # 一大 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237


相关推荐: AI驱动的Web应用测试:突破QA挑战,提升用户体验  支付宝出行AI能否自动抢票_支付宝AI出行抢票设置与免密支付【方法】  农业模拟器25:AI助手与GPS终极指南  AI虚拟女友:终极浪漫伴侣还是数字陷阱?  趣味 Phonics:轻松掌握 CVC 单词拼读技巧  ChatGPT写论文大纲教程 辅助学术构思与资料检索操作方法  随机故事生成器:激发创意,轻松创作精彩故事  Depseek能否生成领导汇报版总结_Depseek汇报版结构调整与精简技巧【教程】  AI Vibe Coding: 快速打造落地页,低代码平台实战教程  百度输入法全感官ai怎么关 百度输入法全感官皮肤关闭  AI视频播客制作终极指南:告别繁琐编辑,轻松发布!  挖掘用户数据:洞察与策略,提升播客全球影响力  Midjourney怎么用一键生成海报_Midjourney海报生成教程【方法】  唐库AI拆书工具如何批量导出笔记_唐库AI拆书工具批量导出与格式转换【方法】  2025年冷邮件营销:技巧、工具和成功案例分享  轻松生成二维码:免费AI工具终极指南  Depseek怎么设置总结汇报重点_Depseek重点突出与关键词标注方法【步骤】  Venggage AI Pitch Deck生成器:快速创建投资者演示文稿  lovemo网页版直接进入 lovemo官网在线登录  利用 DeepSeek 辅助进行编译器原理课程学习  MemeGIF Studio:AI驱动的GIF生成器全面评测与使用指南  唐库AI拆书工具如何提取核心观点_唐库AI拆书工具观点提取与标注方法【攻略】  5分钟搞定求职信:利用AI工具大幅提升求职效率的实操技巧  解锁 Gemini Gems 高级用法:打造专属 AI 专家助手  Midjourney怎样用参数调色彩饱和度_Midjourney饱和度调整【方法】  ChatGPT怎么用一键生成活动策划案_ChatGPT策划案生成教程【攻略】  探索古希腊之美:AI打造的绝|美女|神形象赏析  AI照片编辑终极指南:一键打造潮流图像  WorkPPT:AI驱动的PPT制作神器,效率提升不止10倍!  tofai官网最新入口地址 tofai网页版免下载  寓言故事:狮子与老鼠,学习英语的趣味童话之旅  雷小兔ai智能写作如何优化语句_雷小兔ai智能写作语句润色技巧【攻略】  Feelin网页版在线玩 Feelin角色扮演网页版入口  利用AI模板高效创建产品需求文档 (PRD)  AI语音生成指南:免费工具、变现实战与避坑策略  DesignGen: 5个AI模型革新服装设计,快速实现创意  如何用AI帮你制定个人OKR?目标管理从未如此简单  播客数据深度分析:揭秘全球听众分布及增长策略  2025年QA工程师必备:五款AI自动化测试工具深度解析  QuickBooks Desktop 到 Online 迁移指南:轻松转移您的公司数据  怎么用AI制作数字人短视频?3步教你创建虚拟主播  ChatGPT 4 辅助进行室内设计灵感采集  智行ai抢票怎样设置抢票通道_智行ai抢票通道选择与速度优化【指南】  壹伴AI智能排版如何自动生成文章配图_壹伴AI智能排版配图生成与版权说明【教程】  AI视频创作终极指南:文本到视频的免费工具与技巧  AI聊天机器人:朋友还是谄媚者?深度解析与实用建议  AI视频创作新纪元:CogVideoX Flash模型深度解析  DeepSeek AI:AI通用谜题解题器,解题思路全解析  FeelinAI聊天网页版 Feelin官方网站地址  宝可梦化石精灵大揭秘:晶灿钻石视角下的精灵演化 

 2024-07-09

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

南京市珐之弘网络技术有限公司


南京市珐之弘网络技术有限公司

南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。

 87067657

 13565296790

 87067657@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.