“一人一剧”时代来临：AI短剧平台SkyReels正式发布
发布时间：2024-10-01 10:32分类： 无
浏览：66评论：0
导读：8月19日，昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体，让创作...
8月19日，昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体，让创作者“一键成剧”，轻松制作高质量AI视频。奇幻大片、凄美虐恋、爆笑喜剧……只要输入一个简单创意，SkyReels就能完成从剧本到成品短剧制作全流程。一天，敏感内向的男孩小杰独自走在街头，却意外偶遇了一只不属于地球的灵动小生物——它那一身亮橙色皮毛在阳光下闪闪发亮。小生物跟小杰在相处中成了朋友，他们在草坪上打盹、在水池中嬉戏。可小杰不知道的是，这只毛茸茸的小生物，竟是实验室里逃走的424试验品——
AI短剧Demo
这部短剧从剧本到分镜、从BGM到画面合成，每一个环节均由SkyReels平台AI生成。SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及业界首个将AI 3D引擎与视频大模型深度融合的创新平台WorldEngine。SkyReels在剧本质量、分镜质量、人物表演等各维度质量评估上均领先于GPT-4o等大模型SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM，支持角色形象、音色与分镜的自定义调整，并能够自动将内容转换为1080P 60帧的高清视频，单次可生成视频长度达180秒，相比Sora单次可生成60秒视频、可灵单次可生成10秒视频，有显著突破。一键整合所有创作成果，极大提高视频的创作效率，降低创作成本，推动“一人一剧”时代加速来临。同时，WorldEngine结合了引擎的精确可控能力（如光照模拟、物理模拟、3D空间、实时交互等） 以及AI视频大模型的幻想生成能力，提供了全新的线上混合视频创作模式，让视频创作从模糊生成迈向更加精确可控。全自动化剧本生成：用户输入概念或创意，AI将一键生成一份结构完整、情节丰富的剧本，并支持已有剧本的自动整理与润色，提高创作效率。高质量情节设计：系统通过分析大量剧本情节，生成高质量的故事情节、戏剧冲突、爽点及情感表达，保证剧本的丰富性与吸引力。智能分镜生成：根据剧本内容，一键生成分镜图片和对应的文字脚本，用户还可自由调整分镜、镜头角度、运镜方式等参数，确保创意的精确实现。情感化对白/BGM：通过情感化语音合成技术，赋予角色自然的句间停顿、情感表达、抑扬顿挫，并基于视频内容自动生成AI BGM，让画面与音乐完美融合。个性化定制：支持角色形象、音色和分镜的智能生成与自定义调整，满足创作者的个性化需求，并提供动漫、卡通、真人3D等多种视觉风格选择，适应不同创作者的偏好和内容表达需求。内容一致性与精确性：确保角色与场景在不同分镜中的一致性，同时根据故事描述自动推演角色表演，实现人物表情、动作、台词的协调一致，提升故事表现力。高效视频生成：自动将分镜转换为连续高清视频，提供1080P 60帧输出，确保流畅的观看体验。便捷的后期合成：一键整合所有创作成果，并可快速导出和分享，支持多种格式下载，方便后期编辑。SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型SkyScript打造。
SkyScript剧本大模型技术原理图短剧创作的另一重要环节——分镜生成，则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构（基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构）的分镜生成模型，能够实现高密度分镜信息生成，大幅增强视觉叙事表达能力。输入剧本后，StoryboardGen模型会将剧本拆解成全局与主体两部分，全局部分包括场景、景别、构图等对分镜的整体描述，主体部分包括角色形象、动作人物角色的定制，最终汇集至故事板（Storyboard）智能体生成完整分镜。StoryboardGen的专项多智能体架构，能够有效保证人物与场景的可控性和一致性，创造出高质量的工业级分镜。昆仑万维StoryboardGen分镜大模型技术原理图在最终的影像生成环节，WorldEngine是业界首个将AI 3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新，WorldEngine以图层融合技术为桥梁，打造出前所未有的3D与视频混合创作模式。用户使用SkyReels生成AI视频时，可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成，该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象，最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此，AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。在3D AI引擎方面，昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景，从自然景观到未来都市，从静态物体到动态角色，并提供了实时的3D场景交互能力，使得用户可以即时看到调整和编辑的效果，加快创作流程。在WorldEngine的加持下，用户还可以轻松构建3D虚拟影棚，实现虚拟拍摄的梦幻体验。人物表演是短剧画面呈现的核心环节之一。因此，在AI人物表演方面，昆仑万维SkyReels团队专门研发了ActorShow人物生成模型，使得SkyReels所生成的AI人物有着更强的口型表情和肢体动作的可控生成能力，角色呈现更自然。而针对视频后期合成中遇到的光照差异、风格差异等需求，昆仑万维SkyReels团队单独训练了专门的融合生成模型，使得图层融合后的视频呈现良好的一致性。昆仑万维AI短剧平台SkyReels的推出，标志着全球AI短剧创作的一次技术飞跃，它将对视频内容创作流程进行全面颠覆，让创作者从繁琐、复杂的制作流程中解放出来，专注于创意实现与灵感表达，让“一人一剧”的梦想成为现实。SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具，更极大地降低了AI短剧创作的门槛，使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容（UGC）与专业用户生成内容（PUGC）的爆发式增长，为短剧内容生态注入前所未有的活力，推动短剧内容创作与消费市场的进一步快速增长。一个由AI技术驱动的短剧创作与消费的时代，正在到来。昆仑万维始终致力于通过先进的AIGC技术，为全球内容创作者提供更加智能、高效、个性化的工具。在“All in AGI与AIGC”战略的推动下，昆仑万维始终以“实现通用人工智能，让每个人更好地塑造和表达自我”为使命。未来，昆仑万维将持续创新，通过对全球市场的深入开拓，为用户提供优质的AIGC产品与服务。
