“快手版Sora”可灵开放测试 最长可生成2分钟视频

站长之家(ChinaZ.com)6月6日 消息:快手公司推出了一款名为可灵的全新国产视频生成大模型,它采用了与Sora相似的技术路线,并结合了快手自研的技术创新。这款模型能够生成长达2分钟、30fps、1080p分辨率的超长视频,并支持多种宽高比。不同于实验室的Demo或视频演示,「可灵」是快手推出的产品级应用,并已在快影APP中正式开启邀测。
可灵大模型能够在想象中天马行空,同时在描绘运动时符合真实的运动规律,准确刻画复杂、大幅度的时空运动。它不仅能模拟真实物理世界的特性,生成符合物理规律的视频,还能处理与真实物理世界的交互,例如在视频中展现小男孩吃汉堡时齿印的变化。
可灵采用了原生的文生视频技术路线,替代了图像生成加时序模块的组合,这是它能够生成视频时间长、帧率高,并准确处理复杂运动的关键。快手大模型团队着重考虑了模型设计、数据保障、计算效率以及模型能力的扩展这四大核心要素。
在模型设计方面,可灵采用了类Sora的DiT结构,用Transformer代替了传统扩散模型中基于卷积网络的U-Net,并通过自研的3D VAE网络和全注意力机制(3D Attention)提升模型的建模能力。
数据构建方面,快手大模型团队构建了完备的标签体系,精细化筛选训练数据,并研发了视频描述模型,以生成精确、详尽、结构化的视频描述。
运算效率方面,「可灵」使用了传输路径更短的flow模型作为扩散模型基座,并采用分布式训练集群和算子优化等手段提升硬件利用率。
模型能力扩展方面,「可灵」支持自由的长宽比,并研发了基于自回归的视频时序拓展方案,同时还支持多种控制信息输入。
可灵大模型的应用不仅限于视频生成,快手还基于此模型推出了其他应用,如"AI舞王"和"AI唱跳",并即将推出图生视频功能。
快手在大模型技术方面动作迅速,已与多个高校或科研机构合作发布了多项关键技术,为可灵大模型积累了深厚的技术沉淀。现在,快手的文生视频功能已正式亮相,期待其在短视频场景中的应用落地。
对AI视频创作感兴趣的用户,可以在快影APP中体验可灵大模型的功能。
官网地址:https://kling.kuaishou.com/
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
【汉字塘怎么组词】“塘”是一个常见的汉字,通常与水有关,常用于表示人工或自然形成的水池、水洼等。在日常...浏览全文>>
-
【汉字酵怎么读】在日常生活中,我们经常会遇到一些不太常见的汉字,比如“酵”。很多人对这个字的发音和含义...浏览全文>>
-
【汉字姣怎么组词姣怎么组词】“姣”是一个较为少见的汉字,读音为 jiāo,在汉语中多用于形容女子容貌美丽。...浏览全文>>
-
【汉字降可以组什么词】“降”是一个常见的汉字,读音为“jiàng”,在汉语中有着丰富的含义和用法。它既可以...浏览全文>>
-
【汉字见怎么组词】在汉语学习中,“见”是一个非常常见的汉字,它不仅在日常生活中频繁出现,而且在词语搭配...浏览全文>>
-
【汉字囝怎么读】在日常生活中,我们常常会遇到一些不常见的汉字,这些字不仅写法奇特,读音也让人感到困惑。...浏览全文>>
-
【汉字假组词语】“汉字假组词语”这一说法在传统汉语学习中并不常见,通常我们所接触的是“汉字”和“词语”...浏览全文>>
-
【海南旅游景点大全】海南,作为中国最南端的热带海岛省份,以其独特的自然风光、丰富的文化底蕴和宜人的气候...浏览全文>>
-
【海南旅游攻略】海南,作为中国最南端的省份,以其独特的热带风光、丰富的自然景观和多样的文化风情吸引了无...浏览全文>>
-
【海拉尔旅游攻略必玩的景点】海拉尔是内蒙古自治区呼伦贝尔市的行政中心,被誉为“中国最美的草原之一”,四...浏览全文>>
