打造开源技术底座 北大深研院兔展智能AIGC联合实验室推出Open-Sora计划
3月12日,北京大学深圳研究生院-兔展智能AIGC联合实验室举办Open-Sora计划媒体介绍会,就其技术、应用亮点与未来展望做重点介绍。据悉,该计划日前已上线至国际开源社区平台,旨在以开源形式带动全球范围内对人工智能文生视频大模型感兴趣的技术人员参与和贡献进来,扩大技术的普惠性。
据介绍,此次由北京大学深圳研究生院-兔展智能AIGC联合实验室打造的Open-Sora核心技术框架包括视频编解码模块、扩散型变换器(Diffusion Transformer)去噪模型和条件注入三大模块。在资源有限的情况下,Open-Sora计划采用了计算更友好的2D + 1D扩散型变换器架构,并在同步推进除文本控制外更多条件控制的视频生成训练。该计划在开源社区发布仅1周内,便实现模型和代码更新200余次,获得14万余次访问,代码被克隆超800次,吸引了来自英国、加拿大、德国、迪拜、沙特阿拉伯、伊朗等多个国家技术人员的讨论参与。
“技术应该为每个人服务,这是开源的意义,也是人工智能发展迅速的源动力。”北京大学深圳研究生院-兔展智能AIGC联合实验室副主任、北京大学深圳研究生院信息工程学院助理教授、博士生导师袁粒表示,基于目前已经搭好的训练框架,Open-Sora能够支持动态输入、多尺度、多分辨率的训练,对于可变比例、可变时长的视频已经取得了较好的生成效果,已初步完成了第一阶段验证的任务。第二阶段将在有效框架基础上使用更多数据和更大算力,训练出20秒以上、720P清晰度的视频生成模型,实现该开源项目的目标。


