AI元宇宙 国潮端午

扬子晚报网   2023-06-22 17:32:18


(资料图)

制作动画片是一件耗时耗力的工作,扬子晚报/紫牛新闻运用AI技术开启“动画AI系列”,用五百多个英语单词构成端午动画主题文案,以AI智能学习的方式,完成了一条40秒的元宇宙风格国潮动漫——《国潮端午》。这样的动漫作品放在传统动画行业里,一个人至少需要三四个月才能完成。

项目初期的可爱粽子风格

起于立夏,成于端午

2023年5月6日立夏,扬子晚报/紫牛新闻视频团队尝试用2天时间制作了首条AI动画作品——《AI立夏》,这个试水作品让对动漫制作和AI技术感兴趣的两个圈层都发生了浓厚兴趣,团队接到很多咨询:这究竟是怎么做的?尽管首条试验片因为时间关系,还有瑕疵,但AI给视频带来的数字感让视频团队非常着迷,立夏短片是用实拍视频通过AI模块计算,达成了实拍视频向动漫的转化,端午节的这条更能体现AI智能学习和算法。从文本语义开始,以动漫成片结束,具备了“元宇宙”特质,也是一条成熟的国潮动漫作品。

早期渲染出来的画风和人物都具有强烈的日韩风格

500个单词启动AI算法

这条动漫视频完全基于单词语义,视频团队放弃美术功底,纯粹以文本意义的单词为基底,用500个单词“喂”给AI用人工智能算法,生成了40秒端午主题国潮风格的动画。短片的设定是从现代生活跃入元宇宙,采用一镜到底的风格,让用户可以沉浸式感受国潮风格的端午元素。

40秒里,从粽子、艾草、放纸鸢、雄黄酒到团圆饭,从赛龙舟、中国龙、古代景观到汉服,AI从文本开启的智能学习和算法,给观众带来耳目一新的视觉体验。

早期版本输入中国龙渲染出长翅膀的西方“恶龙”

AI视觉实验室成立

AI在视频制作上的应用,吸引着扬子晚报/紫牛新闻的视频团队,为此专门成立了36912·AI视觉试验室,视频团队全员拥抱AI视频创作,在创新中不断突破难点。

当前AI动画视频的技术在国外非常流行,全球无数AI画师都在使用日韩动漫的风格训练软件模型,这也带来了此次视频制作的第一个难题:如何突破现有AI生成画面的“日韩动漫风”。作为中国传统文化的端午元素,“龙舟”“粽子”“中国龙”“中国古街道”等,在已有模型库里更是几乎搜索不到,输入“中国龙”甚至会生成西方神话里的带翅膀的恶龙,视频团队从零开始,搜集了数千张中国风格的图片和端午元素的图片,放进大模型启动对应的软件训练。

尽管很有挑战,但也因此更坚定团队深入AI视频制作的决心,用更新潮的画风和方式将中国传统文化融入AI潮流中,同时也是将优秀的中华文化同步在全球AI风潮中作有意义的内容输出。

虽然废弃了四万多张图,但其中许多图单独拿出来已经达到了动漫海报的水准

4万条废片与30个版本

目前团队使用的软件只支持英文提示词的对话,很多中国风格的词语用英语描述很难精确,导致反复生成大量废片,团队迭代了30多个不同版本,加上工具电脑算力有限,经常出现莫名画面,系统显示此次先后有4万多张废片,团队不断调整心态,最终在各位成员的努力下,探索出了全新的“突破点”,一举完成本视频的创作,这可能是国内媒体首个把AI绘画元宇宙和中国传统节日融合的尝试。

在团队成员不断的调试下,AI动画的光影效果处理已经非常老练

扬子晚报/紫牛新闻见习记者:朱君贤

扬子晚报/紫牛新闻记者:宋峤

校对:李海慧