能打赢Sora吗?快手可灵实测:文生视频效果惊喜
去年至今,AIGC浪潮席卷全球,大模型赛道在不同领域激发出了更多可能。如果说ChatGPT和Stable Diffusion真正让AIGC走进了大众的视野,那么今年年初以来,Sora掀起的视频AIGC热潮,则是令主流互联网用户都感受到了AI技术有机会在更大范围改变世界。
一时间,视频生成大模型赛道涌入无数玩家。国内市场,字节跳动早在年初就发布了超高清文生视频模型MagicVideo-V2,阿里云旗下魔搭社区上线文本生成视频大模型......类似的文生视频大模型还有不少,但还没有哪个大模型实现了真正意义上的落地应用。哪怕是Sora,充其量也只是DEMO,也就是实验室产品,还不能真正投入消费市场。
正如百度CEO李彦宏所说:“大语言模型本身并不直接创造价值,基于大模型开发出来的AI原生应用才能满足真实的市场需求。”
谁能成为第一个让普通用户用上的文生视频大模型,我想市场已经给出了答案——快手可灵大模型。
发布即上线,快手加入文生视频战局
近日,快手正式上线可灵视频生成大模型,从官方公开的信息来看,可灵大模型采用了类Sora的技术路线并结合多项自研创新技术,具备生成大幅度合理运动、模拟物理世界特性、支持自由输出视频宽高比等优势。
不仅如此,可灵大模型基于Diffusion Transformer架构打造的文本视频语义理解能力,能较好的理解用户给出的指令,同时支持输出长达2分钟,且高达1080p 30FPS的视频。
图源:可灵AI生成
凭借以上优势,可灵大模型一经推出就迅速出圈,内测资格一号难求。所幸小雷受邀参与内测,不然可能还在排队等待审批通过。获取体验资格的具体流程如下,感兴趣的小伙伴可以试试。
申请流程:下载快影APP - AI玩法 - AI生视频模块 - 填问卷申请。
话不多说,接下来小雷就和大家一起看看“国产Sora”的实力。
视频生成效果超预期,快手勇气可嘉
开始体验前,小雷选取了几个官方展示的热门视频,大家仔细观察这几个视频,应该就能对可灵大模型有大致的了解。
图源:可灵AI生成
为了方便大家观看,小雷将视频转换成了动图,因此会对视频质量和帧数造成一定的影响。不过,细心的朋友可能已经发现了,小雷选择的这几个视频分别展示了物体动态、光影、环境方面的特性。
作为官方展示的热门作品,视频整体水平自然不低,无论是阳光下的阴影、水底反射的涟漪,还是火焰带来的照射,都能比较好的呈现。尽管每个视频或多或少存在物体表面突然跳动之类的小瑕疵,但整体瑕不掩瑜,也给接下来的自由发挥带来更多期待。
小雷尝试用文字描述“一个中年大叔坐在客厅吃面”生成日常场景,大约花了2分钟时间,一个5s的视频就成功出炉了。先说观点,整体效果合格,客厅背景识别准确,人物夹筷子和口腔动作还原得十分到位,当然少不了AI视频特有的“空间魔法”,筷子角度和吃面条均出现不同程度的断层,有些不协调。
图源:可灵AI生成
随后小雷又生成了几个不同场景的视频,根据观察,只要不涉及人与人、或者人与物体之间的复杂交互,可灵大模型对于不同物体物理表现的诠释还是相当稳定的,基本没有出现大的差错。
比如雷科技拍摄数码评测视频时经常要提前录好产品展示镜头,以备空镜使用,但拍摄对场地布景有不小的要求,因此如果AIGC视频能帮助完成就再好不过了。为此,小雷让可灵大模型生成一个小米14在科幻摄影棚内的外观展示,背景以及外观展示的动作都没有问题,但视频中的手机显然不是小米14,甚至还附带了类似苹果的logo,唯一像的地方或许就是镜头模组了。
图源:可灵AI生成
为了搞清楚原因,小雷测试了其他品牌手机,结果一致。不仅是手机,就连马斯克等特定人物也无法识别生成。小雷猜测应该是快手出于隐私保护合规以及避免侵权的考量,主动将潜在风险扼杀在摇篮之中,这点值得肯定。
正如前面说的,只要不涉及人与人、或者人与物体之间的复杂交互,AIGC视频的表现都很不错。众所周知,如何让生成视频符合物理规律一直是视频AIGC大模型最头疼的问题,与生成图片相比,生成视频需要考虑的问题更复杂,不仅涉及到不同主体的运动轨迹,肢体协调,还得结合重力、光影等真实物理世界特性进行综合处理。
我们常见的视频、电视剧、电影,里面包含有很多交互动作,而这些,正是物理难度最高的部分。目前市面上所有AIGC视频大模型处理复杂交互都非常一般,可灵大模型也不例外,至少在小雷测试中就发现了许多可优化空间。
比如这个拳击场景,两个人的手部、脸部、躯体均出现不同程度的扭曲,随着动作频率的加快,动作出现变形的概率更高。这也是所有AIGC视频的通病,如果大家有留意其他大模型生成的AIGC视频,你会发现很少出现这种大幅度交互的镜头,因为这会直接暴露弱点。
图源:可灵AI生成
别的不说,至少可灵大模型勇气可嘉,也让我们看到了AIGC视频新的可能性。随着更多数据的集成和技术迭代,未来直接生成一部武打短视频也不是不可能的事情。
总的来说,可灵在自然语义识别方面与文本大模型相比还是存在一定差距,小雷测试过程中偶尔会出现关键词识别不到的情况。而在视频质量上,作为面向普通用户的免费大模型应用,小雷认为没有太多可挑剔的地方,前面提到的瑕疵是整个行业都暂时无法解决的。
可灵在真实风格场景上的表现令人印象深刻,许多AIGC视频如果不细看,甚至无法发现是AI生成。同时可灵大模型的生成效率表现也不错,单个视频的生成时间基本维持在2-3分钟以内,测试过程中没有遇到卡顿、异常等情况,侧面体现了可灵大模型的强大算力和稳定性。
当然,内测版本的可灵大模型还有许多限制,比如视频生成视频为固定的5s,图文视频功能暂未开放,不能自定义清晰度和尺寸等。但参考官方给出的完全体信息,可灵大模型未来的大规模落地应用绝对是值得期待的。
加速落地的多模态,是大模型大战的制高点
模型设计、数据保障、计算效率、模型能力的扩展是一个视频生成大模型必备的核心要素。 Sora、可灵暂时只能说具备成为优秀视频生成大模型的潜力,它们均存在不够成熟的地方,比如模拟复杂场景的物理原理、无法理解因果关系以及跳跃的空间细节等。
造成这些问题的其中一个原因是目前视频生成大模型基本是直接从视频数据中学习物理知识,但真实视频往往包含很多信息,因此大模型很难精准区分每个物理规律并学习。据了解,快手大模型团队自研了3D VAE网络和全注意力机制(3D Attention),借助多模态技术更好地实现时空建模。
图源:可灵AI
多模态学习(Multimodal learning)是机器学习的一个重要分支,其中的模态指的是数据形式,例如文字、图片、语音等。通常意义的多模态学习,就是利用模型去同时处理图文,图生文本、文本生图等数据。通过多模态大模型,可以更好地理解和处理复杂的多模态数据,提高人工智能的应用性能。
不同于成熟的语言模型,当前多模态大模型仍处于起步阶段,人们还在不断探索相关应用。就像国内借助新能源车实现汽车行业弯道超车那样,语言模型的落后不影响国内借助多模态大模型实现反超的可能性,多模型成为国内大模型赛道的新机会。
据中国互联网络信息中心预测,2032年生成式AI市场规模有望达到1.3万亿美元,复合年增长率约42%。生成式AI技术的巨大潜力预示着未来很长一段时间里,它将是各行业竞争的主战场。
2024年5月20日-6月30日,618年中大促来袭,淘宝天猫、京东、拼多多、抖音、快手、小红书六大电商平台集体“听劝”,取消预售、疯狂杀价!
手机数码、AI PC、智能家电、电视、小家电、空冰洗等热门AI硬科技品类摩拳擦掌,战况激烈。
雷科技618报道团将全程关注电商平台最新战况,AI硬科技品牌最新动态,电商行业全新趋势,敬请关注,一起期待。
快手出手,将这家助残基地打造成了“金字招牌”
华夏时报(www.chinatimes.net.cn)记者 王晓慧 北京报道
“您好,我是您的专属客服,有什么需要帮助的吗?”“您好,有什么问题可以随时留言,我会全力帮您解决。”......位于河南省鹤壁市浚县的炳良自强双创园电商就业区内,40多名身穿“炳良自强”红色马甲的残疾熟练的敲打着键盘,他们都是经过专业培训的云客服专员。
炳良自强双创园的负责人孙炳良告诉记者,园区为残疾人免费提供网店运营、云客服、平面设计、短视频营销、直播带货等电商培训,并提供就业岗位。截至目前,累计培训学员7600多名,其中3000多名残疾学员成功就业,16名脱贫监测户在浚县炳良自强双创园就职,平均月收入2000元左右。
据《华夏时报》记者了解,今年53岁的孙炳良,出生在河南省鹤壁市浚县新镇镇东枋城村,8岁时的一场骨髓炎疾病,彻底改变了他的人生轨迹。虽然通过手术保住了双腿,但他从此不得不与双拐为伴。不过,这并未让他一蹶不振,此后,孙炳良自学成才、自主创业、电商助残、精准扶贫......不光让自己站了起来,还带领残疾人兄弟姐妹“向幸福出发”。
自强不息,电商助残
孙炳良的身上有着太多太多的故事。
“因患上骨髓炎,我的童年几乎是在不断求医问药的奔波中度过的,但最终双腿还是落下了残疾。经历过无数的痛苦和折磨,我在12岁时一度想过轻生。”孙炳良说,最终让他决心“站”起来的,是一群共产党人的“精神养料”。
当年,孙炳良的父母为了勉励他,经常给他讲述张海迪、江姐、刘胡兰、雷锋、焦裕禄等很多共产党员的故事,这些励志故事中,他尤其着迷于张海迪的事迹。
“张海迪躺在床上用镜子看书还能自学成才,我虽然行动不便,但双手还很灵活,为什么我不能成才?”于是,少年孙炳良在自己床头的土墙上工工整整地写下了他奉为座右铭的四句话:“立下愚公志,身残何所惧;只要肯攀登,胜利在眼前!”
那年他只有12岁。身残志坚的他,曾经每天都要对着这段话念上很多遍,也正是靠着这股子韧劲儿,让他改变了自己的人生。加之社会的关怀和邻里乡亲的照顾让孙炳良始终保持着一颗感恩之心。多年来,孙炳良干过家电维修,专门对残疾人、老红军和军烈属以及贫困户制定了“三免政策”。
2011年,孙炳良第一次接触电商这一概念,发现这项技术非常适合行动不便的残疾人、贫困户。发展电商只需要一根网线、一部手机,不仅简单方便,还能带动更多残疾人创业就业,于是,2013年,敢想敢干的孙炳良创办了鹤壁市残疾人电子商务培训运营公司,并建立了河南省第一家无障碍残疾人电商培训学校,他回馈社会的事业真正步入了“快车道”。
当年,全国各地残疾人创业者纷纷前来学习电商创业模式,学员越来越多。此后,孙炳良的公司先后被认定为“省级电子商务培训示范基地”“国家级残疾人培训基地”,获得首届河南省青年志愿服务项目大赛“省级示范项目”、第三届中国青年志愿服务项目大赛全国赛银奖等荣誉。
电商成就了孙炳良,他也因此帮助了很多弱势群体。甚至,他的公司与字节跳动、京东、淘宝等知名公司建立了业务指导和商品销售合作关系,利用“电商+直播”的新型营销模式助残扶贫。
得道多助,“快手”出手
然而,天有不测风云。2021年的夏天,对于河南而言是个不平凡的时间点,它经历了暴雨洪水和疫情的双重威胁,孙炳良的残疾人就业基地同样面临着考验。
据记者了解,当年的浚县出现了罕见的洪涝灾害和台风,它们摧毁了基地,甚至,刮走了基地房屋的房顶。即便如此,孙炳良依然无暇顾及这些,他腾出可以利用的空间,自发接收前来自主投宿的灾区群众,为150多名父老乡亲提供落脚点,免费安排吃住。
在这场与洪灾和疫情的较量中,很多残疾人由“受助者”转为“助人者”,用残疾之躯参与着这场没有硝烟的战争,书写着人间大爱,其中,不乏社会和企业的援助。
面对河南当时的困境,快手科技第一时间向河南捐款5000万元,配合当地政府进行救灾紧急举措和灾后恢复工作,并与当地民政部门和多家公益机构协同支援帮助。2021年12月,在中国残疾人联合会的指导下,快手定向捐赠500万元支持河南暴雨灾后助残项目,在浚县建设两个双创园区,其中一个250万元善款用于支持浚县炳良自强双创园建设,一个250万元善款用于支持浚县卫贤镇残疾人双创园建设。通过县域、乡镇相互支持相互辐射共同打造残健融合的新模式,助力河南残疾人用户自力更生。
据记者了解,在快手捐赠的带动下,炳良自强双创园规划设计以党建为引领,有研学励志教育区、励志体验区、快手直播MCN孵化区、中等教育职业技能培训区、社会评价组织电商考评区、拓展训练区、娱疗区、职业康复生活区等8大功能区。自此,园区在原有的基础上引进了师资力量,发挥“国家级残疾人培训基地”和“省级电子商务示范企业”优势,发挥省级电商类社会评价组织中级、高级电子商务师考评颁证机构优势,对技能水平达标的残疾人,授予国家认可的职业技能等级证书,为高技能人才颁发高级等级证书,助力残疾人实现高质量就业。
“快手挖掘了自身优势,以技术手段弥合‘数字鸿沟’,让年龄与行动的不便不再成为闭塞的理由。就此,我们发起了系列助残项目,充分发挥短视频和直播平台优势,针对残障群体开展网络直播带货和电商培训,打造优秀的残疾人带货主播典型,共同探索短视频和直播时代残疾人就创业新机遇。”快手相关负责人接受记者采访时表示,为了帮助更多的残疾人实现创业就业的愿望,快手还实施了“点亮行动”残疾人电商专项培训计划,通过“线上课程 + 线下实战 + 长期陪伴”的形式,联合各省残联,针对残疾人群体开展网络直播带货和电商培训,打造优秀的残疾人带货主播典型,在短视频和直播时代为残疾人就业创造新机会、新机遇,为广大残障群体点燃一盏灯。
得道者多助。就在今年的8月16日,“炳良自强双创园”搬入了新的园区。
提及此处,孙炳良掩饰不住地激动,他告诉《华夏时报》记者,通过快手捐赠的资金,新的园区不光提升了各种硬件,同时,开拓了很多助残培训的方式和渠道,残疾人综合服务能力和残疾人培训基地容纳力都得到了质的提升。
据记者了解,园区建设打造了“1+6+8”模式,即建设1个园区、规划6个项目、打造8大功能区,将带动1000名健全人和2000名残疾人就业,园区开发的教育培训、文化旅游、亲子体验等项目,年服务能力可达5万人次,将成为浚县惠残助残、就业帮扶、助力乡村振兴的一块“金字招牌”。
相关问答
快手 售后客服累吗-ZOL问答由于在触碰这一工作中的情况下你能感觉充斥着参拼劲到一个不明的行业,这个情况下就好像一个海棉一样,各式各样的工作中都要想消化吸收,也务必得消化吸收,所以非...
快手 上卖的节电器怎么样?很难给出一个准确的回答,因为快手上的节电器品牌、型号、价格都各异,质量也参差不齐。但一般来说,选择正规厂家生产的节电器,进行购买使用,能够起到一定的节...
快手家电 和实体店家电区别?快手卖家电可能是一些家电的批发商在快手上进行直播,也有一些是为其他品牌做一些直播带货的,快手上确实也有一些价格便宜比较实惠的家电,但是最好还是到实体店...
东莞东城 家电维修哪家 最好家电维修?你需要修理什么东西,什么牌子的,东城这边修家电的我就知道有一家叫阳光家电的不错,电话是:22329571希望帮到你!小快手3371天前扩展回答1东莞东...
快手 业务低价自助平台-ZOL问答河南抖锋科技有限公司是的公司业务是专门针对快手小店评分低,并帮其提高人气的公司。快手是北京快手科技有限公司旗下的产品。快手的前身,叫“GIF快手”,诞生...
马一凡电器质量怎么样?马一凡电器质量挺好的!你好,挺不错的,像空气炸锅1、几乎不用油,达到油炸的口感,还能滤出肉类本身的油脂,很健康。2、速度快,省事。除了刚开始几分钟需...
现在 维修家电 的店铺还有么?感谢邀请!现在来说,家电维修的店铺还是有的,不过已经很少。是什么原因造成的呢,一方面是家电产业发展进化,售后服务也不断进步。用户只要一个电话,就会有...感...
快手 直播一元电饭锅靠谱吗?不靠谱,快手直播一元的电饭锅不靠谱。一分钱一分货这个道理永远不会错,任何东西都会有制造成本运营成本,一块钱根本就不够本钱,商家不会做亏本的买卖的。说一...
京东和 快手 哪个买东西靠谱?京东和快手相比较的话,个人觉得京东买东西要更靠谱一些。实际上这两个电商平台都是非常正规严谨的,购买东西在质量上都是有保障的。但是京东有自营的店铺,直接...
快手 里卖的电器是正品吗?快手卖的电器是不是正品不能笼统确定的说是不是正品,只能说有正品也有假货,现在好多大的品牌产品都开通了自己的品牌官方账号,在官方账号直播间购买的产品肯定...