当前位置:首页 > 外汇资讯 > 正文内容

谷歌VideoPoet负责人蒋路跳槽TikTok!对标Sora,AI视频模型大战在即

激石外汇2024-02-22 12:01:20外汇资讯50

激石Pepperstone(https://www.paraat.net/)报道:

谷歌VideoPoet项目Research Lead,CMU兼职教授蒋路的Google Scholar资料显示已加入TikTok。

最近,有传闻TikTok招募了某篇论文的作者作为北美技术部门负责人,研发能和Sora对抗的视频生成AI。

而蒋路3周前在Linkedin上发布了离职谷歌的消息,也向外界揭开了谜底。

他作为谷歌VideoPoet项目的负责人,将离开Google Research,不过会留在湾区,继续视频生成领域的工作。

「人才第一,数据第二,算力第三」,谢赛宁的AI突破「3要素」,已经为大厂在未来构建自己的AI护城河指明了方向。

而蒋路带领谷歌团队在去年年底推出了在技术路线上与Sora相似的视频生成技术:VideoPoet,让他成为了世界上为数不多的有能力构建最前沿AI视频生成技术的科学家。

VideoPoet在Sora发布之前就已经将AI视频的前沿推进到了生成10秒长,一致性非常强,动作幅度大且连贯的视频。

而与此同时,他还是CMU的兼职教授,有非常丰富的科研经历和成果。

蒋路这样既有深厚的理论功底,又有最前沿大型项目的工程和管理经验的复合型专家,自然成为了大厂必争的AI基石型人才。

个人介绍

蒋路在Google担任研究科学家和管理岗位,同时也是卡内基梅隆大学计算机科学学院语言技术研究所的兼职教授。

在CMU,他不仅指导研究生的科研项目,还亲自讲授课程。

他的研究成果在自然语言处理(ACL)和计算机视觉(CVPR)等领域的顶级会议上屡获佳绩,还在ACM ICMR、IEEE SLT 和 NIST TRECVID等重要会议上获奖。

他的研究对多款谷歌产品的开发和完善起到了至关重要的作用:包括YouTube、Cloud、Cloud AutoML、Ads、Waymo和Translate 等。

这些产品每天服务全球数十亿用户。

除了上述这些内容以外,还有另一个侧面能很好地说明蒋路学术水平的高度:他与众多计算机视觉和自然语言处理领域的顶尖研究者都有过合作。

2017至2018年期间,他是Google Cloud AI首批研究团队的创始成员,由李佳博士和李飞飞博士亲自挑选。

随后,他加入了Google Research,与Weilong Yang博士(2019-2020)、Ce Liu博士(2020-2021)、Madison Le(2021-2022)和Irfan Essa博士(2023)等人都有过合作。

此外,在卡内基梅隆大学读博期间,他的论文由Tat-Seng Chua博士和 Louis-Philippe Morency博士共同指导。2017他在Alexander Hauptmann博士和Teruko Mitamura博士的帮助下成功毕业。

他在雅虎、谷歌和微软研究院的实习时,得到了Liangliang Cao博士、Yannis Kalantidis博士、Sachin Farfade、Paul Natsev博士、Balakrishnan Varadarajan博士、Qiang Wang博士和Dongmei Zhang博士等人的指导。

从他在领英上的履历可以看出,很多科技大厂都留有过他的足迹。

在CMU和NSF都有过实习经历。

而在毕业之前,他在雅虎,谷歌,微软都实习过。

他本科毕业于西安交通大学,研究生毕业于布鲁塞尔自由大学,博士毕业于CMU。

VideoPoet

他在谷歌带领的团队在去年底推出的VideoPoet,已经用Transformer代替了传统的UNet,成为AI视频生成当时的SOTA.

这项成就,也成为了TikTok相中他最主要的原因。

相比起只能生成小幅动作的Gen-2,VideoPoet一次能够生成10秒超长,且连贯大动作视频,可以说是实现了完全碾压!

另外,VideoPoet也并非基于扩散模型,而是多模态大模型,便可拥有T2V、V2A等能力,或将成为未来视频生成的主流。

相比起其他模型,谷歌的方法是将多种视频生成功能无缝集成到单一的大语言模型中,而不依赖针对各个任务分别训练的专用组件。

具体来说,VideoPoet主要包含以下几个组件:

- 预训练的MAGVIT V2视频tokenizer和SoundStream音频tokenizer,能将不同长度的图像、视频和音频剪辑转换成统一词汇表中的离散代码序列。这些代码与文本型语言模型兼容,便于与文本等其他模态进行结合。

- 自回归语言模型可在视频、图像、音频和文本之间进行跨模态学习,并以自回归方式预测序列中下一个视频或音频token。

- 在大语言模型训练框架中引入了多种多模态生成学习目标,包括文本到视频、文本到图像、图像到视频、视频帧延续、视频修复/扩展、视频风格化和视频到音频等。此外,这些任务可以相互结合,实现额外的零样本功能(例如,文本到音频)。

VideoPoet能够在各种以视频为中心的输入和输出上进行多任务处理。其中,LLM可选择将文本作为输入,来指导文本到视频、图像到视频、视频到音频、风格化和扩图任务的生成

使用LLM进行训练的一个关键优势是,可以重用现有LLM训练基础设施中引入的许多可扩展的效率改进。

不过,LLM是在离散token上运行的,这可能会给视频生成带来挑战。

幸运的是,视频和音频tokenizer,可以将视频和音频剪辑编码为离散token序列(即整数索引),并可以将其转换回原始表示。

VideoPoet训练一个自回归语言模型,通过使用多个tokenizer(用于视频和图像的MAGVIT V2,用于音频的SoundStream)来跨视频、图像、音频和文本模态进行学习。

一旦模型根据上下文生成了token,就可以使用tokenizer解码器将这些token转换回可查看的表示形式。

VideoPoet任务设计:不同模态通过tokenizer编码器和解码器与token相互转换。每个模态周围都有边界token,任务token表示要执行的任务类型

相比于之前的视频生成模型,VideoPoet有这么三个比较大的优势。

一个是能生成更长的视频,一个是用户能对生成的视频有更好的控制能力,最后一个则是VideoPoet还可以根据文本提示,生成不同的运镜手法。

而在测试中,VideoPoet也是拔得头筹,碾压了不少其它视频生成模型。

文本保真度

文本保真度的用户偏好评级,即在准确遵循提示方面首选视频的百分比

动作趣味性:

用户对动作趣味性的偏好评级,即在产生有趣的动作方面,首选视频的百分比

综上可见,平均有24-35%的人认为VideoPoet生成的示例比其他模型更加遵循提示,而其他模型的这一比例仅为8-11%。

此外,41%-54%的评估者认为VideoPoet中的示例动作更有趣,而其他模型只有11%-21%。

而有关未来的研究方向,谷歌研究人员表示,VideoPoet框架将会实现「any-to-any」的生成,比如扩展文本到音频、音频到视频,以及视频字幕等等。         

扫描二维码推送至手机访问。

版权声明:本文由外汇密探发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/2656.html

分享给朋友:

“谷歌VideoPoet负责人蒋路跳槽TikTok!对标Sora,AI视频模型大战在即” 的相关文章

华尔街“集体行动”?特斯拉又被下调目标价了!这次不是因为加息

激石Pepperstone(https://www.paraat.net/)报道:美联储紧缩之下,美股已在风暴之中。但特斯拉再度被华尔街“集体”下调目标价,主要是其自身情况开始引发外界担忧。 由于担忧零部件成本上涨及汽车价格下降对收益的冲击,本周一瑞穗分析师Vijay Rakesh将特斯拉目标价从1...

蔚来汽车回应遭灰熊做空:报告毫无价值,包含大量错误、未经证实的猜测

蔚来汽车回应遭灰熊做空:报告毫无价值,包含大量错误、未经证实的猜测

激石Pepperstone(https://www.paraat.net/)报道:针对Grizzly Research(灰熊)的做空报告,蔚来汽车周三回应称,报告毫无价值,公司考虑采取适当的行动,以保护所有股东的利益。 蔚来汽车表示,Grizzly Research的做空报告包含大量错误、未经证实...

三大央行行长“盖棺定论”:“低通胀时代”结束了!“低利率”纪元告终

激石Pepperstone(https://www.paraat.net/)报道:6月29日周三,欧美三大央行行长罕见齐聚一堂,传递出一个关键的信息是:世界正转向一种更高的通胀机制,过去二十年的低利率策略将不再适用。 “低通胀时代”结束 目前,美国、英国和欧元区的通胀率远高于目标水平,央行行长们认为...

危险信号:美国消费支出降温 衰退担忧越来越大

危险信号:美国消费支出降温 衰退担忧越来越大

激石Pepperstone(https://www.paraat.net/)报道:通胀和利率走高正在侵蚀美国人的消费能力,一场美联储极力想要避免的衰退正变得迫在眉睫。 美国商务部周四公布的数据显示,该国5月份消费者支出环比增幅降至0.2%,这是今年最小的月度涨幅,低于预期值0.4%,也低于4月份修正...

特斯拉二季度或因比特币损失4.4亿美元,相当于年度利润9%

激石Pepperstone(https://www.paraat.net/)报道:特斯拉可能会在其即将发布的季度报告中报告约4.4亿美元的比特币减值损失。 据英国《每日电讯报》7月3日报道,在比特币价值大幅下跌后,特斯拉面临着其持有的比特币4.4亿美元的减记,这相当于特斯拉去年利润的9%。 特斯拉于...

美债收益率大跌,关键曲线再度倒挂,“衰退风向标”狂闪

美债收益率大跌,关键曲线再度倒挂,“衰退风向标”狂闪

激石Pepperstone(https://www.paraat.net/)报道:美国债券市场发出了警告信号,投资者纷纷涌入避险资产,这表明对潜在经济衰退的担忧已笼罩全球市场。 昨日交易盘中,美国债券市场出现剧烈波动,美国10年期国债收益率大跌6个基点,今年第三次和2年期美债收益率出现倒挂。 10年...