当前位置:首页 > 外汇资讯 > 正文内容

Stable Diffusion 3来啦!提示文本理解更好,图像质量更强

激石外汇2024-02-23 12:00:14外汇资讯307

激石Pepperstone(https://www.paraat.net/)报道:

2月23日,著名大模型开源平台stability.ai在官网推出了——Stable Diffusion 3。

该版本与Stable Diffusion 2相比,在文本语义理解、色彩饱和度、图像构图、分辨率、类型、质感、对比度等方面大幅度增强,可对标闭源模型Midjourney。

Stable Diffusion 3的参数在8亿——80亿之间,也就是说Stable Diffusion 3可能是专为移动设备开发的,AI算力消耗将更低,推理速度却更快。

目前,Stable Diffusion 3支持申请使用,未来会扩大测试范围。

申请地址:https://stability.ai/stablediffusion3

stability.ai没有过多的介绍Stable Diffusion 3的技术内容,但指出其核心架构使用了Transformer和Flow FMatching(简称“FM”)。

Transformer大家都很熟悉了,ChatGPT、T5 、BERT等很多著名模型都是基于该架构开发的。

而FM是Meta AI和魏茨曼科学研究所在2022年10月发布的,一种全新高效建模、训练技术概念。

Flow Matching论文地址:https://arxiv.org/abs/2210.02747

Flow Matching简单介绍

目前,很多文生图模型使用的是CNF(连续正规化流动)训练方法,主要使用常微分方程对流动进行建模,实现从一种已知分布到目标分布的平滑映射。

但由于训练过程需要进行大量的微分方程模拟,会导致算力成本高、模型设计复杂、可解释性差等缺点

FM则是放弃微分方程的直接模拟,而是通过回归固定条件概率轨迹来实现无模拟训练。研究人员设计了条件概率分布与向量场的概念,利用边缘分布的结合可以建立总体目标概率轨迹与向量场,从而消除了模拟过程对梯度计算的影响

1)条件概率路径构建:FM需要给出一个目标概率路径,该路径从简单分布演变到逼近数据分布。然后利用条件概率路径构建了目标路径,这样每个样本有一个对应的条件路径。

2)变换层:构成FM的基本单元,每个变换层都是可逆的。这意味着从输入到输出的每一步映射都可以精确地反转,从而允许从目标分布反推到原始分布。

3)耦合层:将输入分成两部分,对其中一部分应用变换,而变换函数可以是任意的神经网络,其参数由另一部分决定,保证了变换的可逆性。

目前,FM技术已在图像生成与超分辨率、图像理解、图像修复与填充、条件图像生成、图像风格迁移与合成、视频处理等领域得到广泛应用。

Stable Diffusion 3案例展示

本次的发布页面也是由Stable Diffusion 3生成的,提示词:史诗般的动漫艺术风格,一位巫师站在夜间的山顶上,向黑暗的天空施放咒语,上面写着由彩色能量生成的“Stable Diffusion 3”文字

教室桌子上有一个红苹果,电影风格,背景的黑板上用粉笔写着“要么做大,要么回家”

一名宇航员骑着一只穿着蓬蓬裙的猪,撑着一把粉色的伞,猪旁边的地上有一只戴着高帽的知更鸟,角落里写着" Stable Diffusion "的字样。

一只变色龙,黑色背景,摄影风格。

一辆跑车的夜间照片,侧面写有“SD3”字样,汽车在赛道上高速行驶,巨大的路标上写着“更快”的文字。

波浪冲击苏格兰灯塔的鱼眼镜头照片,黑色波浪。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/2667.html

分享给朋友:

“Stable Diffusion 3来啦!提示文本理解更好,图像质量更强” 的相关文章

特斯拉二季度或因比特币损失4.4亿美元,相当于年度利润9%

激石Pepperstone(https://www.paraat.net/)报道:特斯拉可能会在其即将发布的季度报告中报告约4.4亿美元的比特币减值损失。 据英国《每日电讯报》7月3日报道,在比特币价值大幅下跌后,特斯拉面临着其持有的比特币4.4亿美元的减记,这相当于特斯拉去年利润的9%。 特斯拉于...

衰退交易下大宗商品惨跌,对冲基金纷纷“多翻空”

激石Pepperstone(https://www.paraat.net/)报道:随着全球主要央行在紧缩道路上渐行渐远,股票、加密货币等风险资产首当其冲承受暴击。现在当市场担心更高的借贷成本将带来衰退阴霾后,最新的炮火已经转向了大宗商品,需求疲软的预期致使其价格正在从历史高位暴跌。 继WTI原油周二...

新兴市场加息此起彼伏!秘鲁加息50基点,巴基斯坦125基点

激石Pepperstone(https://www.paraat.net/)报道:随着全球“大通胀”来袭,各国央行掀起加息潮,今年全球至少有65家央行一次性加息50个基点或更多。 周四,通胀创下25年新高的秘鲁再度加息50个基点,这是去年以来的第12次加息;为了抑制物价上涨,巴基斯坦央行意外将目标利...

鹰歌嘹亮!英国央行首席经济学家:如有必要将更快加息

激石Pepperstone(https://www.paraat.net/)报道:继美国开启激进加息的进程后,全球大部分主要经济体都面临着同样的选择,通胀高企的英国也在准备加快加息的步伐。 周三,英国央行首席经济学家休·皮尔(Huw Pill)表示,如果看到进一步的迹象表明高企的通胀水平在英国持续,...

龙头私募“神秘阶层”曝光,自有资本培养未来大腕,破解世纪“最贵难题”

激石Pepperstone(https://www.paraat.net/)报道:21世纪最贵的是什么? 是人才。 什么行业里的人才最贵? 投资行业的人才! 论资本投入,论培养成本,乃至真正出徒后的或有风险损失。这个领域在各行各业中不是第一,也是前三。 近日,资事堂从行业里获悉,一批业内头部私募机构...

港股下挫 恒生科技指数跌超3% 阿里巴巴跌3% 中医药逆势集体走高

港股下挫 恒生科技指数跌超3% 阿里巴巴跌3% 中医药逆势集体走高

激石Pepperstone(https://www.paraat.net/)报道:7月11日周一,港股小幅低开,恒指开盘跌1.17%,恒生科技指数跌1.49%。 开盘不久,恒指、恒生科技指数的跌幅双双迅速扩大至超2%。截至上午10点,恒生科技指数最新跌超3%。 盘面上,科技股跌幅居前,阿里巴巴、...