当前位置:首页 > 外汇资讯 > 正文内容

Stable Diffusion 3来啦!提示文本理解更好,图像质量更强

激石外汇2024-02-23 12:00:14外汇资讯311

激石Pepperstone(https://www.paraat.net/)报道:

2月23日,著名大模型开源平台stability.ai在官网推出了——Stable Diffusion 3。

该版本与Stable Diffusion 2相比,在文本语义理解、色彩饱和度、图像构图、分辨率、类型、质感、对比度等方面大幅度增强,可对标闭源模型Midjourney。

Stable Diffusion 3的参数在8亿——80亿之间,也就是说Stable Diffusion 3可能是专为移动设备开发的,AI算力消耗将更低,推理速度却更快。

目前,Stable Diffusion 3支持申请使用,未来会扩大测试范围。

申请地址:https://stability.ai/stablediffusion3

stability.ai没有过多的介绍Stable Diffusion 3的技术内容,但指出其核心架构使用了Transformer和Flow FMatching(简称“FM”)。

Transformer大家都很熟悉了,ChatGPT、T5 、BERT等很多著名模型都是基于该架构开发的。

而FM是Meta AI和魏茨曼科学研究所在2022年10月发布的,一种全新高效建模、训练技术概念。

Flow Matching论文地址:https://arxiv.org/abs/2210.02747

Flow Matching简单介绍

目前,很多文生图模型使用的是CNF(连续正规化流动)训练方法,主要使用常微分方程对流动进行建模,实现从一种已知分布到目标分布的平滑映射。

但由于训练过程需要进行大量的微分方程模拟,会导致算力成本高、模型设计复杂、可解释性差等缺点

FM则是放弃微分方程的直接模拟,而是通过回归固定条件概率轨迹来实现无模拟训练。研究人员设计了条件概率分布与向量场的概念,利用边缘分布的结合可以建立总体目标概率轨迹与向量场,从而消除了模拟过程对梯度计算的影响

1)条件概率路径构建:FM需要给出一个目标概率路径,该路径从简单分布演变到逼近数据分布。然后利用条件概率路径构建了目标路径,这样每个样本有一个对应的条件路径。

2)变换层:构成FM的基本单元,每个变换层都是可逆的。这意味着从输入到输出的每一步映射都可以精确地反转,从而允许从目标分布反推到原始分布。

3)耦合层:将输入分成两部分,对其中一部分应用变换,而变换函数可以是任意的神经网络,其参数由另一部分决定,保证了变换的可逆性。

目前,FM技术已在图像生成与超分辨率、图像理解、图像修复与填充、条件图像生成、图像风格迁移与合成、视频处理等领域得到广泛应用。

Stable Diffusion 3案例展示

本次的发布页面也是由Stable Diffusion 3生成的,提示词:史诗般的动漫艺术风格,一位巫师站在夜间的山顶上,向黑暗的天空施放咒语,上面写着由彩色能量生成的“Stable Diffusion 3”文字

教室桌子上有一个红苹果,电影风格,背景的黑板上用粉笔写着“要么做大,要么回家”

一名宇航员骑着一只穿着蓬蓬裙的猪,撑着一把粉色的伞,猪旁边的地上有一只戴着高帽的知更鸟,角落里写着" Stable Diffusion "的字样。

一只变色龙,黑色背景,摄影风格。

一辆跑车的夜间照片,侧面写有“SD3”字样,汽车在赛道上高速行驶,巨大的路标上写着“更快”的文字。

波浪冲击苏格兰灯塔的鱼眼镜头照片,黑色波浪。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/2667.html

分享给朋友:

“Stable Diffusion 3来啦!提示文本理解更好,图像质量更强” 的相关文章

新加坡监管机构:加密货币对冲基金三箭资本“提供虚假信息”

激石Pepperstone(https://www.paraat.net/)报道:币圈对冲基金巨头三箭资本已经陷入了破产清算。 祸不单行的是,新加坡金融管理局昨日公开谴责三箭资本向其提供虚假信息,并且超过了注册基金管理公司被允许的资产管理门槛。 新加坡金管局是新加坡行使央行职能的政府机构,同时也是负...

央行连续三天进行30亿元逆回购操作,累计净回笼超3000亿元

央行连续三天进行30亿元逆回购操作,累计净回笼超3000亿元

激石Pepperstone(https://www.paraat.net/)报道:继7月4日、5日分别开展30亿元散量逆回购操作,央行今日再进行30亿元7天期逆回购操作。 7月6日周三,中国央行连续第三日进行30亿元7天期逆回购操作,中标利率为2.10%,与此前持平。今日1000亿元逆回购到期,单日...

“私募大户”年中投资感悟:新锐量化让人“懵”,老牌产品“心很累”,规模是收益最大敌人

“私募大户”年中投资感悟:新锐量化让人“懵”,老牌产品“心很累”,规模是收益最大敌人

激石Pepperstone(https://www.paraat.net/)报道:近期,各大私募管理人忙碌于半年度基金运作汇报,投资者也纷纷在网上展开半年投资绩效“回顾”。 结果是喜忧参半,感受却众口一词——心累。 一方面,开年后股市翻云覆雨,大起大落,让部分投资者“煎熬”良久。 另一方面,许多持有...

鹰歌嘹亮!英国央行首席经济学家:如有必要将更快加息

激石Pepperstone(https://www.paraat.net/)报道:继美国开启激进加息的进程后,全球大部分主要经济体都面临着同样的选择,通胀高企的英国也在准备加快加息的步伐。 周三,英国央行首席经济学家休·皮尔(Huw Pill)表示,如果看到进一步的迹象表明高企的通胀水平在英国持续,...

9天7市报告奥密克戎BA.5变异株,多地调整核酸检测政策

激石Pepperstone(https://www.paraat.net/)报道:7月5日以来,奥密克戎BA.5变异株及分支在西安、上海、北京、天津等地陆续检出。健康时报梳理,截至到7月13日,9天内已有7地报告奥密克戎BA.5变异株。 9天已有7地报告奥密克戎BA.5变异株及分支 1. 广东珠...

中国6月城镇调查失业率回落至5.5%

激石Pepperstone(https://www.paraat.net/)报道:中国就业形势好转,城镇调查失业率连续两个月回落。 据国家统计局数据,上半年,全国城镇新增就业654万人,全国城镇调查失业率平均为5.7%,其中二季度平均为5.8%。 4月份,全国城镇调查失业率为6.1%;5、6月份连续...