广西泡沫板胶厂 北航衔, 10倍加速AI图像生成的"分辨率魔法"

这项由北京航空大学复杂关键软件环境全国实验室联南洋理工大学、科学院计技术研究所、科学技术大学及苏黎世联邦理工学院共同完成的研究,以预印本论文形式于2026年7月发布在arXiv平台,论文编号为arXiv:2607.01642。研究的核心成果是套名为MrFlow的需训练的图像生成加速案,门针对当前主流的文字转图片扩散模型。
当你在手机上用AI软件输入段描述"匹白马在春天的草地上奔跑",等待系统生成张精美图片时,你可能意识不到,背后的计机正在经历段漫长而繁重的"绘画过程"。以目前顶的图像生成模型Qwen-Image-20B为例,在块顶的英伟达A100显卡上,生成张1024×1024像素的图片,需要整整47秒。这不是程序员偷懒,而是这类模型的工作式本身决定的——它需要反复、细致地从随机噪点中步步"雕刻"出终图像,就像位雕塑从块粗糙的大理石开始,刀刀地磨出精细的作品。
北航等机构的研究团队正是为了解决这个"等待太久"的问题而出发的。他们开发的MrFlow案,让同样的图像生成过程快了10倍以上,同时图像质量几乎没有损失。重要的是,这套案不需要对原有模型进行任何额外的训练,直接"拿来即用"。当与其他加速技术叠加使用时,甚至能实现达25倍的加速果。
、AI画图究竟慢在哪里,以及为什么过去的加速法都不够好
要理解MrFlow的聪明之处,需要先搞清楚扩散模型的工作原理,以及前人尝试加速时遇到的困境。
扩散模型(DiffusionModel)的工作式,可以用个"去噪"的比喻来理解。给你张全是随机雪花点的图片,然后步步地猜测并消除噪点,终出张清晰的图像。这个过程通常需要50到100步,每步都要运行次庞大的经网络模型。而现代图像生成模型,比如FLUX和Qwen-Image,使用的是种叫做"流匹配"(FlowMatching)的技术框架,可以理解为平滑、版本的去噪过程,但核心思路类似。
当图像分辨率越,每步的计量就越大。具体来说,分辨率翻倍,图像中的像素块数量会增加四倍,而模型中耗时的"注意力机制"(可以理解为模型在每步需要分析图像中所有像素块之间的相互关系)的计量会增加十六倍。换句话说,生成1024×1024的图比生成512×512的图,理论上贵16倍。
研究者们为了提速,大致走了几条路。条路是"知识蒸馏",也叫时步蒸馏,让个小模型去模仿大模型的行为,把原本50步才能完成的生成压缩到4步甚至1步——但这需要大量的额外训练,而且训练好的模型往往只适生成风格比较单的图像,多样会下降。二条路是"特征缓存",既然相邻两步之间模型的中间计结果差不多,那就直接复用上步的结果,跳过部分重复计——这种法不需要训练,但加速倍数顶多在4倍左右,再就会让图像质量明显下滑。三条路是"多分辨率生成",先在低分辨率下快速生成图像的大体结构,再放大到分辨率补充细节——这个向理论上很美好,实际上5倍以上的加速已经很有吸引力,但过去的实现都存在个棘手的问题:在放大的过程中会产生明显的模糊或伪影(就是图像中出现奇怪的格子状纹路或者模糊块)。
MrFlow的出发点正是这后条路,研究团队决定解决多分辨率加速案中的伪影和模糊问题。他们找到的关键突破口,是把"放大"这个操作从个不擅长处理像素细节的"潜在空间",挪到适处理图像的"像素空间"来做。
二、MrFlow的四步"流水线":像摄影师冲洗照片样的分阶段处理广西泡沫板胶厂
MrFlow的整个工作流程,可以类比成位摄影师在暗房里冲洗胶片的过程。先快速显影出照片的大致轮廓,再用业设备放大并锐化细节,然后对放大过程中出现的细微失真做次轻微的"二次曝光"重新捕获,后做后道精修。整个过程分四个明确的阶段。
阶段是在低分辨率下生成图像的主体结构。具体来说,模型先在目标尺寸的半大小(比如512×512,而非终的1024×1024)的"潜在空间"里,从团随机噪声开始,跑12步扩散去噪流程,得到张低分辨率的干净潜在表示。然后用VAE解码器(可以理解为把模型内部的"草图"翻译成人眼能看见的像素图片的工具)把它转换成张512×512的像素图。
这个阶段的速度优势来自两个相互立的来源。其是单步计本身快了大约4倍,因为图像尺寸缩小半后,图像块数量减少了四分之三,注意力计量大幅降低。其二微妙但同样重要:低分辨率下的模型只需要少的步骤就能把图像的整体结构和语义内容表达清楚,这是因为在低分辨率下,模型中的图像部分对文字描述的"注意力"——实验数据显示,在模型的浅层和中间层,低分辨率生成时分配给文字条件的注意力权重明显于分辨率生成,意味着每步理都能地把文字描述转化为图像结构。研究者还测量了图像在潜在空间中的"ODE路径长度"(可以理解为从纯噪声到干净图像,模型的"思路"需要走多长的路),发现低频部分(即图像的大轮廓和整体布局)只占总路径的约58,频细节(纹理、笔触、文字细节)占另外42。低分辨率只需要走那58的路就够了,分辨率才需要走程。实验也证实,用10步低分辨率加1步分辨率的组,比直接用11步分辨率生成质量好,延迟还少了半以上。
二阶段是在像素空间做分辨率放大。拿到512×512的低分辨率图之后,MrFlow调用个预训练好的Real-ESRGAN模型(个基于生成对抗网络的图像分辨率模型),把图片从512×512放大到1024×1024。
为什么要在像素空间做这步,而不是直接在模型内部的潜在空间里插值放大?研究团队给出了清晰的技术理由。潜在空间是模型训练时门构建的种抽象表示,它的每个"格子"都依赖特定的空间统计关系。如果直接在潜在空间里把特征图插值放大,这种统计关系就会被破坏,解码出来的图像然出现规律的格子状伪影——对比实验中,LSSGen等在潜在空间做放大的法确实出现了这个问题。像素空间则是分辨率研究积累了数十年的主战场,各种先验知识(边缘、纹理、自然图像的频谱特)都以像素为基础建立,预训练好的分辨率模型能直接复用。
另个设计选择是为什么要选GAN(生成对抗网络)类的分辨率模型,而不是常见的L2损失训练的回归模型(比如SwinIR)或者基于扩散的分辨率(比如OSEDiff)。回归类模型虽然结构清晰、保留整体布局,但它的"职业病"是频细节模糊——它追求的是像素别的小均误差,致输出的纹理很平滑、很"安全",但也很糊。GAN类模型则相反,它放弃了像素别的精确,但换来了自然图像般的锐利细节,即便细节有时不符文字描述(比如文字笔画有些偏差),但这些误差主要集中在频向,而频误差正是后续四阶段能够纠正的。如果用模糊的分辨率结果,后续纠错的负担会重,需要大的噪声注入,反而会破坏好不容易保留下来的低分辨率结构。
三阶段是注入低强度噪声,实现频重采样。把放大后的1024×1024像素图,再通过VAE编码器(解码器的逆操作,把像素图翻译回模型的内部表示)转换成分辨率的潜在表示。此时得到的潜在表示已经有了正确的整体结构,但可能含有些分辨率引入的频伪影(比如文字笔画的小偏差)。
为了让下阶段的分辨率精修能纠正这些频误差,研究团队在这个潜在表示上混入了点点随机噪声——噪声强度通常只有0.1到0.15(在0到1的范围内,1代表的纯噪声,0代表没有噪声)。这个操作的逻辑可以用个类比来理解:分辨率放大后的图像就像个大体正确但局部细节有些不准的草稿,直接拿去精修的话,精修程序不知道哪些细节是可信的、哪些是错的。加入点点噪声,相当于告诉精修程序"频细节部分你不用太相信这个草稿,按照你自己的判断重新来",同时因为噪声很小,低频的整体结构(颜分布、构图、语义布局)不受影响。
研究团队从信号处理的角度给出了严格的理论。他们证明,对于图像频频段,干净图像潜在表示的"频功率"(即频信息的差)大约只有整体的8(对应标准差约0.08),由此出让模型的分辨率先验"接管"频决策权所需的低噪声强度约为0.075,实验中选用的0.1到0.15略于此下界,足以让频部分得到充分的重采样,同时又不至于干扰低频结构。如果使用的是模糊类分辨率(其误差扩散到中低频),对应的低噪声强度就会跳升到0.16甚至0.24,需要大的噪声注入,这样反而会冲刷掉分辨率好不容易提供的有用细节,得不偿失。这也从理论上解释了为什么GAN类分辨率与低强度噪声这两个设计选择须"配套"使用。
四阶段是在分辨率下进行单步细节精修。注入噪声之后,把带噪的1024×1024潜在表示送回原来的扩散模型,从当前的噪声强度(比如0.1)对应的时间点出发广西泡沫板胶厂,跑1步(默认配置)到少数几步的扩散去噪,让模型在分辨率下完成后的细节填充。后再用VAE解码器把结果转换成终的像素图。
为什么只需要1步就够?研究者从速度场的特上给出了解释。扩散过程从纯噪声到干净图像,就像条从山顶到山脚的河流。在靠近山顶(噪声)的地,河流弯弯曲曲,走步可能走错很远;而在靠近山脚(低噪声,接近干净图像)的地,河流趋于平直,走步的误差小。当噪声强度只有0.1时,出发点已经非常靠近终点,速度场几乎是条直线,因此单步Euler积分(可以理解为沿着当前斜率走步)的误差小。实验数据证实,在强度0.1的噪声起点,单步精修的结果与8步精修的结果的CLIP图像相似度达0.9974,两者几乎差别。为验证步骤分配的优,pvc管道管件胶研究者还比较了三种步骤分布策略:均匀分步、前密后疏(多步骤集中在噪声区域)和后密前疏(多步骤集中在低噪声区域)。结果证明,在靠近图像端集中步骤的"后密前疏"策略,总轨迹路径长度比前密后疏短了37,率优。
三、实验结果:数字和图像都说明了什么
研究团队在两款主流模型——FLUX.1-dev和Qwen-Image-20B——上进行了系统测试,生成分辨率统设为1024×1024,使用三类指标衡量图像质量:Geneval(评估图像与文字描述在构图和语义上的匹配程度)、DPG-Bench(针对长描述文字的对齐质量)和OneIG-Bench(综评估中英文双语的字符渲染、风格致等多维度属)。
对比的法涵盖了多个类别。特征缓存类法有TeaCache和DB-Taylor;token融压缩类有ToMA;同属多分辨率向的训练除法有RALU和SPEED;训练依赖的时步蒸馏法则是SenseFlow和Pi-Flow。
在需训练的法中,MrFlow表现出了明显先的综优势。以Qwen-Image为例,用20步低分辨率加1步分辨率的配置,MrFlow实现了约7倍加速,同时Geneval分数从基准的0.88下降到0.87,DPG-Bench从88.67下降到88.00,OneIG-En保持0.54(与基准持平),表现几乎与不加速时没有区别。TeaCache在同等加速比下,Geneval已经跌到0.81,损失了接近8个百分点;DB-Taylor保留了大部分Geneval,但DPG有所下滑;RALU的表现在视觉检查中差。
当把加速配置调整到激进的12步低分辨率加1步分辨率时,MrFlow在Qwen-Image上达到10.3倍加速,Geneval仍保持0.86(仅比基准低0.02),DPG-Bench保持87.10,OneIG达到0.52。相比之下,同等速度区间内,TeaCache的Geneval已经崩溃到0.26,DB-Taylor跌到0.09,生成质量基本不可用;RALU的Geneval在0.84还可接受,但实际图像质量经视觉检验明显差;SPEED在FLUX上有不错的指标,但在Qwen-Image上同样出现了明显质量下滑。
在与训练依赖法的对比中,MrFlow同样毫不逊。在FLUX上,训练的12+1步MrFlow(8.25倍加速),Geneval达到0.63,与需要大量训练的SenseFlow4步版本(11倍加速,Geneval0.63)几乎持平。当MrFlow与Pi-Flow蒸馏模型结(需额外训练,直接加载Pi-Flow权重在低分辨率和分辨率阶段都使用蒸馏模型)时,FLUX上达到11.3倍加速,Geneval提升到0.69;Qwen-Image上的MrFlow+Pi-Flow组达到25.1倍加速,Geneval0.85,OneIG-Bench损失不过1。
研究者还在新的FLUX.2Klein(4B和9B两个规模版本)和Z-Image系列上验证了MrFlow的迁移能力。结论致:在FLUX.2KleinBase上,20+1步配置能达到5倍以上加速且几乎质量损失;在Z-Image上,12+1步配置达到10.8倍加速;Z-Image-Turbo与MrFlow结后达到21倍加速。这表明MrFlow的案与具体的模型架构关,具备良好的通用。
从实际运行时间来看,Qwen-Image的12+1步MrFlow总耗时4.77秒,而原始50步生成需要49.32秒,端到端加速比10.35倍。在这4.77秒中,低分辨率采样占3.2秒,分辨率精修占1.03秒,中间的VAE解码、Real-ESRGAN分辨率、VAE编码等固定开销计只有约0.3秒,占比很小,不会成为瓶颈。
四、消融实验:每个设计选择都有充分理由广西泡沫板胶厂
研究团队不仅展示了终结果,还通过细致的消融实验证明了每个设计选择的要。
在分辨率模型的选择上,研究者在Qwen-Image上对比了双线插值、SwinIR(L2回归模型)、OSEDiff(扩散类分辨率)和Real-ESRGAN(GAN类)。从自动化指标上看,四种法的DPG分数相差不大(86.97到87.25之间),仿佛差别可以忽略。但当把生成的图像放大来看,差别就非常明显了:插值和SwinIR的放大图仍然模糊,局部文字笔画不清;OSEDiff在放大时引入了字符变形;只有Real-ESRGAN的放大结果锐利自然,经过分辨率精修后质量佳。这说明自动化指标对频细节的评估并不充分,视觉质量的判断仍然不可替代。值得注意的是,SwinIR版本的整体理速度也慢(4.67倍对应Real-ESRGAN的10.3倍),因为SwinIR本身理慢,在加速总账上得不偿失。
在噪声注入向的选择上,研究者设计了个精巧的实验:在分辨率潜在空间注入噪声时,把通常的斯噪声替换成三种结构化噪声——频带通、低频带通和通道相关噪声,然后测量精修后输出到干净分辨率图像"云"(在DINOv2特征空间中的分布)的k近邻距离,以此衡量精修步骤的纠正能力。结果非常清晰:注入斯噪声和频噪声后,精修结果的距离与不加噪声直接精修几乎相同(约0.154到0.155),说明这两类误差在精修步骤的可纠正范围内;而注入低频噪声后,距离飙升到0.498(在强度0.3时),是默认值的3倍以上。这证明精修阶段的速度场只有修正频误差的能力,对低频偏差几乎能为力。这个发现与GAN分辨率的设计选择形成了的呼应:GAN的残差误差主要集中在频,恰好在精修的能力范围内。
在步数配置的灵活上,研究者在Qwen-Image上穷举了低分辨率步数(10、12、16、20步)与分辨率步数(1、2、3步)的所有组,绘制出了Geneval与加速倍数的折中曲线。结果显示,MrFlow是唯种在两个模型上都持续越"直接调整原始模型步数"这天真基准的法,并且可以灵活调配配置,向质量或速度任意倾斜。从曲线形状来看,增加低分辨率步数对指标提升明显,而增加分辨率步数几乎没有额外收益,这与理论分析致。
五、个隐藏的实验,证明了流水线的"分工哲学"是对的
研究团队还门设计了个实验,验证MrFlow流水线中"低分辨率决定结构、分辨率精修细节"这个核心假设是否真的成立。
实验做法是:固定低分辨率阶段的随机种子,只改变分辨率精修阶段的随机种子(varyHR组),观察终输出在不同频段的差异;再固定分辨率精修的种子,只改变低分辨率阶段的种子(varyLR组),同样观察差异。用图像的低频均差和频均差来量化不同频段的变化幅度。
结论令人震惊:改变低分辨率种子,低频均差约为1.087×10??;改变分辨率种子,同样是低频均差,只有1.298×10??,两者相差约8000倍。换句话说,图像的整体结构(低频部分)几乎由低分辨率阶段决定,分辨率阶段的随机对整体结构几乎没有任何影响。而分辨率精修引入的变化,其频/低频比值(19.8)远于低分辨率阶段引入变化的对应比值(7.4),说明精修阶段的影响确实集中在频细节,而非整体结构。这个实验以直接的数据证明了MrFlow的流水线设计哲学是正确的。
说到底,MrFlow的核心贡献是找到了条多分辨率图像生成加速的正确路径,并且把路上每个岔口的选择都论证得清清楚楚。与其在模型内部的抽象空间里做各种手脚,不如让每个阶段各司其职——低分辨率阶段快速建立语义骨架,像素空间的分辨率负责保留结构并补充频细节,低强度噪声注入完成频率选择的"授权",分辨率单步精修终抹去频瑕疵。
这套案不依赖任何用硬件,不需要对原始模型做任何修改,不需要收集运行时的动态统计信息,也不需要任何额外训练,真正做到了"开箱即用"。实际的意义在于,它与目前所有主流的时步蒸馏法正交兼容,可以直接叠加使用,把已经很快的蒸馏模型再加速2到3倍。这意味着随着多轻量化模型的发布,MrFlow的果还可以继续叠加增强。
对于普通用户来说,这项研究的直接影响是:以后在手机或网页上用AI生成图片,等待的时间可能从几十秒压缩到几秒钟,而图片质量几乎看不出差别。当然,实际产品中的落地还涉及工程适配、内存优化等额外工作,但研究层面的技术路障已经被清除。有兴趣入了解技术细节的读者,可以通过arXiv平台查阅编号为2607.01642的完整论文。
Q&A
Q1:MrFlow和其他扩散模型加速法相比,主要的优势是什么?
A:MrFlow大的优势是在10倍以上的加速比下,图像质量几乎不损失,而其他训练除的法(如TeaCache、RALU)在达到同样加速倍数时,生成质量通常会明显崩溃。MrFlow不需要任何额外训练,并且可以直接与时步蒸馏模型叠加使用,实现25倍的加速,这种"训练且可叠加"的特是其他案难以同时满足的。
Q2:MrFlow为什么不在模型内部的潜在空间做图像放大,而要先解码成像素图?
A:在潜在空间直接插值放大会破坏VAE解码器依赖的空间统计关系,致解码后图像出现规律的格子状伪影。像素空间是图像分辨率研究积累多年的域,预训练的分辨率模型(如Real-ESRGAN)在像素域工作果好,而且VAE编码器在把放大后的像素图重新编码时,会自然衰减出训练分布的频成分,起到轻量的滤波作用,为后续噪声注入提供干净的起点。
Q3:MrFlow的分辨率阶段为什么只需要步就够了?
A:因为分辨率精修的起点(经过分辨率放大再加入0.1强度噪声的潜在表示)已经非常接近终干净图像,处于扩散轨迹靠近终点的区间。在这个区间,速度场非常平直,单步Euler积分的误差小。实验测量显示,在0.1噪声强度下,单步精修结果与8步精修结果的图像相似度达0.9974,几乎致,多走几步没有实质收益。相关词条:设备保温 塑料挤出机厂家 预应力钢绞线 玻璃丝棉 万能胶厂家
奥力斯 万能胶厂家 联系人:王经理 手机:18231788377(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定广西泡沫板胶厂,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。