男同 porn Playground v3发布：文生图参数目升至240亿 图形策动才能突出东谈主类
发布日期：2024-10-08 21:18 点击次数：88
男同 porn
自昨年以来，文本到图像生成模子取得了巨猛进展，模子的架构从传统的基于UNet逐渐滚动为基于Transformer的模子。
Playground Research最近发布了一篇论文，注目先容了团队最新的、基于DiT的扩散模子Playground v3（简称PGv3），将模子参数目扩展到240亿，在多个测试基准上达到了起始进的性能，更擅长图形策动。
论文说合：https://arxiv.org/abs/2409.10695男同 porn
数传说合：https://huggingface.co/datasets/playgroundai/CapsBench
与传统依赖于预考验谈话模子如T5或CLIP文本编码器的文本到图像生成模子不同，PGv3全集合成了大型谈话模子（LLMs），基于全新的深度交融（Deep-Fusion）架构，垄断仅解码器（decoder-only）大型谈话模子的常识，来进行文本到图像生成任务。
此外，为了提高图像描画的质料，琢磨东谈主员开发了一个里面描画生成器（in-house captioner），大约生成不同注目进度的描画，丰富了文本结构的千般性，还引入了一个新的基准CapsBench来评估注目的图像描画性能。
实践终结标明，PGv3在文本辅导遵命、复杂推理和文本渲染准确率方面进展出色；用户偏好琢磨标明，PGv3模子在常见的策动应用中，如热诚包（stickers）、海报和logo策动，具有突出东谈主类的图形策动才能，还大约精准范围RGB热诚和多谈话相识。
PGv3模子架构
Playground v3（PGv3）是一个潜扩散模子（LDM），使用EDM公式进行考验。像DALL-E 3、Imagen 2和Stable Diffusion 3等其他模子相同，PGv3旨在扩张文本到图像（t2i）生成任务。
PGv3全集合成了一个大型谈话模子（Llama3-8B），以增强其在辅导相识和遵命方面的才能。
文本编码器
Transformer模子中的每层捕捉到的默示不同，包含不同级别的单词级和句子级信息，次序作念法是使用T5编码器或CLIP文本编码器的临了一层输出，或是结合倒数第二层的输出，不外，琢磨东谈主员发现采取用于扶持文本转图像模子的最好层相等清苦，独特是使用解码器立场的大型谈话模子时，具有更复杂的里面默示。
琢磨东谈主员以为，信息通顺过LLM每层的连气儿性是其生成才能的要津，而LLM中的常识横跨了统统层，而不是被某一层的输出所封装，是以PGv3在策动时，复制了LLM的统统Transformer块，不错从LLM的每个对应层中齐取得荫藏镶嵌输出。
这种设施不错充分垄断LLM完满的「念念考经由」，大约率领模子师法LLM的推理和生成经由，是以在生成图像时，不错完毕更好的辅导遵命和一致性才能。
模子结构
PGv3禁受了DiT立场的模子结构，图像模子中的每个Transformer块齐拓荒得与谈话模子（Llama3-8B）中的对应块疏通，仅包含一个小心力层和一个前馈层，参数也疏通，如荫藏维度大小、小心力头的数目和小心力头的维度，况兼只考验了图像模子部分。
在扩散采样经由中，谈话模子部分只需要驱动一次，就不错生成统统中间荫藏镶嵌。
与大无数传统的基于CNN的扩散模子不同，Transformer模子将图像特征的自小心力与图像和文本特征之间的交叉小心力分开，然后进行荟萃小心力操作，不错从图像和文本值的组合池中索求推敲特征，况兼能减少计较资本和推理本事，底下还有一些对性能提高有效的操作：
1. Transformer块之间的U-Net逾越勾搭。
2. 中间层的token下采样，在32层中，在中间层将图像键和值的序列长度减少了四倍，使通盘汇聚近似于只消一个下采样的传统卷积U-Net，稍许加速了考验和推理本事，而且莫得性能下落。
3. 位置镶嵌，与llama3中的旋转位置镶嵌（RoPE）疏通，由于图像是二维的特征，是以琢磨东谈主员探索了2D版块的RoPE：
「插值-PE」（interpolating-PE）设施岂论序列长度若何，保捏肇端和终结位置ID固定后，在中间插值位置ID，不外该设施在考验永诀率上严重过拟合，况兼无法泛化到未见过的纵横比。
比拟之下，「扩展-PE」（expand-PE）设施按序列长度成比例加多位置ID，不使用任何手段或归一化，性能进展细密，莫得长远出永诀率过拟合的迹象。
新的VAE
潜扩散模子（LDM）的变分自编码器（VAE），关于笃定模子的细粒度图像质料上限来说相等关键。
琢磨东谈主员将VAE的潜通谈数从4加多到16，增强了合成细节的才能，比如较小的面部和笔墨；除了在256×256永诀率下进行考验外，还扩展到512×512永诀率，进一步提高了重建性能。
CapsBench描画基准
图像描画评估是一个复杂的问题，当今的评估想法主要分为两类：
1. 基于参考的想法，如BLEU、CIDEr、METEOR、SPICE，使用一个真实描画或一组描画来计较相似度行动质料度量，模子得分受到参考形态的终结；
2. 无参考想法，如CLIPScore、InfoMetIC、TIGEr，使用参考图像的语义向量或图像的多个区域来计较所提议描画的相似度想法，但舛错是，关于密集图像和长而注目的描画，语义向量不具备代表性，因为包含的主意太多。
一种新式的评估设施是基于问题的想法，从描画中生成问题，并使用这些问题评估所提议的描画，有助于全面评估文本到图像模子。
受到DSG和DPG-bench的启发，琢磨东谈主员提议了一种反向的图像描画评估设施，在17个图像类别中生成「是-否」问答对：通用、图像类型、文本、热诚、位置、干系、相对位置、实体、实体大小、实体体式、计数、心理、无极、图像伪影、私着名词（寰球常识）、调色板和颜色分级。
在评估经由中，使用谈话模子仅基于候选描画回复问题，谜底选项为「是」、「否」和「不适用」。
CapsBench包含200张图像和2471个问题，平均每张图像12个问题，消散电影场景、卡通场景、电影海报、邀请函、告白、失业照相、街头照相、本旨照相和室内照相。
实践终结
琢磨东谈主员对比了Ideogram-2（左上），PGv3（右上）和Flux-pro（左下），当以缩略图款式检验时，3个模子的图像看起来相似，定性互异很小。
当放大检验细节和纹理时，就能看出显明区别：Flux-pro生成的皮肤纹理过于平滑，近似于3D渲染的着力，不够真实；Ideogram-2提供了更真实的皮肤纹理，但在遵命辅导词方面进展不好，辅导词很长的情况下，就会丢失要津细节。
比拟之下，PGv3在遵命辅导和生成真实图像方面齐进展出色，还展现出显明优于其他模子的电影质感。
指示遵命
彩色文本代表模子未能捕捉到的具体细节，不错看到PGv3恒久大约遵命细节。跟着测试辅导变长，并包含更多注目信息时，PGv3的上风变得尤为显明，琢磨东谈主员将这种性能提高归功于咱们集成了大型谈话模子（LLM）的模子结构和先进的视觉-谈话模子（VLM）图像描画系统。
文本渲染
模子大约生成各式类别的图像，包括海报、logo、热诚包、书本封面和演示幻灯片，PGv3还大约复现带有定制文本的热诚包，并凭借其巨大的辅导遵命和文本渲染才能，创造出具有无穷扮装和构图的全新热诚包。
RGB热诚范围
PGv3在生成本色中完毕了畸形考究的热诚范围，突出了次序调色板，凭借其巨大的辅导遵命才能和专科考验，PGv3使用户大约使用精准的RGB值精准范围图像中每个对象或区域的热诚，相等符合需要精准热诚匹配的专科策动场景。
多谈话才能
获利于谈话模子天生大约相识多种谈话，并构建出细密的推敲词默示，PGv3大约当然地讲明各式谈话的辅导，况兼多谈话才能仅通过少许的多谈话文本和图像对数据集（数万张图像）就充足了。
参考府上：
https://arxiv.org/abs/2409.10695
