特别是在较大的公司中，在 COVID-19 大流行之后，要求员工在办公室工作的情况明显恢复。 [Mark Ma](https://business.pitt.edu/professors/mark-ma/)，匹兹堡大学 Joseph M. Katz 商学院工商管理副教授，和 Yuye Ding，博士生，[研究了这种模式](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401)。他们研究了远程工作的社会和经济影响，以及企业最近让员工回到办公室的举措，这经常激怒员工。

马云在 [Heise 采访](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) 中辩称，在日益数字化的工作环境中，让员工回到办公室只会激怒他们，对提高生产力毫无帮助。不过，他也承认，当自愿完成并在团队支持下进行时，面对面的工作可以是有利的，可以促进协调和团队合作的改善。

马云建议，那些已经证明在家工作效率的高绩效个人应该被允许继续这样做，而不是让每个人都在办公室。他认为，通过留住那些可能在其他地方寻找工作的优秀人才，这一战略最终将使雇主和雇员都受益。马云还建议定期进行面对面的团队建设练习，以保持公司文化的稳健，这对于有效产生想法和解决问题至关重要。

尽管一些企业要求员工在大流行后返回办公室，但这种趋势的顶峰似乎已经过去。根据 2024 年的调查，大多数首席执行官不再高度重视在办公室工作。企业了解到，在大流行期间，员工远程工作可能会非常高效。但其他经理仍然对远程工作心存疑虑，这就是为什么他们主张回到办公室。由于缺乏信任，员工士气可能会受到影响，因为这向员工传达了他们的经理不信任他们的信息。

尽管远程办公可以降低管理费用和空间需求，但大企业仍然渴望让员工回归，这增加了控制和权力在这里发挥作用的可能性，而不是价格。马云指出，许多企业为了应对股价下跌而实施了重返办公室政策，方便地利用远程工作作为业绩不佳的替罪羊。

尽管对远程工作的需求仍然很高——纽约、旧金山和德国等大城市的许多办公空间都空置——但经理们仍然认为，让员工亲自到场将加强合作和商业文化。但许多回到办公室的员工表示，他们大部分时间都独自在电脑上工作，而不是与同事一起工作。由于办公室工作和远程工作之间缺乏明显的区别，以及员工在被迫返回时所经历的挫败感，此类命令的无效性令人怀疑。

员工们已经习惯了远程工作带来的生产力提高和工作与生活平衡带来的好处，例如能够更好地整合工作和家庭生活并避免长时间通勤。由于强制返回办公室而破坏了这些协议，从而导致了不满。此外，人们认为缺勤可能会阻碍职业发展。

最后，马云认为，如果工人被迫永久返回工作场所，他们中的很多人会开始寻找其他职业，而留下来的人可能会变得不那么积极。家庭办公室仍然很常见，因为尽管有缺点，但它们提供了更好的工作与生活平衡和较低的倦怠率。远程工作和在办公室工作之间没有明显的生产力差异，在家工作可能与开放式办公室的干扰一样疏远，因为员工经常戴着耳机来集中注意力。马建议团队选择在办公室工作的天数，并灵活安排其余时间，以便员工可以选择自己喜欢的工作环境，尽管人与人之间的接触对公司有利。

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

为什么大流行后返回办公室可能会损害生产力：商业专家的见解

[Google AI](https://ai.google/) 最近为流行的移动键盘应用程序 Gboard 引入了一项名为“校对”的新功能。只需轻按一下，此功能就可以在句子和段落级别进行无缝修改和更正，从而改善整体打字体验。

## 解决“胖手指”问题

[Gboard](https://support.google.com/gboard/?hl=en) 使用统计解码来解决“胖手指”问题，这是小屏幕上触摸输入自然不准确的问题。研究表明，在不解码的情况下，每个字母的错误率可达 8% 至 9%。 Gboard 配备了多项纠错功能，使打字变得更轻松、更流畅。这些功能将涉及人工输入的手动任务与主动、自动更正结合起来。

## 全面的纠错工具

Gboard 的功能使打字变得更加容易，其中包括单词补全、下一个单词预测、主动自动更正 (AC) 和主动键更正 (KC)。这些工具包括智能写作、纠错以及建议栏或内联中的多词候选。后更正（PC）还有助于纠正已经犯下的单词错误。尽管有这些功能，但有两个关键限制会损害用户体验。

1. 虽然 KC、AC 和 PC 等设备上校正模型快速且紧凑，但它们难以处理需要较长上下文的复杂错误。为了防止这些模型被激活，用户必须缓慢而准确地打字。

2. 由于用户必须使用语法和拼写检查器手动更正输入的单词，因此打字速度会降低，这可能会造成精神和视觉上的负担。

## 高级纠错的必要性

打字速度快的人经常会忽略他们已经输入的单词，而只专注于键盘。由此可能会产生更高的错误率，需要使用句子或更高级的纠正机制。

## 校对介绍

校对通过显着提高生产力来解决这些常见的投诉。它通过提供一键式句子和段落级别更正，使错误更正变得更简单。

## 校对背后的技术

校对功能由四个主要组件组成：数据生产、指标设计、模型调整和模型服务。所有这些组件共同保证了有效性。为了确保数据分布符合 Gboard 域，系统使用精确且有条理构建的错误合成架构来模拟频繁的键盘错误。

## 高级指标和模型优化

为了评估该模型，研究人员纳入了许多指标，特别强调语法错误存在检查和源自大型语言模型 (LLM) 的相似含义检查。 InstructGPT 技术中使用监督微调和强化学习 (RL) 调整来改进模型。通过此过程大大提高了模型的校对性能。

## 部署和性能

使用 8 位量化，中型 LLM PaLM2-XS 经过定制，适合单个 TPU v5 内部，并作为校对功能的基础。优化降低了服务成本。先前的研究表明，分段、推测解码和存储桶密钥可以减少延迟。

## 现实世界的影响

数以万计的 Pixel 8 用户将受益于现已推出的校对功能提供的高质量编辑。彻底生成合成数据和多次迭代微调已经产生了一个显着降低语法错误的模型，PaLM2-XS 模型的不良率相对下降了 5.74%。此外，优化还使中位延迟减少了 39.4%。

## 未来展望

[这项研究](https://arxiv.org/abs/2406.04523) 展示了法学硕士如何增强用户体验并为进一步研究创造有趣的可能性。真实用户数据的使用、多语言支持、定制写作帮助和设备隐私解决方案是可能导致该行业进一步进步的一些领域的例子。

通过引入校对功能，Google AI 正在扩展移动键盘技术的可能性，从而改善世界各地人们的打字体验。

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

谷歌人工智能推出“校对”：Gboard 功能可轻松纠正句子和段落

现代深度神经网络 (DNN) 本质上是不透明的，因此很难理解其决策过程。这种透明度的缺乏阻碍了机器学习技术在各个领域的广泛实施。作为回应，可解释人工智能（XAI）出现了，旨在提高人类对 DNN 判断的理解。通过研究每个组件的功能目的，XAI 现在还专注于理解 DNN 的全局行为，这与使用显着性图来解释个体预测的局部解释方法形成鲜明对比。

机械可解释性是一种全局可解释性技术，专注于查明神经元（神经网络的基本计算单元）已获得理解能力的特定想法。我们可以通过用人类可以理解的描述来标记神经元来解释网络潜在表示的操作。这些描述已经从简单的标签发展到复杂的、组合的和开放词汇的解释。然而，缺乏评估这些开放词汇描述的标准化定量指标阻碍了各种方法之间的彻底比较。

为了解决这一差距，来自 ATB Potsdam、波茨坦大学、柏林工业大学、Fraunhofer Heinrich-Hertz-Institute 和 BIFOLD 的研究人员引入了 [CoSy](https://arxiv.org/abs/2405.20331)，这是一个开创性的定量评估框架评估计算机视觉（CV）模型中开放词汇解释的使用。这种创新方法利用生成式人工智能的发展来生成与基于概念的文本描述相关的人工图像。 cosy 通过综合特定目标解释的常见数据点，促进不同基于概念的文本解释方法的定量比较，从而消除了人机交互的需要。

研究团队通过广泛的荟萃分析证明，Cosy 可以提供可靠的解释评估。研究发现，基于概念的文本解释方法在学习高级概念的神经网络的上层中效果最好。高质量的神经元解释是通过诸如 INVERT（从神经网络表示创建视觉效果）和 CLIP-Dissect（检查内部网络表示）等方法产生的。相反，MILAN 和 FALCON 等技术产生的解释质量较差，偶尔会提供几乎随机的概念，这可能会导致网络结论不准确。

研究人员认识到，CoSy 的一个主要缺点是训练数据中的特定类别可能未包含在生成模型中，从而导致解释过于笼统或模糊，例如“白色物体”。通过检查预训练数据集和模型性能来解决这个问题，可以提高生成准确性。即便如此，舒适在仍在发展的评估非局部解释技术的领域中展现出巨大的潜力。

展望未来，该团队对 CoSy 在多个领域的潜在应用充满希望。为了评估有关下游任务结果的解释的合理性或质量，人类判断必须包含在解释质量的定义中，他们希望在未来的工作中解决这一问题。此外，他们希望将自然语言处理和医疗保健等其他领域纳入其评估系统。 cosy 在评估大型、不透明、可自动解释的语言模型 (LLM) 方面的潜在用途尤其令人兴奋。研究人员表示，将舒适性应用于解释质量很重要的医疗数据集可能是向前迈出的一大步。舒适的这些潜在的未来应用对于推进人工智能研究具有巨大的潜力。

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

理解神经网络：CoSy 的文本解释评估定量框架

[基于 Transformer 的模型](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) 因其解析和解释复杂文本的能力而闻名。它们依赖于理解单词的顺序和上下文，而传统的位置编码方法在这些任务中已经显示出其局限性。为了解决这一差距，由 **旋转位置嵌入 (RoPE)** 提供支持的 ROFORMER 模型重新定义了我们的位置编码方法。

## 传统位置编码

Transformer 将文本视为一系列标记，并允许**序列的并行处理**以提高效率。然而，这种优势也带来了挑战：**模型对代币顺序固有的不可知论**。 **位置编码**就是答案，**为每个令牌提供一个唯一的签名，表示其序列位置**。

### 绝对位置嵌入

最初，像 BERT 这样的模型使用**绝对位置嵌入，为序列中的每个位置分配一个固定向量**。这种方法虽然简单，但本质上缺乏适应序列长度变化或强调标记之间相对距离的能力，而这对于理解许多语言结构至关重要。

### 相对位置嵌入

为了捕捉语言的动态本质，引入了相对位置嵌入，重点关注标记之间的距离而不是它们的绝对位置。尽管它们在概念上具有优势，但这些嵌入引入了**计算复杂性，并且无法无缝集成到 Transformers 的自注意力机制**中，从而限制了它们的功效。

## ROFORMER 和旋转位置嵌入

认识到现有位置编码策略的局限性，ROFORMER 引入了旋转位置嵌入 (RoPE)，这种方法结合了绝对和相对位置信息的优点，而没有各自的缺点。

### 旋转位置嵌入

RoPE 使用**旋转矩阵**对位置信息进行编码，使模型不仅能够了解令牌的位置，还能了解它与序列中每个其他令牌的关系。

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

它通过几何透镜进行操作，将标记位置视为多维空间中的点，通过旋转来标记它们的顺序关系。这种旋转允许模型在其自注意力机制中保留和利用绝对和相对位置线索。

### 实施 RoPE

实现 RoPE 涉及将每个标记的位置编码为旋转矩阵，并将该矩阵应用到 Transformer 的自注意力机制中。这个过程允许对位置信息进行灵活、动态的解释，适应不同的序列长度并捕获令牌相互关系的本质，而无需大量的计算开销。

首先，您需要一个函数来生成旋转嵌入，然后将这些嵌入集成到您的模型中。下面的示例假设您熟悉在 Keras 中创建自定义层。

#### 步骤 1：定义旋转嵌入函数

该函数在给定最大序列长度和嵌入维数的情况下生成旋转嵌入。

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

该行根据位置索引计算指数缩放频率的倒数。这些频率用于生成旋转嵌入的正弦模式，这有助于对序列中的相对位置信息进行编码。这种机制在理解元素的顺序和相对位置至关重要的任务中特别有用，例如在自然语言处理或时间序列分析中。

详细信息：

- `tf.range(0, dim, 2, dtype=tf.float32)` 创建从 0 到 `dim`（不包括）的值范围，步进 2。 `dtype=tf.float32` 参数指定该张量的元素是 32 位浮点数。例如，如果“dim”为 8，则将生成“[0, 2, 4, 6]”。

- 然后将“tf.range”生成的张量除以嵌入的维数（“dim”）。此操作将这些索引缩小到 0 到 1 之间的范围（如果“dim”为偶数，则不包括在内；如果“dim”为奇数，则稍微包含在内，因为范围步骤会跳过所有其他值）。继续使用 `dim` = 8 的示例，除以 8 得到 `[0.0, 0.25, 0.5, 0.75]`。

- `10000 ** (...)` 运算将之前缩放的张量中每个元素的 10,000 次幂进行计算。 10,000 的基数有些随意，但选择它是为了确保频率在较大范围内变化，这有助于模型更有效地区分不同的位置。对于“[0.0, 0.25, 0.5, 0.75]”，它将对每个进行幂运算，从而导致较高元素的值更大。

- 最后，通过取上一步的值的倒数 (1/x) 来获得逆频率。对于较高的索引，逆频率较小，这意味着序列中较远的元素将具有较小的频率，从而影响它们的位置如何编码到模型中。这允许嵌入以可以通过模型的注意力机制推断相对位置的方式进行缩放。

该行：

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

使用 TensorFlow 的“tf.einsum”函数，该工具允许使用爱因斯坦求和符号简洁高效地表达张量运算。

此操作有效地计算“t”和“inv_freq”向量的外积，得到一个矩阵，其中每个元素“(i, j)”是“t”的第“i”个元素与“ `inv_freq` 的第 j 个元素。该矩阵（“freqs”）表示用于生成旋转嵌入的正弦模式的频率。

#### 步骤 2：用于旋转嵌入的自定义 Keras 层

现在，让我们创建一个自定义 Keras 层，将旋转嵌入应用于输入张量。该层假设输入张量的形状为“（batch_size，sequence_length，embedding_dim）”。

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

`embeddings = self.rotary_embeddings[:seq_len]` 行根据当前输入序列长度选择预先计算的旋转嵌入的适当子集。由于序列的长度可能因批次而异，因此这种切片操作可确保仅使用与实际序列长度相对应的嵌入。

变量“embeddings”现在保存形状为“(seq_len, embedding_dim)”的张量，其中“seq_len”是当前批次中序列的长度，“embedding_dim”是嵌入的维度。该张量包含序列中每个位置的旋转位置嵌入，直到“seq_len”。

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` 将位置频率的正弦和余弦变换组合成单个张量：

-`tf.cos(freqs)` 和 `tf.sin(freqs)` 分别对 `freqs` 张量应用余弦和正弦变换。 “freqs”张量包含输入序列中每个位置和嵌入空间每个维度的频率值，根据序列位置和嵌入维度的逆频率计算。正弦和余弦函数按元素应用，产生两个与“freqs”形状相同的张量。这些转换有助于以捕获位置关系的循环性质的方式对位置进行编码，从而促进模型理解相对位置的能力。

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` 沿着最后一个轴（用 `axis=-1` 表示）连接余弦和正弦变换张量。并排连接这些张量可以有效地使“freqs”张量的维数加倍，前半部分表示每个位置的余弦变换值，后半部分表示正弦变换值。级联确保每个位置编码都包含正弦和余弦信息，从而允许保留有关位置信号的幅度和相位的信息。

- 连接的张量“emb”现在保存输入位置的完整旋转嵌入。 “emb”的形状在其前两个维度（对应于序列位置和嵌入维度）中将与“freqs”相同，但其最后一个维度将是其两倍大，同时考虑正弦和余弦值。这些嵌入用于通过以旋转等变方式添加位置信息来调制输入嵌入。

-`cos_emb = 嵌入[:, None, :self.dim // 2]`:

1. 第一个冒号 `:` 表示“选择该维度中的所有元素”，在本例中，它指的是序列中的所有位置。

2. `None` 用于添加额外的维度，使张量成为 3 维的。这样做通常是为了确保与需要特定维数输入的某些操作的兼容性。例如，当与另一个 3 维张量执行逐元素乘法时，形状必须根据广播规则对齐。

3. `:self.dim // 2`，选择最后一个轴的前半个维度。由于“embedding_dimension”加倍以包含正弦和余弦值，因此除以 2 可以有效地仅选择嵌入的余弦分量。

#### 步骤 3：与 Keras 模型集成

定义“RotaryEmbeddingLayer”后，您可以将其集成到 Keras 模型中。该层应先应用于您的嵌入，然后再将其馈送到注意层或任何后续模型层。

以下是如何将旋转嵌入集成到模型中的简化示例：

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer：具有旋转位置嵌入的增强型变压器

[Arxiv 链接](https://arxiv.org/abs/2403.13799)

2024 年 3 月 20 日

## 逆转诅咒

[GPT-4](https://arxiv.org/abs/2303.08774) 和 [Llama-2](https://arxiv.org/abs/2307.09288) 等大型语言模型 (LLM) 在理解方面表现出了令人印象深刻的能力并生成包含广泛知识的类似人类的文本。然而，他们却未能完成一项看似简单的任务：推翻学到的事实。这种限制被称为“逆转诅咒”，意味着法学硕士无法从学习“A 有特征 B”（即使是儿童也具备的基本推理技能）中推断出“B 是 A 的特征”。本文介绍了“反向训练”，这是一种解决这一挑战的新方法，它利用双向训练方法来增强模型对前向和反向格式事实的理解。

## 逆转诅咒的起源

这个问题源于法学硕士的基本培训方法，通常涉及**自回归、从左到右的学习**。这种方法本身并不教导模型以相反的顺序理解或生成信息。鉴于数据分布遵循齐普夫定律的性质，许多事实仅在一个方向上提及，从而加剧了这一问题。 “逆转诅咒”限制了法学硕士对陈述中的相互关系和等价性的理解，标志着他们推理能力的重大缺陷。

## 通过逆向训练克服逆向魔咒

所提出的解决方案“反向训练”通过包含训练字符串的原始版本和反向版本，使可用训练数据加倍。反转过程非常小心，不要更改某些子字符串（例如实体名称），而是保持其原始顺序以保留上下文。这种方法类似于引入法学硕士学习的第二语言，显着提高了模型处理和生成两个方向信息的能力。

## 测试反向训练方法

作者进行了以下实验来测试他们提出的方法：

**1- 符号逆向任务：** 受控环境测试，证明该方法推断和应用逆向关系的能力。

**2- 逆向传记任务：** 利用传记数据集来评估从给定细节生成人名的性能（反向）。

**3-现实世界知识逆转：**评估该方法在现实世界场景中的有效性，包括逆转有关名人及其关系的事实。

**4-虚构事实微调：**测试模​​型对新引入的、颠倒的虚构事实的学习能力。

在这些实验中，反向训练不仅减轻了逆转诅咒，而且在某些情况下完全消除了它。当实体名称在反转过程中按其原始顺序保留时，该方法被证明特别有效，这凸显了维护某些上下文锚的重要性。

## 影响和未来方向

反向培训在解决反向诅咒方面的成功为法学硕士培训方法开辟了新的途径。通过增强模型对陈述中的相互关系和等价性的理解，这种方法为更复杂的推理能力打开了大门。未来的研究可能会探索逆向过程的进一步优化、将逆向训练集成到其他语言模型架构中的潜力，以及该方法在自然语言理解和生成任务中的更广泛应用。

---

*按照自己的节奏成为一名编码专家！加入 Code Labs Academy 的 [在线兼职训练营](/) 并提高编码技能。根据您的日程安排学习，立即开始您的科技之旅！*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

逆向训练以护理逆向咒语

[Arxiv 链接](https://arxiv.org/abs/2403.12015)

2024 年 3 月 18 日

“使用潜在对抗扩散蒸馏进行快速高分辨率图像合成”提出了一种称为潜在对抗扩散蒸馏（LADD）的新颖蒸馏方法。这种方法旨在解决现有[扩散模型](https://en.wikipedia.org/wiki/Diffusion_model)的局限性，特别是推理速度慢的挑战，这会阻碍实时应用程序。 LADD 通过有效地提取大型[潜在扩散模型](https://arxiv.org/abs/2112.10752) (LDM) 来实现高分辨率、多纵横比图像合成，与以前的方法相比，显着简化了训练过程并提高了性能。

我们将总结本文的主要内容。

＃＃ 介绍

扩散模型已成为图像和视频合成和编辑的强大工具，可提供高质量的结果。然而，它们的迭代性质，需要大量的网络评估才能将噪声转换为相干图像，限制了它们在实时应用中的实用性。人们提出了各种策略来加速扩散模型。 LADD 引入了一种新策略，利用预训练 LDM 的生成特征，只需传统方法所需步骤的一小部分即可实现高效的高分辨率图像合成。

＃＃ 背景

本文首先概述了扩散模型及其[蒸馏](https://en.wikipedia.org/wiki/Knowledge_distillation)。传统的扩散模型通过许多迭代步骤逐渐对图像进行去噪，从而使过程缓慢且计算成本昂贵。蒸馏方法，包括[对抗扩散蒸馏](https://arxiv.org/abs/2311.17042) (ADD)，试图通过减少所需步骤数来简化此过程。然而，ADD 面临着一些限制，例如固定的训练分辨率，以及需要解码到 RGB 空间以提取潜在扩散模型，这可能会限制高分辨率训练。

## 方法论

LADD 通过**直接在潜在空间中提取**来解决这些问题，从而**避免解码到像素空间**，并允许以更高分辨率进行训练。与依赖于在像素空间中运行的预训练判别器的 ADD 不同，LADD 采用了一种新颖的方法，其中判别器和教师模型是统一的，直接对潜在变量进行操作。该方法不仅简化了训练过程，还提供了多种优势，包括效率、提供特定噪声级别反馈的能力以及多宽高比（MAR）训练的能力。

## 实验和结果

论文通过各种实验对 LADD 进行了广泛的评估，证明了其只需几个步骤即可合成高分辨率图像的优越性能。值得注意的是，当应用于 [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) 时，LADD 产生了一个名为 SD3-Turbo 的模型，该模型实现了与状态相当的图像质量 -只需四个步骤即可实现最先进的文本到图像生成器。实验还探讨了不同教师噪声分布、合成数据的使用、潜在蒸馏方法以及 LADD 的缩放行为的影响。

## 与最先进的比较

通过与文本到图像和图像到图像合成中当前领先方法的比较，进一步强调了 LADD 的有效性。 SD3-Turbo 不仅在图像质量方面与其教师模型 (SD3) 的性能相匹配，而且在推理速度和图像文本对齐方面比其他基线有了显着改进。

## 局限性和未来方向

尽管取得了进步，LADD 也并非没有局限性。作者注意到模型容量、提示对齐和推理速度之间的权衡，这可能会影响模型处理某些文本到图像合成挑战的能力。未来的研究方向包括更深入地探索这种权衡，并制定增强对图像和文本引导优势的控制的策略。

＃＃ 结论

“具有潜在对抗扩散蒸馏的快速高分辨率图像合成”引入了一种新的图像/视频合成方法，可显着加速根据文本提示生成高质量图像。通过在潜在空间中提取大型扩散模型，LADD 为实时应用铺平了道路，并为图像合成的效率和性能树立了新标准。

论文解释

为什么大流行后返回办公室可能会损害生产力：商业专家的见解