特に大企業では、新型コロナウイルス感染症のパンデミック後、従業員にオフィスでの勤務を義務付ける動きが顕著に見られました。 [Mark Ma](https://business.pitt.edu/professors/mark-ma/)、ピッツバーグ大学ジョセフ・M・カッツ経営大学院准教授、Yuye Ding、博士課程の学生は[このパターンを調査しました](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401)。彼らは、リモート勤務の社会学的および経済的影響と、従業員をオフィスに戻そうとする企業による最近の取り組みを調査しましたが、これが従業員をイライラさせることがよくあります。

マー氏は[Heiseとのインタビュー](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html)で次のように主張している。デジタル化が進む労働環境では、従業員をオフィスに戻させるだけでイライラするだけで、生産性の向上にはほとんど役に立ちません。しかし、自発的にチームのサポートを得て行う場合、対面での作業が有利であり、調整とチームワークの向上を促進できることを彼は認めています。

マー氏は、全員をオフィスに出勤させるのではなく、在宅勤務の有効性が証明された優秀な人材には在宅勤務の継続を許可すべきだと提案する。同氏は、この戦略は、他の場所で仕事を探すような優秀な人材を維持することで、最終的には雇用主と従業員の両方に利益をもたらすと考えています。マー氏はまた、会社の文化を強固なものに保つために、定期的に対面でのチーム構築演習を行うことを提案しています。これは、効率的なアイデア生成と問題解決に不可欠です。

パンデミック後にいくつかの企業が従業員にオフィスへの復帰を要求したにもかかわらず、この傾向の頂点は過ぎたようだ。 2024 年に行われた調査によると、CEO の大多数はオフィスにいることをもはや重視していません。企業は、パンデミック中に従業員がリモートで作業すると非常に生産性が向上する可能性があることを学びました。しかし、他のマネージャーはリモートで働くことに依然として不安を抱いており、それがオフィスに戻ることを主張している理由です。この信頼の欠如は、マネージャーが自分たちのことを信じていないことをスタッフに伝えるため、従業員の士気が低下する可能性があります。

在宅勤務により諸経費とスペース要件が削減できるという事実にもかかわらず、大企業は従業員の復帰を熱望しており、ここでは価格よりも管理と権限がより重要な役割を果たしている可能性が高まっています。マー氏は、多くの企業が株価下落に対応してオフィス復帰政策を実施し、業績不振の便利なスケープゴートとしてリモートワークを都合よく利用していると指摘した。

リモートワークへの需要は依然として高く、ニューヨーク、サンフランシスコ、ドイツなどの大都市ではオフィススペースの多くが空いているにもかかわらず、経営者らは従業員を対面で雇用することで協力とビジネス文化が強化されるという見解を持ち続けている。しかし、オフィスに復帰した従業員の多くは、同僚と協力する代わりに、ほとんどの時間を一人でコンピュータで作業して過ごしていると述べています。オフィス勤務とリモート勤務の明確な区別が存在しないことや、帰社を強いられたときに従業員が経験するフラストレーションによって、そのような義務の非効果性が疑問視されている。

従業員は、仕事と家庭生活をより適切に統合し、長時間の通勤を回避できるなど、リモート勤務に伴う生産性の向上とワークライフ バランスの利点に慣れています。不満は、オフィスへの強制復帰によってこれらの合意が破壊されることに起因します。さらに、仕事を休むと専門的な成長が妨げられる可能性があるという認識もあります。

結局のところ、マー氏は、労働者が恒久的に職場に戻ることを強制されれば、多くの労働者が他の職業を探し始め、労働者に留まる人々の意欲が低下する可能性があると考えている。ホームオフィスは、欠点はあるものの、ワークライフバランスが向上し、燃え尽き症候群が少ないため、依然として一般的です。リモートで働くのとオフィスで働くのとの間に目に見える生産性の違いはなく、在宅で働くことは、従業員が集中するためにヘッドフォンを頻繁に着用するオープンプランのオフィスで気が散るのと同じくらい疎外感を感じる可能性があります。マー氏は、たとえ人と人との接触が企業にとって有益であるとしても、チームはオフィスで働きたい日数を選択し、残りの時間は柔軟に残しておき、従業員が好みの作業環境を選択できるようにするようアドバイスしている。

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

パンデミック後にオフィスに戻ると生産性が損なわれる理由: ビジネス専門家からの洞察

[Google AI](https://ai.google/) は最近、人気のモバイル キーボード アプリケーションである Gboard に「Proofread」と呼ばれる新機能を導入しました。この機能により、ワンタップで文および段落レベルでのシームレスな変更と修正が可能になり、全体的な入力エクスペリエンスが向上します。

## 「ファットフィンガー」問題への取り組み

[Gboard](https://support.google.com/gboard/?hl=ja) は、小さな画面でのタッチ入力の自然な不正確さである「ファットフィンガー」問題に対処する手段として統計的デコードを使用しています。研究によると、デコードしない場合、文字あたりのエラー率は 8 ～ 9% に達する可能性があります。 Gboard には、入力をより簡単かつスムーズにするためのいくつかのエラー修正機能が付属しています。これらの機能は、人による入力を伴う手動タスクとプロアクティブな自動修正を組み合わせたものです。

## 包括的なエラー修正ツール

単語補完、次の単語の予測、アクティブ自動修正 (AC)、アクティブ キー修正 (KC) などの Gboard の機能を利用すると、入力がさらに簡単になります。これらのツールには、スマート構成、エラー修正、提案バーまたはインラインでの複数の単語の候補が含まれます。事後修正 (PC) を使用すると、すでにコミットされた単語のエラーの修正も容易になります。これらの機能にもかかわらず、2 つの重要な制限によりユーザー エクスペリエンスが損なわれます。

1. KC、AC、PC などのオンデバイス修正モデルは高速かつコンパクトですが、より長いコンテキストを必要とする高度で複雑なエラーを処理するのが困難です。これらのモデルがアクティブ化されないようにするには、ユーザーはゆっくりと正確に入力する必要があります。

2. ユーザーが文法チェッカーやスペル チェッカーを使用して確定した単語を手動で修正する必要があるため、入力速度が低下し、精神的および視覚的に負担がかかる可能性があります。

## 高レベルのエラー修正の必要性

タイピングの速い人は、すでに入力した単語を無視してキーボードだけに集中することがよくあります。これによりエラー率が高くなる可能性があり、文またはより高レベルの修正メカニズムの使用が必要になります。

## 校正の紹介

Proofread は、顕著な生産性の向上を提供することで、これらの頻繁な苦情を解決します。ワンタップで文レベルおよび段落レベルの修正ができるため、エラー修正が簡単になります。

## 校正の背後にあるテクノロジー

Proofread 機能は、データ生成、メトリクス設計、モデル調整、モデル提供という 4 つの主要コンポーネントで構成されています。これらすべてのコンポーネントを組み合わせることで、効果が保証されます。データ配信が Gboard ドメインと一致していることを保証するために、システムは、正確かつ体系的に構築されたエラー合成アーキテクチャを使用して、頻繁なキーボード エラーを模倣します。

## 高度なメトリクスとモデルの最適化

モデルを評価するために、研究者は、大規模言語モデル (LLM) から派生した文法エラーの存在チェックと同様の意味チェックに特に重点を置いた、多くの指標を組み込んでいます。 InstructGPT 手法では、モデルを改善するために教師あり微調整と強化学習 (RL) 調整が使用されます。この手順により、モデルの校正パフォーマンスが大幅に向上します。

## 導入とパフォーマンス

8 ビット量子化を使用する中型 LLM PaLM2-XS は、単一の TPU v5 内に収まるように調整されており、Proofread 機能の基盤として機能します。最適化により、サービスのコストが削減されます。以前の研究では、セグメンテーション、投機的デコード、およびバケット キーによってレイテンシが短縮されることが実証されています。

## 現実世界への影響

何万人もの Pixel 8 ユーザーが、現在利用可能になっている Proofread 機能によって提供される高品質な編集の恩恵を受けることになります。 PaLM2-XS モデルの Bad 率が相対的に 5.74% 減少していることからわかるように、合成データを徹底的に生成し、数回の微調整を繰り返すことで、文法エラーを大幅に低減するモデルが生成されました。さらに、最適化によりレイテンシの中央値が 39.4% 減少しました。

## 今後の展望

[この研究](https://arxiv.org/abs/2406.04523) は、LLM がどのようにユーザー エクスペリエンスを向上させ、さらなる調査のための興味深い可能性を生み出す可能性があるかを示しています。実際のユーザー データの使用、多言語サポート、カスタマイズされたライティング支援、デバイス プライバシー ソリューションは、この分野のさらなる進歩につながる可能性のある分野の例です。

Google AI は、Proofread 機能の導入によりモバイル キーボード テクノロジーの可能性を拡大し、世界中の人々のタイピングを向上させています。

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI が「校正」を公開: 文章や段落を簡単に修正できる Gboard 機能

最新のディープ ニューラル ネットワーク (DNN) は本質的に不透明であるため、意思決定プロセスを理解することが困難です。この透明性の欠如は、さまざまな分野での機械学習技術の広範な実装を妨げます。これに応えて、DNN の判断に対する人間の理解を向上させることを目的とした Explainable AI (XAI) が浮上しました。 XAI は、各コンポーネントの機能目的に注目することで、個別の予測を説明するために顕著性マップを使用するローカルな説明手法とは対照的に、DNN のグローバルな動作を理解することにも重点を置いています。

機械的解釈可能性は、ニューラル ネットワークの基本的なコンピューティング ユニットであるニューロンが理解する能力を獲得した特定のアイデアを正確に特定することに焦点を当てた、グローバルな説明可能性の手法です。人間が理解できる説明でニューロンにラベルを付けることで、ネットワークの潜在表現の動作を説明できます。これらの説明は、単純なラベルから、精緻で構成された、オープンな語彙の説明へと進歩しました。それにもかかわらず、これらのオープンな語彙記述を評価するための標準化された定量的指標が欠如しているため、さまざまなアプローチにわたる徹底的な比較が妨げられています。

このギャップに対処するために、ATB ポツダム、ポツダム大学、ベルリン工科大学、フラウンホーファー ハインリッヒ ヘルツ研究所、BIFOLD の研究者らは、コンピューター ビジョン (CV) モデルにおける公開語彙説明の使用を評価します。この革新的な方法では、Generative AI の開発を利用して、コンセプトに基づいたテキストの説明に関連付けられた人工画像を生成します。 cozy は、特定のターゲットの説明に共通するデータ ポイントを合成することで、さまざまな概念ベースのテキスト説明アプローチの定量的な比較を容易にすることで、人間による対話の必要性を排除します。

研究チームは広範なメタ分析を通じて、コージーが説明の信頼できる評価を提供していることを実証しました。この研究では、概念ベースのテキストによる説明手法が、高レベルの概念を学習するニューラル ネットワークの上位層で最もよく機能することが判明しました。高品質のニューロンの説明は、ニューラル ネットワーク表現からビジュアルを作成する INVERT や、内部ネットワーク表現を調べる CLIP-Dissect などの手法によって生成されます。逆に、MILAN や FALCON などの技術では、品質の低い説明が生成され、ほとんどランダムな概念が提供される場合があり、その結果、ネットワーク上の結論が不正確になる可能性があります。

研究者らも認識しているように、CoSy の大きな欠点は、トレーニング データの特定のカテゴリが生成モデルに含まれていない可能性があり、「白い物体」などの一般的すぎる説明や曖昧な説明につながる可能性があることです。事前トレーニング データセットとモデルのパフォーマンスを調査してこの問題に対処すると、生成の精度が向上する可能性があります。それでも、コージーは、非局所的な説明手法を評価するという発展途上の分野において、多くの可能性を示しています。

今後を見据えて、チームは複数の分野にわたる CoSy の潜在的な応用に期待を抱いています。下流のタスクの結果に関する説明の妥当性や品質を評価するには、説明の品質の定義に人間の判断を含める必要があり、今後の作業でこれに対処したいと考えています。さらに、自然言語処理やヘルスケアなどの追加分野も評価システムに含めたいと考えています。大規模で不透明な自動解釈可能言語モデル (LLM) を評価するために cozy を使用できる可能性は、特に興味深いものです。研究者らによれば、説明の質が重要となる医療データセットにコージーを適用することは大きな前進となる可能性があるという。コージーのこれらの潜在的な将来のアプリケーションには、AI 研究を前進させる大きな可能性があります。

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

ニューラル ネットワークを理解する: テキスト説明評価のための CoSy の定量的フレームワーク

[Transformer ベースのモデル](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) は、複雑なテキストを解析して解釈する機能で有名です。これらは、単語の順序と文脈を理解することに依存しており、従来の位置エンコーディング方法では限界が示されています。このギャップに対処するために、**Rotary Position Embedding (RoPE)** を活用した ROFORMER モデルは、位置エンコーディングへのアプローチを再定義します。

## 従来の位置エンコーディング

トランスフォーマーはテキストを一連のトークンとして扱い、**シーケンスの並列処理**を可能にして効率を高めます。ただし、この強みは、**トークンの順序に対するモデル固有の不可知論**という課題をもたらしました。 **位置エンコーディング**がその答えであり、**各トークンにそのシーケンスの位置を示す一意の署名を提供します**。

### 絶対位置の埋め込み

当初、BERT のようなモデルは**絶対位置埋め込みを使用し、シーケンス内の各位置に固定ベクトルを割り当てました**。この方法は単純ではありますが、**シーケンスの長さの変化に適応したり、多くの言語構造を理解するために重要なトークン間の相対的な距離を強調したり**する機能が本質的に欠けています。

### 相対位置の埋め込み

言語の動的な性質を捉えるために、絶対的な位置ではなくトークン間の距離に焦点を当てた相対位置埋め込みが導入されました。概念的な利点にもかかわらず、これらの埋め込みは **計算の複雑さをもたらし、トランスフォーマー**の自己注意メカニズムにシームレスに統合できず、その有効性が制限されました。

## ROFORMER とロータリー位置の埋め込み

既存の位置エンコーディング戦略の限界を認識し、ROFORMER は、絶対位置情報と相対位置情報の利点をそれぞれの欠点なしに組み合わせたアプローチである Rotary Position Embedding (RoPE) を導入しました。

### ロータリー位置の埋め込み

RoPE は、**回転行列**を使用して位置情報をエンコードし、モデルがトークンがどこにあるかだけでなく、シーケンス内の他のすべてのトークンとどのように関連しているかを理解できるようにします。

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

これは幾何学的なレンズを通して機能し、トークンの位置を多次元空間内の点として扱い、それらの連続的な関係をマークするために回転されます。この回転により、モデルは自己注意メカニズム内で絶対位置と相対位置の両方の手がかりを保存し、活用することができます。

### RoPE の実装

RoPE の実装には、各トークンの位置を回転行列にエンコードし、この行列を Transformer のセルフ アテンション メカニズム内に適用することが含まれます。このプロセスにより、位置情報の柔軟で動的な解釈が可能になり、さまざまなシーケンス長に対応し、大きな計算オーバーヘッドを発生させることなくトークンの相互関係の本質を捉えることができます。

まず、回転エンベディングを生成する関数が必要です。次に、これらのエンベディングをモデルに統合します。以下の例は、Keras でのカスタム レイヤーの作成に慣れていることを前提としています。

#### ステップ 1: ロータリー埋め込み関数を定義する

この関数は、最大シーケンス長と埋め込みの次元を指定して回転埋め込みを生成します。

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

この行は、位置インデックスに基づいて指数関数的にスケールされた周波数の逆数を計算します。これらの周波数は、回転埋め込み用の正弦波パターンの生成に使用され、シーケンス内の相対位置情報のエンコードに役立ちます。このメカニズムは、自然言語処理や時系列分析など、要素の順序と相対的な位置を理解することが重要なタスクで特に役立ちます。

詳細に：

- `tf.range(0, dim, 2, dtype=tf.float32)` は、0 から 2 ずつステップで `dim` (排他的) までの値の範囲を作成します。 `dtype=tf.float32` 引数は、次の値を指定します。このテンソルの要素は 32 ビット浮動小数点数であることがわかります。たとえば、「dim」が 8 の場合、「[0, 2, 4, 6]」が生成されます。

- `tf.range` によって生成されたテンソルは、埋め込みの次元 (`dim`) で除算されます。この操作は、これらのインデックスを 0 から 1 までの範囲にスケールダウンします (範囲ステップは 1 つおきの値をスキップするため、`dim` が偶数の場合は排他的ですが、`dim` が奇数の場合はわずかに排他的です)。 `dim` = 8 で例を続けると、8 で割ると `[0.0, 0.25, 0.5, 0.75]` が得られます。

- `10000 ** (...)` 演算は、以前にスケーリングされたテンソルの各要素の 10,000 乗を計算します。 10,000 の基数はある程度任意ですが、周波数が広範囲にわたって変化するように選択されており、モデルが異なる位置をより効果的に区別するのに役立ちます。 `[0.0, 0.25, 0.5, 0.75]` の場合、それぞれにべき乗演算が適用され、上位の要素ほど値が大きくなります。

- 最後に、前のステップの値の逆数 (1/x) を計算して逆周波数を取得します。逆周波数はインデックスが高くなるほど小さくなります。つまり、シーケンス内の要素の周波数が小さくなり、その位置がモデルにエンコードされる方法に影響します。これにより、モデルのアテンション メカニズムを通じて相対位置を推測できる方法で、埋め込みをスケーリングすることができます。

この線：

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

TensorFlow の `tf.einsum` 関数を使用します。これは、Einstein 総和表記を使用してテンソル演算を簡潔かつ効率的に表現できるツールです。

この演算は、「t」ベクトルと「inv_freq」ベクトルの外積を効果的に計算し、各要素「(i, j)」が「t」の「i」番目の要素と「 `inv_freq` の j 番目の要素。この行列 (「freqs」) は、回転埋め込みの正弦波パターンを生成するために使用される周波数を表します。

#### ステップ 2: ロータリー埋め込み用のカスタム Keras レイヤー

次に、入力テンソルに回転埋め込みを適用するカスタム Keras レイヤーを作成しましょう。この層は、入力テンソルの形状が「(batch_size, sequence_length, embedding_dim)」であると仮定します。

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

行 `embeddings = self.rotary_embeddings[:seq_len]` は、現在の入力シーケンスの長さに基づいて、事前に計算された回転埋め込みの適切なサブセットを選択します。シーケンスの長さはバッチごとに異なる可能性があるため、このスライス操作により、実際のシーケンスの長さに対応する埋め込みのみが使用されることが保証されます。

変数 `embeddings` は、形状 `(seq_len, embedding_dim)` のテンソルを保持します。ここで、 `seq_len` は現在のバッチ内のシーケンスの長さ、 `embedding_dim` は埋め込みの次元です。このテンソルには、「seq_len」までのシーケンス内の各位置の回転位置埋め込みが含まれています。

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` は、位置周波数のサイン変換とコサイン変換を単一のテンソルに結合します。

-`tf.cos(freqs)` と `tf.sin(freqs)` は、それぞれコサイン変換とサイン変換を `freqs` テンソルに適用します。 「freqs」テンソルには、入力シーケンス内の各位置と、シーケンスの位置と埋め込み次元の逆周波数に基づいて計算された埋め込み空間の各次元の周波数値が含まれます。サイン関数とコサイン関数は要素ごとに適用され、その結果、「freqs」と同じ形状の 2 つのテンソルが生成されます。これらの変換は、位置関係の周期的な性質を捉える方法で位置をエンコードするのに役立ち、相対位置を理解するモデルの能力を促進します。

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` は、最後の軸 (`axis=-1` で示される) に沿ってコサインおよびサイン変換されたテンソルを連結します。これらのテンソルを並べて連結すると、「freqs」テンソルの次元が効果的に 2 倍になり、前半は各位置のコサイン変換された値を表し、後半はサイン変換された値を表します。連結により、各位置エンコードにサイン情報とコサイン情報の両方が含まれるようになり、位置信号の振幅と位相の両方に関する情報を保存できるようになります。

- 連結されたテンソル `emb` は、入力位置の完全な回転埋め込みを保持するようになりました。 `emb` の形状は、最初の 2 次元 (シーケンス位置と埋め込み次元に対応) では `freqs` と同じになりますが、最後の次元はサイン値とコサイン値の両方を考慮して 2 倍の大きさになります。これらのエンベディングは、回転等価な方法で位置情報を追加することによって入力エンベディングを変調するために使用されます。

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. 最初のコロン `:` は、「この次元内のすべての要素を選択する」ことを意味し、この場合、シーケンス内のすべての位置を指します。

2. `None` を使用して追加の次元を追加し、テンソルを 3 次元にします。これは多くの場合、特定の次元数の入力を期待する特定の操作との互換性を確保するために行われます。たとえば、3 次元の別のテンソルと要素ごとの乗算を実行する場合、形状はブロードキャスト ルールに従って整列する必要があります。

3. `:self.dim // 2`、最後の軸の次元の前半を選択します。 `embedding_dimension` はサイン値とコサイン値の両方を含むように 2 倍になるため、2 で割ることにより、埋め込みのコサイン成分のみが効果的に選択されます。

#### ステップ 3: Keras モデルとの統合

`RotaryEmbeddingLayer` を定義したら、それを Keras モデルに統合できます。このレイヤーは、アテンション レイヤーまたは後続のモデル レイヤーにエンベディングをフィードする前に、エンベディングに適用する必要があります。

以下は、回転埋め込みをモデルに統合する方法の簡略化された例です。

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: ロータリー位置埋め込みを備えた強化されたトランスフォーマー

[Arxiv リンク](https://arxiv.org/abs/2403.13799)

2024 年 3 月 20 日

## 逆転の呪い

[GPT-4](https://arxiv.org/abs/2303.08774) や [Llama-2](https://arxiv.org/abs/2307.09288) のような大規模言語モデル (LLM) は、理解において優れた能力を実証しています。膨大な範囲の知識を網羅した、人間のようなテキストを生成します。しかし、彼らは、学んだ事実を覆すという、一見簡単な仕事に失敗します。 「逆転の呪い」と呼ばれるこの制限は、LLM が「A には特徴 B がある」という学習から「B は A の特徴である」と推論できないことを意味します。これは子供でも持つ基本的な推論スキルです。このペーパーでは、双方向トレーニング アプローチを活用して、順方向と逆方向の両方の形式での事実のモデルの理解を強化することで、この課題に対処する新しい方法である「逆方向トレーニング」を紹介します。

## 逆転の呪いの起源

この問題は、通常 **自己回帰的な左から右への学習**を伴う LLM の基本的なトレーニング アプローチから発生します。この方法は本質的に、逆の順序で情報を理解したり生成したりすることをモデルに教えるわけではありません。ジップの法則に従ったデータ配布の性質を考慮すると、多くの事実が一方向にしか言及されていないことが、この問題を悪化させています。 「逆転の呪い」により、LLM のステートメントにおける相互関係と等価性の理解が制限され、彼らの推論能力に重大な欠陥が生じます。

## 逆トレーニングで逆転の呪いを克服する

提案されたソリューションであるリバース トレーニングでは、トレーニング文字列の元のバージョンと逆バージョンの両方を含めることで、利用可能なトレーニング データが 2 倍になります。反転プロセスでは、エンティティ名などの特定の部分文字列が変更されないように注意し、コンテキストを維持するために元のシーケンスを維持します。この方法は、LLM が学習するための第 2 言語を導入するのと似ており、両方向で情報を処理および生成するモデルの能力が大幅に向上します。

## リバーストレーニングメソッドのテスト

著者らは、提案した方法をテストするために次の実験を実施しました。

**1- シンボリック リバース タスク:** 逆の関係を推論して適用するメソッドの能力を実証する、制御された環境テスト。

**2- 伝記の逆引きタスク:** 伝記データセットを利用して、与えられた詳細から人物名を逆に生成するパフォーマンスを評価します。

**3- 現実世界の知識の逆転:** 有名人とその関係に関する事実を逆転するなど、現実世界のシナリオにおける方法の有効性を評価します。

**4- 架空の事実の微調整:** 新しく導入された、逆転された架空の事実に関するモデルの学習能力をテストします。

これらの実験全体を通じて、リバース トレーニングはリバーサル カースを軽減しただけでなく、場合によっては完全に排除しました。この方法は、エンティティ名が反転プ​​ロセス中に元の順序で保存される場合に特に効果的であることが証明され、特定のコンテキスト アンカーを維持することの重要性が強調されました。

## 影響と将来の方向性

Reversal Curse に対処する Reverse Training の成功により、LLM トレーニング方法論に新たな道が開かれます。このアプローチは、ステートメント内の相互関係と等価性についてのモデルの理解を強化することにより、より洗練された推論機能への扉を開きます。今後の研究では、逆転プロセスのさらなる最適化、他の言語モデル アーキテクチャでの逆転トレーニングの統合の可能性、および自然言語の理解と生成タスクにおけるこの方法のより広範な応用が探求される可能性があります。

---

*自分のペースでコーディングのプロになろう! Code Labs Academy の [オンライン パートタイム ブートキャンプ](/) に参加してコーディングのスキルを向上させましょう。自分のスケジュールに合わせて学習を調整し、今すぐテクノロジーへの旅を始めましょう!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

逆転の呪いを治すための逆転トレーニング

[Arxiv リンク](https://arxiv.org/abs/2403.12015)

2024 年 3 月 18 日

「潜在的敵対的拡散蒸留による高速高解像度画像合成」では、潜在的敵対的拡散蒸留 (LADD) として知られる新しい蒸留アプローチを紹介します。このアプローチは、既存の [拡散モデル](https://en.wikipedia.org/wiki/Diffusion_model) の制限、特にリアルタイム アプリケーションの妨げとなる推論速度の遅さの課題に対処するように設計されています。 LADD は、大規模な [潜在拡散モデル](https://arxiv.org/abs/2112.10752) (LDM) を効率的に抽出することにより、高解像度のマルチアスペクト比画像合成を可能にし、以前の方法と比較してトレーニング プロセスを大幅に簡素化し、パフォーマンスを向上させます。 。

この文書から重要なポイントを要約します。

＃＃ 導入

拡散モデルは、画像とビデオの合成と編集のための強力なツールとして登場し、高品質の結果を提供します。ただし、ノイズをコヒーレントな画像に変換するには多数のネットワーク評価が必要となる反復的な性質により、リアルタイム アプリケーションでの実用性が制限されています。普及モデルを加速するためにさまざまな戦略が提案されています。 LADD は、事前トレーニングされた LDM からの生成機能を活用する新しい戦略を導入し、従来の方法で必要とされるステップの一部で効率的な高解像度画像合成を可能にします。

＃＃ 背景

この論文は、拡散モデルとその [蒸留](https://en.wikipedia.org/wiki/Knowledge_distillation) の概要を提供することから始まります。従来の拡散モデルは、多くの反復ステップを通じて画像のノイズを徐々に除去することで動作するため、プロセスが遅くなり、計算コストが高くなります。 [敵対的拡散蒸留](https://arxiv.org/abs/2311.17042) (ADD) を含む蒸留方法は、必要なステップ数を減らすことでこのプロセスを合理化しようとしました。ただし、ADD はトレーニング解像度が固定されていることや、潜在拡散モデルを抽出するために RGB 空間にデコードする必要があるなどの制限に直面しており、これにより高解像度トレーニングが制限される可能性があります。

## 方法論

LADD は、**潜在空間で直接蒸留**することでこれらの問題に対処し、**ピクセル空間にデコードする必要性を回避し**、より高い解像度でのトレーニングを可能にします。ピクセル空間で動作する事前トレーニング済みの弁別器に依存する ADD とは異なり、LADD は、弁別器と教師モデルが統合され、潜在的に直接動作する新しいアプローチを利用します。この方法は、トレーニング プロセスを簡素化するだけでなく、効率、ノイズ レベル固有のフィードバックを提供する機能、マルチ アスペクト比 (MAR) トレーニングの機能など、いくつかの利点も提供します。

## 実験と結果

この論文では、さまざまな実験を通じて LADD を広範囲に評価し、わずか数ステップで高解像度画像を合成する優れたパフォーマンスを実証しています。特に、[Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) に適用すると、LADD は SD3-Turbo と呼ばれるモデルになり、状態と同等の画質を実現します。最先端のテキストから画像へのジェネレーターをわずか 4 つのステップで実行できます。この実験では、さまざまな教師ノイズ分布の影響、合成データの使用、潜在蒸留アプローチ、LADD のスケーリング動作も調査されています。

## 最先端技術との比較

LADD の有効性は、テキストから画像への合成および画像から画像への合成における現在の主要な方法との比較によってさらに強調されます。 SD3-Turbo は、画質において教師モデル (SD3) のパフォーマンスに匹敵するだけでなく、推論速度と画像とテキストの位置合わせの点で他のベースラインに比べて大幅な向上を示しています。

## 制限と今後の方向性

LADD にはその進歩にもかかわらず、限界がないわけではありません。著者らは、モデルの能力、プロンプト調整、推論速度の間のトレードオフがあり、これが特定のテキストから画像への合成の課題を処理するモデルの能力に影響を与える可能性があると指摘しています。今後の研究の方向性としては、このトレードオフをより深く調査し、画像とテキストのガイダンスの強さの制御を強化する戦略を開発することが含まれます。

＃＃ 結論

「潜在的な敵対的拡散蒸留による高速高解像度画像合成」では、テキスト プロンプトからの高品質画像の生成を大幅に加速する画像/ビデオ合成への新しいアプローチが導入されています。 LADD は、潜在空間で大規模な拡散モデルを蒸留することにより、リアルタイム アプリケーションへの道を切り開き、画像合成の効率とパフォーマンスの新しい標準を設定します。

---

*Code Labs Academy: 柔軟な支払いプランのある [オンライン コーディング ブートキャンプ](/)*

論文の説明

パンデミック後にオフィスに戻ると生産性が損なわれる理由: ビジネス専門家からの洞察