Insbesondere in größeren Unternehmen ist nach der COVID-19-Pandemie eine spürbare Rückkehr zur Büroarbeitspflicht zu verzeichnen. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), außerordentlicher Professor für Betriebswirtschaftslehre an der Joseph M. Katz Graduate School of Business der University of Pittsburgh, und Yuye Ding, a Doktorand, haben[dieses Muster untersucht](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Sie haben die soziologischen und wirtschaftlichen Auswirkungen der Fernarbeit sowie die jüngste Initiative von Unternehmen untersucht, Arbeitnehmer wieder ins Büro zu holen, was Arbeitnehmer häufig verärgert.

Ma behauptet in einem [Interview mit Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html), dass in einem In der immer digitaler werdenden Arbeitsumgebung führt die Rückkehr der Arbeitnehmer ins Büro lediglich zu einer Irritation und trägt kaum zur Produktivitätssteigerung bei. Er räumt jedoch ein, dass persönliche Arbeit, wenn sie freiwillig und mit Teamunterstützung durchgeführt wird, von Vorteil sein und eine bessere Koordination und Teamarbeit fördern kann.

Ma schlägt vor, leistungsstarken Personen, die ihre Wirksamkeit bei der Heimarbeit unter Beweis gestellt haben, dies weiterhin zu ermöglichen, anstatt alle im Büro zu haben. Er glaubt, dass diese Strategie letztendlich sowohl Arbeitgebern als auch Arbeitnehmern zugute kommen wird, wenn brillante Mitarbeiter gehalten werden, die andernfalls woanders nach Arbeit suchen würden. Ma schlägt außerdem regelmäßige persönliche Teambuilding-Übungen vor, um die Unternehmenskultur stabil zu halten, was für eine effiziente Ideengenerierung und Problemlösung unerlässlich ist.

Der Höhepunkt dieser Tendenz scheint überschritten zu sein, auch wenn mehrere Unternehmen nach der Pandemie von ihren Mitarbeitern die Rückkehr ins Büro verlangten. Laut Umfragen aus dem Jahr 2024 legt die Mehrheit der CEOs keinen großen Wert mehr auf die Anwesenheit im Büro. Unternehmen haben gelernt, dass Arbeitnehmer während der Pandemie möglicherweise recht produktiv sind, wenn sie aus der Ferne arbeiten. Doch andere Manager haben immer noch Bedenken gegenüber der Arbeit aus der Ferne und plädieren deshalb für eine Rückkehr ins Büro. Die Arbeitsmoral der Mitarbeiter kann durch diesen Mangel an Vertrauen beeinträchtigt werden, da er den Mitarbeitern vermittelt, dass ihre Vorgesetzten nicht an sie glauben.

Trotz der Tatsache, dass Telearbeit die Gemeinkosten und den Platzbedarf senken kann, sind große Unternehmen bestrebt, ihre Mitarbeiter zurückzuholen, was die Möglichkeit erhöht, dass Kontrolle und Macht hier eine größere Rolle spielen als der Preis. Ma weist darauf hin, dass viele Unternehmen als Reaktion auf den Rückgang der Aktienkurse Richtlinien zur Rückkehr ins Büro einführten und dabei praktischerweise Remote-Arbeit als praktischen Sündenbock für schlechte Leistung nutzten.

Trotz der Tatsache, dass immer noch eine hohe Nachfrage nach Remote-Arbeit besteht – viele Büroflächen in Großstädten wie New York, San Francisco und Deutschland stehen leer – vertreten Manager weiterhin die Ansicht, dass die Zusammenarbeit und die Unternehmenskultur durch den Einsatz persönlicher Mitarbeiter verbessert werden. Aber anstatt mit Kollegen zusammenzuarbeiten, sagen viele Arbeitnehmer, die ins Büro zurückgekehrt sind, dass sie die meiste Zeit alleine an ihren Computern arbeiten. Die Unwirksamkeit solcher Anordnungen wird durch das Fehlen einer erkennbaren Unterscheidung zwischen Büro- und Fernarbeit sowie durch die Frustration, die Mitarbeiter verspüren, wenn sie zur Rückkehr gezwungen werden, in Frage gestellt.

Arbeitnehmer sind an die gesteigerte Produktivität und die Vorteile einer Work-Life-Balance gewöhnt, die mit der Arbeit aus der Ferne einhergehen, wie etwa die Möglichkeit, Berufs- und Familienleben besser zu integrieren und lange Arbeitswege zu vermeiden. Unzufriedenheit resultiert daraus, dass diese Vereinbarungen durch eine erzwungene Rückkehr ins Büro gestört werden. Darüber hinaus besteht die Auffassung, dass fehlende Arbeit die berufliche Weiterentwicklung behindern könnte.

Letztlich glaubt Ma, dass viele von ihnen, wenn sie gezwungen würden, dauerhaft an den Arbeitsplatz zurückzukehren, nach anderen Berufen suchen würden und diejenigen, die bleiben, weniger motiviert sein könnten. Homeoffice ist nach wie vor weit verbreitet, da es trotz seiner Nachteile für eine bessere Work-Life-Balance und eine geringere Burnout-Rate sorgt. Es gibt keinen erkennbaren Produktivitätsunterschied zwischen der Arbeit aus der Ferne und der Arbeit im Büro, und die Arbeit von zu Hause aus kann genauso befremdlich sein wie die Ablenkungen in Großraumbüros, in denen Mitarbeiter häufig Kopfhörer tragen, um sich zu konzentrieren. Ma rät Teams, die Anzahl der Tage, an denen sie im Büro arbeiten möchten, auszuwählen und den Rest der Zeit flexibel zu gestalten, damit die Mitarbeiter ihre bevorzugte Arbeitsumgebung wählen können, auch wenn menschliche Kontakte für Unternehmen von Vorteil sein können.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Warum die Rückkehr ins Büro nach der Pandemie die Produktivität beeinträchtigen kann: Einblicke von einem Wirtschaftsexperten

[Google AI](https://ai.google/) hat kürzlich eine neue Funktion namens „Korrekturlesen“ für Gboard, die beliebte mobile Tastaturanwendung, eingeführt. Mit einem einzigen Tastendruck ermöglicht diese Funktion nahtlose Änderungen und Korrekturen auf Satz- und Absatzebene und verbessert so das gesamte Tipperlebnis.

## Das Problem der „fetten Finger“ angehen

[Gboard](https://support.google.com/gboard/?hl=en) nutzt statistische Dekodierung, um das Problem der „fetten Finger“ anzugehen, bei dem es sich um die natürliche Ungenauigkeit von Berührungseingaben auf kleinen Bildschirmen handelt. Untersuchungen zeigen, dass die Fehlerquote pro Buchstabe ohne Dekodierung 8 bis 9 Prozent erreichen kann. Gboard verfügt über mehrere Fehlerkorrekturfunktionen, die das Tippen einfacher und reibungsloser machen. Diese Funktionen kombinieren manuelle Aufgaben mit menschlichem Input mit proaktiven, automatisierten Korrekturen.

## Umfassende Tools zur Fehlerkorrektur

Das Tippen wird insgesamt durch die Funktionen von Gboard erleichtert, zu denen Wortvervollständigung, Vorhersage des nächsten Wortes, aktive Autokorrektur (AC) und aktive Tastenkorrektur (KC) gehören. Zu diesen Tools gehören intelligente Komposition, Fehlerkorrektur und Mehrwortkandidaten in der Vorschlagsleiste oder inline. Die Nachkorrektur (PC) erleichtert auch die Berichtigung bereits begangener Wortfehler. Trotz dieser Funktionen beeinträchtigen zwei wesentliche Einschränkungen das Benutzererlebnis.

1. Während geräteinterne Korrekturmodelle wie KC, AC und PC schnell und kompakt sind, haben sie Schwierigkeiten, anspruchsvolle und komplexe Fehler zu verarbeiten, die längere Kontexte erfordern. Um zu verhindern, dass diese Modelle aktiviert werden, müssen Benutzer langsam und präzise tippen.

2. Die Tippgeschwindigkeit nimmt ab, da Benutzer festgelegte Wörter mithilfe von Grammatik- und Rechtschreibprüfungen manuell korrigieren müssen, was geistig und visuell anstrengend sein kann.

## Die Notwendigkeit einer Fehlerkorrektur auf hoher Ebene

Wer schnell schreibt, ignoriert häufig bereits getippte Wörter und konzentriert sich nur auf die Tastatur. Dadurch kann es zu höheren Fehlerquoten kommen, die den Einsatz von Satz- oder übergeordneten Korrekturmechanismen erforderlich machen.

## Einführung des Korrekturlesens

Korrekturlesen löst diese häufigen Beschwerden, indem es spürbare Produktivitätssteigerungen bietet. Es vereinfacht die Fehlerkorrektur, indem es Korrekturen auf Satz- und Absatzebene mit nur einem Tastendruck ermöglicht.

## Die Technologie hinter dem Korrekturlesen

Die Korrekturlesefunktion besteht aus vier Hauptkomponenten: Datenproduktion, Metrikdesign, Modelloptimierung und Modellbereitstellung. Alle diese Komponenten zusammen garantieren die Wirksamkeit. Um sicherzustellen, dass die Datenverteilung im Einklang mit der Gboard-Domäne steht, ahmt das System häufige Tastaturfehler mithilfe einer präzise und methodisch aufgebauten Fehlersynthesearchitektur nach.

## Erweiterte Metriken und Modelloptimierung

Um das Modell zu bewerten, haben Forscher eine Reihe von Metriken einbezogen, wobei der Schwerpunkt auf der Prüfung des Vorhandenseins grammatikalischer Fehler und ähnlichen Bedeutungsprüfungen liegt, die aus großen Sprachmodellen (LLMs) abgeleitet werden. Überwachte Feinabstimmung und Reinforcement Learning (RL)-Abstimmung werden in der InstructGPT-Technik verwendet, um das Modell zu verbessern. Die Korrekturleseleistung des Modells wird durch dieses Vorgehen deutlich verbessert.

## Bereitstellung und Leistung

Mithilfe der 8-Bit-Quantisierung ist der mittelgroße LLM PaLM2-XS so zugeschnitten, dass er in eine einzelne TPU v5 passt und als Grundlage für die Proofread-Funktion dient. Die Optimierung senkt die Bereitstellungskosten. Frühere Untersuchungen haben gezeigt, dass Segmentierung, spekulative Dekodierung und Bucket-Schlüssel die Latenz reduzieren können.

## Auswirkungen auf die reale Welt

Zehntausende Pixel 8-Nutzer werden von den hochwertigen Bearbeitungen profitieren, die die Korrekturlesefunktion bietet, die jetzt verfügbar ist. Eine gründliche Generierung synthetischer Daten und mehrere Iterationen der Feinabstimmung haben ein Modell hervorgebracht, das Grammatikfehler erheblich reduziert, was sich in einer relativen Verringerung des Schlecht-Verhältnisses des PaLM2-XS-Modells um 5,74 Prozent zeigt. Darüber hinaus haben Optimierungen zu einer Verringerung der mittleren Latenz um 39,4 % geführt.

## Zukunftsaussichten

[Diese Studie](https://arxiv.org/abs/2406.04523) zeigt, wie LLMs das Benutzererlebnis verbessern und interessante Möglichkeiten für weitere Untersuchungen schaffen können. Die Verwendung realer Benutzerdaten, mehrsprachiger Support, maßgeschneiderte Schreibhilfen und Geräteschutzlösungen sind einige Beispiele für Bereiche, die zu weiteren Fortschritten in der Branche führen könnten.

Google AI erweitert die Möglichkeiten der mobilen Tastaturtechnologie mit der Einführung der Korrekturlesefunktion und verbessert so das Tippen für Menschen auf der ganzen Welt.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI stellt „Korrekturlesen“ vor: Gboard-Funktion für mühelose Satz- und Absatzkorrekturen

Moderne tiefe neuronale Netze (DNNs) sind von Natur aus undurchsichtig, was es schwierig macht, ihre Entscheidungsprozesse zu verstehen. Dieser Mangel an Transparenz beeinträchtigt die umfassende Implementierung maschineller Lerntechniken in einer Vielzahl von Bereichen. Als Reaktion darauf ist Explainable AI (XAI) aufgetaucht, das das menschliche Verständnis von DNN-Urteilen verbessern soll. Durch die Betrachtung des funktionalen Zwecks jeder Komponente konzentriert sich XAI nun auch auf das Verständnis des globalen Verhaltens von DNNs, im Gegensatz zu lokalen Erklärungsmethoden, die Salienzkarten zur Erklärung einzelner Vorhersagen verwenden.

Mechanistische Interpretierbarkeit ist eine globale Erklärbarkeitstechnik, die sich darauf konzentriert, die besonderen Ideen zu bestimmen, die Neuronen, die grundlegenden Recheneinheiten eines neuronalen Netzwerks, verstehen können. Wir können die Funktionsweise der latenten Darstellungen eines Netzwerks erklären, indem wir Neuronen mit Beschreibungen versehen, die für Menschen verständlich sind. Diese Beschreibungen haben sich von einfachen Bezeichnungen zu ausführlichen, kompositorischen und offenen Wortschatzerklärungen entwickelt. Dennoch hat das Fehlen standardisierter quantitativer Metriken zur Bewertung dieser Beschreibungen im offenen Vokabular gründliche Vergleiche zwischen verschiedenen Ansätzen behindert.

Um diese Lücke zu schließen, stellen Forscher des ATB Potsdam, der Universität Potsdam, der TU Berlin, des Fraunhofer Heinrich-Hertz-Instituts und BIFOLD [CoSy](https://arxiv.org/abs/2405.20331) vor, einen bahnbrechenden quantitativen Bewertungsrahmen für Bewertung der Verwendung von Erklärungen mit offenem Vokabular in Computer Vision (CV)-Modellen. Diese innovative Methode nutzt Entwicklungen der generativen KI, um künstliche Bilder zu erzeugen, die mit konzeptbasierten Textbeschreibungen korrelieren. cosy macht eine menschliche Interaktion überflüssig, indem es quantitative Vergleiche verschiedener konzeptbasierter Texterklärungsansätze durch die Synthese von Datenpunkten ermöglicht, die für bestimmte Zielerklärungen üblich sind.

Das Forschungsteam hat durch eine umfangreiche Metaanalyse nachgewiesen, dass cosy verlässliche Auswertungen von Erklärungen bietet. Die Studie ergab, dass konzeptbasierte Texterklärungsmethoden am besten in den oberen Schichten neuronaler Netze funktionieren, wo Konzepte auf hoher Ebene erlernt werden. Hochwertige neuronale Erklärungen werden durch Methoden wie INVERT erzeugt, das visuelle Darstellungen aus neuronalen Netzwerkdarstellungen erstellt, und CLIP-Dissect, das interne Netzwerkdarstellungen untersucht. Umgekehrt liefern Techniken wie MILAN und FALCON Erklärungen von minderer Qualität und liefern gelegentlich fast zufällige Konzepte, was zu ungenauen Netzwerkschlussfolgerungen führen kann.

Ein großer Nachteil von CoSy besteht, wie die Forscher erkennen, darin, dass bestimmte Kategorien aus den Trainingsdaten möglicherweise nicht in das generative Modell einbezogen wurden, was zu zu allgemeinen oder mehrdeutigen Erklärungen wie „weißen Objekten“ führt. Die generative Genauigkeit könnte erhöht werden, indem dieses Problem durch die Untersuchung von Datensätzen vor dem Training und der Modellleistung behoben wird. Dennoch weist Cozy großes Potenzial im sich noch entwickelnden Bereich der Bewertung nicht-lokaler Erklärungstechniken auf.

Mit Blick auf die Zukunft ist das Team zuversichtlich, was die potenziellen Anwendungen von CoSy in mehreren Bereichen angeht. Um die Plausibilität oder Qualität einer Erklärung hinsichtlich des Ergebnisses einer nachgelagerten Aufgabe zu bewerten, muss menschliches Urteilsvermögen in die Definition der Erklärungsqualität einbezogen werden, mit der sie sich in zukünftigen Arbeiten befassen möchten. Darüber hinaus möchten sie weitere Bereiche wie die Verarbeitung natürlicher Sprache und das Gesundheitswesen in ihr Bewertungssystem einbeziehen. Besonders spannend ist der mögliche Einsatz von cosy zur Bewertung großer, undurchsichtiger, autointerpretierbarer Sprachmodelle (LLMs). Den Forschern zufolge könnte die Anwendung von Cozy auf Gesundheitsdatensätze, bei denen die Qualität der Erklärung wichtig ist, ein großer Fortschritt sein. Diese potenziellen zukünftigen Anwendungen von Cozy haben ein enormes Potenzial, die KI-Forschung voranzutreiben.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Neuronale Netze verstehen: CoSys quantitatives Framework für die Bewertung textueller Erklärungen

[Transformer-basierte Modelle](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) sind bekannt für ihre Fähigkeit, komplexe Texte zu analysieren und zu interpretieren. Sie sind darauf angewiesen, die Reihenfolge und den Kontext von Wörtern zu verstehen – Aufgaben, bei denen herkömmliche Methoden der Positionskodierung an ihre Grenzen gestoßen sind. Um diese Lücke zu schließen, definiert das ROFORMER-Modell, das auf **Rotary Position Embedding (RoPE)** basiert, unseren Ansatz zur Positionskodierung neu.

## Traditionelle Positionskodierung

Transformer behandeln Text als eine Reihe von Token und ermöglichen die **parallele Verarbeitung von Sequenzen** für mehr Effizienz. Diese Stärke brachte jedoch eine Herausforderung mit sich: die **immanente Agnostizität des Modells gegenüber der Token-Reihenfolge**. **Positionskodierung** war die Antwort, **die jedem Token eine eindeutige Signatur verlieh, die seine Sequenzposition angibt**.

### Absolute Positionseinbettungen

Ursprünglich verwendeten Modelle wie BERT **Absolutpositionseinbettungen, die jeder Position in einer Sequenz einen festen Vektor zuwiesen**. Obwohl diese Methode einfach ist, fehlt ihr von Natur aus **die Fähigkeit, sich an Variationen der Sequenzlänge anzupassen oder die relativen Abstände zwischen Token hervorzuheben**, was für das Verständnis vieler sprachlicher Konstrukte von entscheidender Bedeutung ist.

### Relative Positionseinbettungen

Um die dynamische Natur der Sprache zu erfassen, wurden Einbettungen relativer Positionen eingeführt, wobei der Schwerpunkt eher auf dem Abstand zwischen Token als auf ihren absoluten Positionen liegt. Trotz ihres konzeptionellen Vorteils führten diese Einbettungen zu **rechnerischer Komplexität und konnten sich nicht nahtlos in den Selbstaufmerksamkeitsmechanismus von Transformers integrieren**, was ihre Wirksamkeit einschränkte.

## ROFORMER und Rotary Position Embedding

ROFORMER erkennt die Einschränkungen bestehender Positionskodierungsstrategien und führt Rotary Position Embedding (RoPE) ein, einen Ansatz, der die Vorteile absoluter und relativer Positionsinformationen ohne deren jeweilige Nachteile kombiniert.

### Einbettung der Drehposition

RoPE kodiert Positionsinformationen mithilfe von **Rotationsmatrizen**, sodass das Modell nicht nur verstehen kann, wo sich ein Token befindet, sondern auch, wie es mit jedem anderen Token in einer Sequenz zusammenhängt.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Es arbeitet durch eine geometrische Linse und behandelt Token-Positionen als Punkte in einem mehrdimensionalen Raum, die gedreht werden, um ihre sequentiellen Beziehungen zu markieren. Diese Rotation ermöglicht es dem Modell, innerhalb seines Selbstaufmerksamkeitsmechanismus sowohl absolute als auch relative Positionshinweise zu bewahren und zu nutzen.

### Implementierung von RoPE

Die Implementierung von RoPE umfasst das Codieren der Position jedes Tokens in eine Rotationsmatrix und die Anwendung dieser Matrix innerhalb des Selbstaufmerksamkeitsmechanismus des Transformers. Dieser Prozess ermöglicht eine flexible, dynamische Interpretation von Positionsinformationen, berücksichtigt unterschiedliche Sequenzlängen und erfasst das Wesentliche von Token-Wechselbeziehungen ohne nennenswerten Rechenaufwand.

Zuerst benötigen Sie eine Funktion zum Generieren der rotierenden Einbettungen und dann integrieren Sie diese Einbettungen in Ihr Modell. Im folgenden Beispiel wird davon ausgegangen, dass Sie mit der Erstellung benutzerdefinierter Ebenen in Keras vertraut sind.

#### Schritt 1: Definieren Sie die Rotationseinbettungsfunktion

Diese Funktion generiert die rotierenden Einbettungen unter Berücksichtigung der maximalen Sequenzlänge und der Dimensionalität der Einbettungen.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Diese Zeile berechnet den Kehrwert exponentiell skalierter Frequenzen basierend auf den Positionsindizes. Diese Frequenzen werden zur Erzeugung sinusförmiger Muster für rotierende Einbettungen verwendet, was bei der Codierung der relativen Positionsinformationen in Sequenzen hilft. Dieser Mechanismus ist besonders nützlich bei Aufgaben, bei denen das Verständnis der Reihenfolge und relativen Positionierung von Elementen von entscheidender Bedeutung ist, beispielsweise bei der Verarbeitung natürlicher Sprache oder der Zeitreihenanalyse.

Im Detail:

- „tf.range(0, dim, 2, dtype=tf.float32)“ erstellt einen Wertebereich von 0 bis „dim“ (exklusiv) in Schritten von 2. Das Argument „dtype=tf.float32“ gibt an dass die Elemente dieses Tensors 32-Bit-Gleitkommazahlen sind. Wenn „dim“ beispielsweise 8 ist, würde dies „[0, 2, 4, 6]“ ergeben.

- Der von „tf.range“ erzeugte Tensor wird dann durch die Dimensionalität („dim“) der Einbettungen geteilt. Diese Operation skaliert diese Indizes auf einen Bereich zwischen 0 und 1 (exklusiv, wenn „dim“ gerade ist, leicht inklusive, wenn „dim“ ungerade ist, da der Bereichsschritt jeden zweiten Wert überspringt). Fortsetzung des Beispiels mit „dim“ = 8, Division durch 8 ergibt „[0,0, 0,25, 0,5, 0,75]“.

- Die Operation „10000 ** (...)“ erhöht jedes Element im zuvor skalierten Tensor um 10.000. Die Basis von 10.000 ist etwas willkürlich, wird aber gewählt, um sicherzustellen, dass die Frequenzen über einen weiten Bereich variieren, was dem Modell hilft, effektiver zwischen verschiedenen Positionen zu unterscheiden. Für „[0,0, 0,25, 0,5, 0,75]“ würde die Potenzoperation auf jedes Element angewendet, was zu viel größeren Werten für höhere Elemente führt.

- Schließlich wird die Umkehrfrequenz ermittelt, indem der Kehrwert (1/x) der Werte aus dem vorherigen Schritt gebildet wird. Die inversen Frequenzen sind bei höheren Indizes kleiner, was bedeutet, dass Elemente weiter in der Sequenz kleinere Frequenzen haben, was sich darauf auswirkt, wie ihre Positionen im Modell codiert werden. Dadurch können die Einbettungen so skaliert werden, dass relative Positionen durch die Aufmerksamkeitsmechanismen des Modells abgeleitet werden können.

Die Linie:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

verwendet die Funktion „tf.einsum“ von TensorFlow, ein Tool, das den präzisen und effizienten Ausdruck von Tensoroperationen mithilfe der Einstein-Summennotation ermöglicht.

Diese Operation berechnet effektiv das äußere Produkt der Vektoren „t“ und „inv_freq“, was zu einer Matrix führt, in der jedes Element „(i, j)“ das Produkt des „i“-ten Elements von „t“ und des „ j`-tes Element von `inv_freq`. Diese Matrix („freqs“) stellt die Frequenzen dar, die zur Erzeugung der Sinusmuster für die rotierenden Einbettungen verwendet werden.

#### Schritt 2: Benutzerdefinierte Keras-Ebene für rotierende Einbettungen

Erstellen wir nun eine benutzerdefinierte Keras-Ebene, die rotierende Einbettungen auf den Eingabetensor anwendet. Diese Ebene geht davon aus, dass der Eingabetensor die Form „(batch_size, sequence_length, embedding_dim)“ hat.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Die Zeile „embeddings = self.rotary_embeddings[:seq_len]“ wählt die entsprechende Teilmenge vorberechneter rotierender Einbettungen basierend auf der aktuellen Länge der Eingabesequenz aus. Da die Länge der Sequenzen von Stapel zu Stapel variieren kann, stellt dieser Slicing-Vorgang sicher, dass nur die Einbettungen verwendet werden, die der tatsächlichen Sequenzlänge entsprechen.

Die Variable „embeddings“ enthält jetzt einen Tensor der Form „(seq_len, embedding_dim)“, wobei „seq_len“ die Länge der Sequenzen im aktuellen Stapel und „embedding_dim“ die Dimensionalität der Einbettungen ist. Dieser Tensor enthält die rotierenden Positionseinbettungen für jede Position in der Sequenz bis zu „seq_len“.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kombiniert Sinus- und Cosinustransformationen von Positionsfrequenzen in einem einzigen Tensor:

-`tf.cos(freqs)` und `tf.sin(freqs)` wenden die Kosinus- bzw. Sinustransformationen auf den „freqs“-Tensor an. Der „freqs“-Tensor enthält Frequenzwerte für jede Position in der Eingabesequenz und jede Dimension des Einbettungsraums, berechnet auf der Grundlage der Sequenzpositionen und der Umkehrfrequenzen der Einbettungsdimensionen. Die Sinus- und Kosinusfunktionen werden elementweise angewendet, was zu zwei Tensoren derselben Form wie „Frequenzen“ führt. Diese Transformationen tragen dazu bei, die Position so zu kodieren, dass sie die zyklische Natur von Positionsbeziehungen erfasst, und erleichtern so die Fähigkeit des Modells, relative Positionen zu verstehen.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` verkettet die kosinus- und sinustransformierten Tensoren entlang der letzten Achse (gekennzeichnet durch „axis=-1“). Durch die Verkettung dieser Tensoren nebeneinander wird die Dimensionalität des „freqs“-Tensors effektiv verdoppelt, wobei die erste Hälfte kosinustransformierte Werte und die zweite Hälfte sinustransformierte Werte für jede Position darstellt. Durch die Verkettung wird sichergestellt, dass jede Positionskodierung sowohl Sinus- als auch Kosinusinformationen enthält, wodurch Informationen sowohl über die Amplitude als auch über die Phase der Positionssignale erhalten bleiben.

- Der verkettete Tensor „emb“ enthält jetzt die vollständigen rotierenden Einbettungen für die Eingabepositionen. Die Form von „emb“ ist in den ersten beiden Dimensionen (entsprechend den Sequenzpositionen und Einbettungsdimensionen) dieselbe wie die von „freqs“, aber die letzte Dimension wird doppelt so groß sein und sowohl Sinus- als auch Kosinuswerte berücksichtigen. Diese Einbettungen werden verwendet, um die Eingabeeinbettungen zu modulieren, indem Positionsinformationen auf rotationsäquivariante Weise hinzugefügt werden.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Der erste Doppelpunkt „:“ bedeutet „alle Elemente in dieser Dimension auswählen“, was sich in diesem Fall auf alle Positionen in der Sequenz bezieht.

2. „None“ wird verwendet, um eine zusätzliche Dimension hinzuzufügen, wodurch der Tensor dreidimensional wird. Dies geschieht häufig, um die Kompatibilität mit bestimmten Operationen sicherzustellen, die Eingaben einer bestimmten Anzahl von Dimensionen erwarten. Wenn Sie beispielsweise eine elementweise Multiplikation mit einem anderen dreidimensionalen Tensor durchführen, müssen die Formen gemäß den Übertragungsregeln ausgerichtet sein.

3. `:self.dim // 2`, wählt die erste Hälfte der Abmessungen in der letzten Achse aus. Da die „Einbettungsdimension“ verdoppelt wird, um sowohl Sinus- als auch Kosinuswerte einzuschließen, werden bei der Division durch 2 effektiv nur die Kosinuskomponenten der Einbettungen ausgewählt.

#### Schritt 3: Integration mit einem Keras-Modell

Nachdem Sie den „RotaryEmbeddingLayer“ definiert haben, können Sie ihn in Ihr Keras-Modell integrieren. Diese Ebene sollte auf Ihre Einbettungen angewendet werden, bevor sie in Aufmerksamkeitsebenen oder nachfolgende Modellebenen eingespeist werden.

Hier ist ein vereinfachtes Beispiel für die Integration der rotierenden Einbettungen in ein Modell:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Verbesserter Transformator Mit Einbettung Der Drehposition

[Arxiv-Link](https://arxiv.org/abs/2403.13799)

20. März 2024

## Der Umkehrfluch

Große Sprachmodelle (LLMs) wie [GPT-4](https://arxiv.org/abs/2303.08774) und [Llama-2](https://arxiv.org/abs/2307.09288) haben beeindruckende Verständnisfähigkeiten gezeigt und die Generierung menschenähnlicher Texte, die ein breites Spektrum an Wissen umfassen. Sie scheitern jedoch an einer scheinbar einfachen Aufgabe: der Umkehrung gelernter Fakten. Diese als „Umkehrfluch“ bezeichnete Einschränkung impliziert, dass LLMs nicht aus dem Lernen von „A hat ein Merkmal B“ ableiten können, dass „B ein Merkmal von A ist“, einer grundlegenden Denkfähigkeit, die sogar Kinder besitzen. In diesem Artikel wird „Reverse Training“ vorgestellt, eine neuartige Methode zur Bewältigung dieser Herausforderung durch Nutzung eines Trainingsansatzes in zwei Richtungen, um das Verständnis des Modells für Fakten sowohl im Vorwärts- als auch im Rückwärtsformat zu verbessern.

## Die Ursprünge des Umkehrfluchs

Das Problem ergibt sich aus dem grundlegenden Trainingsansatz von LLMs, der typischerweise **autoregressives Lernen von links nach rechts** beinhaltet. Diese Methode lehrt die Modelle nicht von Natur aus, Informationen in umgekehrter Reihenfolge zu verstehen oder zu generieren. Aufgrund der Art der Datenverteilung nach dem Zipf-Gesetz werden viele Fakten nur in eine Richtung erwähnt, was dieses Problem verschärft. Der „Umkehrfluch“ schränkt das Verständnis der LLMs für wechselseitige Beziehungen und Äquivalenz in Aussagen ein und stellt einen erheblichen Mangel in ihren Denkfähigkeiten dar.

## Den Umkehrfluch mit Reverse Training überwinden

Die vorgeschlagene Lösung, Reverse Training, verdoppelt die verfügbaren Trainingsdaten, indem sowohl Original- als auch umgekehrte Versionen von Trainingszeichenfolgen einbezogen werden. Beim Umkehrprozess wird darauf geachtet, bestimmte Teilzeichenfolgen, wie z. B. Entitätsnamen, nicht zu ändern und ihre ursprüngliche Reihenfolge beizubehalten, um den Kontext zu bewahren. Diese Methode ähnelt der Einführung einer zweiten Sprache zum Erlernen des LLM und verbessert die Fähigkeit des Modells, Informationen in beide Richtungen zu verarbeiten und zu generieren, erheblich.

## Testen der Reverse-Training-Methode

Die Autoren führten die folgenden Experimente durch, um ihre vorgeschlagene Methode zu testen:

**1- Symbolische Umkehraufgabe:** Ein Test in einer kontrollierten Umgebung, der die Fähigkeit der Methode demonstriert, umgekehrte Beziehungen abzuleiten und anzuwenden.

**2- Umkehrung der Biografieaufgabe:** Verwendung eines Biografiedatensatzes zur Bewertung der Leistung bei der umgekehrten Generierung von Personennamen aus gegebenen Details.

**3- Umkehrung des realen Wissens:** Bewertung der Wirksamkeit der Methode in realen Szenarien, einschließlich der Umkehrung von Fakten über Prominente und ihre Beziehungen.

**4- Feinabstimmung fiktiver Fakten:** Testen der Lernfähigkeit des Modells anhand neu eingeführter, umgekehrter fiktiver Fakten.

In diesen Experimenten hat Reverse Training den Umkehrfluch nicht nur gemildert, sondern in einigen Fällen sogar vollständig beseitigt. Die Methode erwies sich als besonders effektiv, wenn Entitätsnamen während des Umkehrvorgangs in ihrer ursprünglichen Reihenfolge beibehalten wurden, was die Bedeutung der Beibehaltung bestimmter kontextueller Anker hervorhebt.

## Implikationen und zukünftige Richtungen

Der Erfolg von Reverse Training bei der Bekämpfung des Umkehrfluchs eröffnet neue Wege für LLM-Trainingsmethoden. Durch die Verbesserung des Verständnisses von Modellen für wechselseitige Beziehungen und Äquivalenz in Aussagen öffnet dieser Ansatz die Tür zu ausgefeilteren Argumentationsfähigkeiten. Zukünftige Forschungen könnten eine weitere Optimierung des Umkehrprozesses, das Potenzial für die Integration des Umkehrtrainings in andere Sprachmodellarchitekturen und breitere Anwendungen dieser Methode beim Verständnis und bei der Generierung natürlicher Sprache untersuchen.

---

*Werden Sie in Ihrem eigenen Tempo zum Programmierprofi! Nehmen Sie am [Online-Teilzeit-Bootcamp](/) von Code Labs Academy teil und vertiefen Sie Ihre Kenntnisse im Programmieren. Passen Sie das Lernen an Ihren Zeitplan an und beginnen Sie noch heute Ihre Reise in die Technik!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Umgekehrtes Training, um den Umkehrfluch zu stillen

[Arxiv-Link](https://arxiv.org/abs/2403.12015)

18. März 2024

„Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation“ stellt einen neuartigen Destillationsansatz vor, der als Latent Adversarial Diffusion Distillation (LADD) bekannt ist. Dieser Ansatz soll die Einschränkungen bestehender [Diffusionsmodelle](https://en.wikipedia.org/wiki/Diffusion_model) angehen, insbesondere die Herausforderung der langsamen Inferenzgeschwindigkeit, die Echtzeitanwendungen behindert. LADD ermöglicht eine hochauflösende Bildsynthese mit mehreren Seitenverhältnissen, indem es große [latente Diffusionsmodelle](https://arxiv.org/abs/2112.10752) (LDMs) effizient destilliert, wodurch der Trainingsprozess erheblich vereinfacht und die Leistung im Vergleich zu früheren Methoden verbessert wird .

Wir werden die wichtigsten Erkenntnisse aus diesem Papier zusammenfassen.

## Einführung

Diffusionsmodelle haben sich zu einem leistungsstarken Werkzeug für die Bild- und Videosynthese und -bearbeitung entwickelt und liefern qualitativ hochwertige Ergebnisse. Ihr iterativer Charakter, der zahlreiche Netzwerkauswertungen erfordert, um Rauschen in kohärente Bilder umzuwandeln, hat jedoch ihre Praktikabilität für Echtzeitanwendungen eingeschränkt. Zur Beschleunigung von Diffusionsmodellen wurden verschiedene Strategien vorgeschlagen. LADD führt eine neue Strategie ein, die generative Funktionen vorab trainierter LDMs nutzt und eine effiziente hochauflösende Bildsynthese in einem Bruchteil der Schritte ermöglicht, die bei herkömmlichen Methoden erforderlich sind.

## Hintergrund

Der Artikel beginnt mit einem Überblick über Diffusionsmodelle und ihre [Destillation](https://en.wikipedia.org/wiki/Knowledge_distillation). Bei herkömmlichen Diffusionsmodellen wird ein Bild durch viele iterative Schritte schrittweise entrauscht, was den Prozess langsam und rechenintensiv macht. Destillationsmethoden, einschließlich der [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), haben versucht, diesen Prozess zu rationalisieren, indem sie die Anzahl der erforderlichen Schritte reduzieren. Allerdings unterliegt ADD Einschränkungen wie einer festen Trainingsauflösung und der Notwendigkeit der Dekodierung in den RGB-Raum zum Destillieren latenter Diffusionsmodelle, was das Training mit hoher Auflösung einschränken kann.

## Methodik

LADD geht diese Probleme an, indem es **direkt im latenten Raum destilliert**, wodurch **die Notwendigkeit einer Dekodierung in den Pixelraum vermieden wird** und ein Training mit höheren Auflösungen ermöglicht wird. Im Gegensatz zu ADD, das auf einem vorab trainierten Diskriminator basiert, der im Pixelraum arbeitet, verwendet LADD einen neuartigen Ansatz, bei dem das Diskriminator- und Lehrermodell vereinheitlicht ist und direkt auf Latentdaten operiert. Diese Methode vereinfacht nicht nur den Trainingsprozess, sondern bietet auch mehrere Vorteile, darunter Effizienz, die Möglichkeit, geräuschpegelspezifisches Feedback zu geben und die Fähigkeit für Multi-Aspect Ratio (MAR)-Training.

## Experimente und Ergebnisse

Der Artikel bewertet LADD ausführlich anhand verschiedener Experimente und demonstriert seine überlegene Leistung bei der Synthese hochauflösender Bilder in nur wenigen Schritten. Insbesondere bei Anwendung auf [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) führt LADD zu einem Modell mit der Bezeichnung SD3-Turbo, das eine vergleichbare Bildqualität wie das staatliche Modell erreicht. modernste Text-zu-Bild-Generatoren in nur vier Schritten. Die Experimente untersuchen auch die Auswirkungen unterschiedlicher Lärmverteilungen von Lehrern, die Verwendung synthetischer Daten, latente Destillationsansätze und das Skalierungsverhalten von LADD.

## Vergleich zum Stand der Technik

Die Wirksamkeit von LADD wird durch einen Vergleich mit derzeit führenden Methoden in der Text-zu-Bild- und Bild-zu-Bild-Synthese weiter unterstrichen. SD3-Turbo erreicht nicht nur hinsichtlich der Bildqualität die Leistung seines Lehrermodells (SD3), sondern zeigt auch erhebliche Verbesserungen gegenüber anderen Basismodellen hinsichtlich der Inferenzgeschwindigkeit und der Bild-Text-Ausrichtung.

## Einschränkungen und zukünftige Richtungen

Trotz seiner Fortschritte ist LADD nicht ohne Einschränkungen. Die Autoren weisen auf einen Kompromiss zwischen Modellkapazität, sofortiger Ausrichtung und Inferenzgeschwindigkeit hin, der sich auf die Fähigkeit des Modells auswirken könnte, bestimmte Herausforderungen bei der Text-zu-Bild-Synthese zu bewältigen. Zukünftige Forschungsrichtungen umfassen die eingehendere Untersuchung dieses Kompromisses und die Entwicklung von Strategien zur Verbesserung der Kontrolle über die Stärken der Bild- und Textführung.

## Abschluss

„Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation“ stellt einen neuen Ansatz zur Bild-/Videosynthese vor, der die Generierung hochwertiger Bilder aus Textaufforderungen erheblich beschleunigt. Durch die Destillation großer Diffusionsmodelle im latenten Raum ebnet LADD den Weg für Echtzeitanwendungen und setzt einen neuen Standard für Effizienz und Leistung in der Bildsynthese.

---

*Code Labs Academy: [Online Coding Bootcamp](/) mit flexiblen Zahlungsplänen*

Papiere erklärt

Warum die Rückkehr ins Büro nach der Pandemie die Produktivität beeinträchtigen kann: Einblicke von einem Wirtschaftsexperten