En particulier dans les grandes entreprises, on a constaté un retour notable à l’obligation pour les travailleurs de travailler depuis le bureau après la pandémie de COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), professeur agrégé d'administration des affaires à la Joseph M. Katz Graduate School of Business de l'Université de Pittsburgh, et Yuye Ding, un Doctorant, j'ai [enquêté sur ce modèle](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Ils se sont penchés sur les effets sociologiques et économiques du travail à distance ainsi que sur la récente initiative des entreprises visant à ramener les travailleurs au bureau, ce qui irrite souvent les travailleurs.

Ma affirme dans une [interview avec Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) que, dans un Dans un environnement de travail de plus en plus numérique, le fait de forcer les travailleurs à revenir au bureau ne fait que les irriter et ne contribue guère à augmenter la productivité. Il admet cependant que lorsqu’il est effectué volontairement et avec le soutien d’une équipe, le travail en personne peut être avantageux et favoriser une meilleure coordination et un meilleur travail d’équipe.

Ma suggère que les personnes très performantes qui ont prouvé leur efficacité en travaillant à domicile devraient être autorisées à continuer de le faire, plutôt que d'avoir tout le monde au bureau. Il pense qu'en gardant les individus brillants qui autrement chercheraient du travail ailleurs, cette stratégie profitera en fin de compte à la fois aux employeurs et aux employés. Ma suggère également des exercices réguliers de consolidation d'équipe en personne pour maintenir la culture de l'entreprise solide, ce qui est essentiel pour une génération d'idées et une résolution de problèmes efficaces.

Le point culminant de cette tendance semble être passé, même si plusieurs entreprises ont imposé à leurs employés de retourner au bureau à la suite de la pandémie. Selon des enquêtes réalisées en 2024, la majorité des PDG n'accordent plus une grande valeur au fait d'être au bureau. Les entreprises ont appris que les travailleurs peuvent être très productifs lorsqu’ils travaillent à distance pendant la pandémie. Mais d’autres managers ont encore des réticences à l’idée de travailler à distance, c’est pourquoi ils militent pour le retour au bureau. Le moral des employés peut souffrir de ce manque de confiance, car cela donne l'impression aux membres du personnel que leurs supérieurs ne croient pas en eux.

Bien que le télétravail puisse réduire les frais généraux et les besoins en espace, les grandes entreprises sont impatientes de voir leurs employés revenir, ce qui soulève la possibilité que le contrôle et le pouvoir soient ici plus en jeu que le prix. Ma souligne que de nombreuses entreprises ont mis en œuvre des politiques de retour au bureau en réponse à la baisse du cours des actions, utilisant commodément le travail à distance comme bouc émissaire pour de mauvaises performances.

Malgré le fait qu'il existe toujours une forte demande pour le travail à distance (de nombreux bureaux dans les grandes villes comme New York, San Francisco et l'Allemagne sont vacants), les dirigeants continuent de penser que le fait d'avoir des travailleurs en personne améliorera la coopération et la culture d'entreprise. Mais au lieu de travailler avec des collègues, de nombreux travailleurs qui sont retournés au bureau déclarent passer la plupart de leur temps à travailler seuls sur leur ordinateur. L’inefficacité de tels mandats est mise en doute par l’absence de distinction perceptible entre le travail au bureau et le travail à distance, ainsi que par la frustration que ressentent les employés lorsqu’ils sont obligés de revenir.

Les travailleurs sont habitués à la productivité accrue et aux avantages d'un équilibre travail-vie personnelle qui découlent du travail à distance, comme la possibilité de mieux intégrer vie professionnelle et vie familiale et d'éviter les longs trajets. Le mécontentement résulte de la rupture de ces accords par un retour forcé au bureau. De plus, il existe une perception selon laquelle le fait de s'absenter du travail pourrait entraver la croissance professionnelle.

En fin de compte, Ma pense que si les travailleurs étaient obligés de retourner sur leur lieu de travail de manière permanente, beaucoup d’entre eux commenceraient à chercher d’autres professions et ceux qui resteraient pourraient devenir moins motivés. Les bureaux à domicile sont encore courants car ils offrent un meilleur équilibre entre vie professionnelle et vie privée et des taux d'épuisement professionnel plus faibles, malgré leurs inconvénients. Il n'y a aucune différence de productivité perceptible entre le travail à distance et au bureau, et le travail à domicile peut être tout aussi aliénant que les distractions des bureaux ouverts où les employés portent fréquemment des écouteurs pour se concentrer. Ma conseille aux équipes de choisir le nombre de jours qu'elles souhaitent travailler au bureau et de laisser le reste du temps flexible afin que les employés puissent choisir leur environnement de travail préféré, même si les contacts humains peuvent être bénéfiques pour les entreprises.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Pourquoi retourner au bureau après une pandémie peut nuire à la productivité : le point de vue d'un expert commercial

[Google AI](https://ai.google/) a récemment introduit une nouvelle fonctionnalité appelée « Relire » dans Gboard, l'application de clavier mobile populaire. D'un simple clic, cette fonctionnalité permet des modifications et des corrections transparentes au niveau des phrases et des paragraphes, améliorant ainsi l'expérience de frappe globale.

## S'attaquer au problème du « gros doigt »

[Gboard](https://support.google.com/gboard/?hl=en) utilise le décodage statistique pour résoudre le problème du « gros doigt », qui correspond à l'imprécision naturelle de la saisie tactile sur les petits écrans. Les recherches montrent que le taux d'erreur par lettre peut atteindre 8 à 9 % sans décodage. Gboard est livré avec plusieurs fonctionnalités de correction d'erreurs pour rendre la saisie plus facile et plus fluide. Ces fonctionnalités combinent des tâches manuelles impliquant une intervention humaine avec des corrections proactives et automatisées.

## Outils complets de correction d'erreurs

La saisie est facilitée collectivement par les fonctionnalités de Gboard, qui incluent la complétion des mots, les prédictions du mot suivant, la correction automatique active (AC) et la correction active des touches (KC). Ces outils incluent une composition intelligente, une correction d'erreurs et des candidats de plusieurs mots dans la barre de suggestions ou en ligne. La post-correction (PC) facilite également la rectification des erreurs de mots déjà commises. Malgré ces fonctionnalités, deux restrictions clés nuisent à l’expérience utilisateur.

1. Bien que les modèles de correction sur appareil tels que KC, AC et PC soient rapides et compacts, ils ont du mal à gérer les erreurs sophistiquées et complexes qui nécessitent des contextes plus longs. Pour éviter que ces modèles ne soient activés, les utilisateurs doivent taper lentement et précisément.

2. La vitesse de frappe diminue car les utilisateurs doivent corriger manuellement les mots engagés à l'aide de correcteurs de grammaire et d'orthographe, ce qui peut être éprouvant mentalement et visuellement.

## La nécessité d'une correction d'erreur de haut niveau

Les dactylographes rapides ignorent souvent les mots qu’ils ont déjà tapés et se concentrent uniquement sur le clavier. Des taux d’erreur plus élevés peuvent en résulter, nécessitant le recours à des peines ou à des mécanismes de correction de niveau supérieur.

## Présentation de la relecture

Proofread résout ces plaintes fréquentes en offrant des améliorations notables de la productivité. Il simplifie la correction des erreurs en fournissant des corrections en un seul clic au niveau des phrases et des paragraphes.

## La technologie derrière la relecture

La fonctionnalité Proofread est composée de quatre composants principaux : la production de données, la conception de métriques, l'ajustement du modèle et la diffusion du modèle. Ensemble, tous ces composants garantissent l’efficacité. Pour garantir que la distribution des données est conforme au domaine Gboard, le système imite les erreurs de clavier fréquentes à l'aide d'une architecture synthétique d'erreurs construite avec précision et méthodique.

## Métriques avancées et optimisation du modèle

Afin d'évaluer le modèle, les chercheurs ont incorporé un certain nombre de mesures, avec un accent particulier sur les contrôles de présence d'erreurs grammaticales et les contrôles de signification similaire dérivés de grands modèles de langage (LLM). Le réglage fin supervisé et le réglage de l'apprentissage par renforcement (RL) sont utilisés dans la technique InstructGPT pour améliorer le modèle. Les performances de relecture du modèle sont grandement améliorées par cette procédure.

## Déploiement et performances

Utilisant une quantification sur 8 bits, le LLM PaLM2-XS de taille moyenne est conçu pour s'adapter à un seul TPU v5 et sert de base à la fonction de relecture. L'optimisation réduit le coût du service. Des recherches antérieures ont démontré que la segmentation, le décodage spéculatif et les clés de compartiment peuvent réduire la latence.

## Impact dans le monde réel

Des dizaines de milliers d'utilisateurs de Pixel 8 bénéficieront des modifications de haute qualité fournies par la fonction de relecture, désormais disponible. Une génération approfondie de données synthétiques et plusieurs itérations de réglage fin ont produit un modèle qui réduit considérablement les erreurs grammaticales, comme en témoigne une diminution relative de 5,74 % du mauvais ratio du modèle PaLM2-XS. De plus, les optimisations ont entraîné une diminution de 39,4 % de la latence médiane.

## Perspectives d'avenir

[Cette étude](https://arxiv.org/abs/2406.04523) démontre comment les LLM pourraient améliorer l'expérience utilisateur et créer des possibilités intrigantes pour des recherches plus approfondies. L'utilisation de données d'utilisateurs réels, la prise en charge multilingue, l'aide à la rédaction sur mesure et les solutions de confidentialité des appareils ne sont que quelques exemples de domaines qui pourraient conduire à de nouvelles avancées dans le secteur.

Google AI étend les possibilités de la technologie des claviers mobiles avec l'introduction de la fonctionnalité Proofread, améliorant ainsi la saisie pour les utilisateurs du monde entier.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI dévoile « Relecture » : fonctionnalité Gboard pour des corrections de phrases et de paragraphes sans effort

Les réseaux de neurones profonds (DNN) modernes sont intrinsèquement opaques, ce qui rend difficile la compréhension de leurs processus décisionnels. Ce manque de transparence interfère avec la mise en œuvre étendue des techniques d’apprentissage automatique dans divers domaines. En réponse, l'IA explicable (XAI) a fait surface dans le but d'améliorer la compréhension humaine des jugements DNN. En examinant l'objectif fonctionnel de chaque composant, XAI se concentre désormais également sur la compréhension du comportement global des DNN, contrairement aux méthodes d'explication locales qui utilisent des cartes de saillance pour expliquer les prédictions individuelles.

L'interprétabilité mécaniste est une technique d'explicabilité globale qui vise à identifier les idées particulières que les neurones, les unités informatiques fondamentales d'un réseau neuronal, ont acquis la capacité de comprendre. Nous pouvons expliquer le fonctionnement des représentations latentes d'un réseau en étiquetant les neurones avec des descriptions compréhensibles pour les humains. Ces descriptions sont passées de simples étiquettes à des explications élaborées, compositionnelles et à vocabulaire ouvert. Néanmoins, le manque de mesures quantitatives standardisées pour évaluer ces descriptions à vocabulaire ouvert a empêché des comparaisons approfondies entre diverses approches.

Pour combler cette lacune, des chercheurs de l'ATB Potsdam, de l'Université de Potsdam, de la TU Berlin, du Fraunhofer Heinrich-Hertz-Institute et de BIFOLD présentent [CoSy](https://arxiv.org/abs/2405.20331), un cadre d'évaluation quantitative pionnier pour évaluer l'utilisation d'explications à vocabulaire ouvert dans les modèles de vision par ordinateur (CV). Cette méthode innovante utilise les développements de l’IA générative pour produire des images artificielles en corrélation avec des descriptions textuelles basées sur des concepts. Cozy élimine le besoin d'interaction humaine en facilitant les comparaisons quantitatives de différentes approches d'explication textuelle basées sur des concepts en synthétisant des points de données communs pour des explications cibles particulières.

L’équipe de recherche a démontré, grâce à une méta-analyse approfondie, qu’elle propose des évaluations fiables des explications. L’étude a découvert que les méthodes d’explication textuelle basées sur les concepts fonctionnent mieux dans les couches supérieures des réseaux neuronaux, où les concepts de haut niveau sont appris. Des explications neuronales de haute qualité sont produites par des méthodes telles que INVERT, qui crée des visuels à partir de représentations de réseaux neuronaux, et CLIP-Dissect, qui examine les représentations de réseaux internes. À l’inverse, des techniques telles que MILAN et FALCON produisent des explications de qualité inférieure, fournissant parfois des concepts presque aléatoires, ce qui peut aboutir à des conclusions de réseau inexactes.

Un inconvénient majeur de CoSy, comme le reconnaissent les chercheurs, est que des catégories spécifiques issues des données d'entraînement pourraient ne pas avoir été incluses dans le modèle génératif, conduisant à des explications trop générales ou ambiguës, telles que « objets blancs ». La précision générative pourrait être augmentée en résolvant ce problème en examinant les ensembles de données de pré-formation et les performances du modèle. Pourtant, Cozy présente un grand potentiel dans le domaine encore en développement de l’évaluation des techniques d’explication non locales.

Pour l’avenir, l’équipe a bon espoir quant aux applications potentielles de CoSy dans plusieurs domaines. Pour évaluer la plausibilité ou la qualité d'une explication concernant le résultat d'une tâche en aval, le jugement humain doit être inclus dans la définition de la qualité de l'explication, qu'ils souhaitent aborder dans les travaux futurs. De plus, ils souhaitent inclure des domaines supplémentaires tels que le traitement du langage naturel et les soins de santé dans leur système d'évaluation. L’utilisation potentielle de cosy pour évaluer des modèles de langage (LLM) volumineux, opaques et autointerprétables est particulièrement intéressante. Selon les chercheurs, appliquer le confort aux ensembles de données sur les soins de santé, où la qualité des explications est importante, pourrait constituer un grand pas en avant. Ces futures applications potentielles du cosy ont un énorme potentiel pour faire progresser la recherche sur l’IA.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Comprendre les réseaux de neurones : le cadre quantitatif de CoSy pour l'évaluation des explications textuelles

Les [modèles basés sur Transformer](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) sont célèbres pour leur capacité à analyser et interpréter des textes complexes. Ils s’appuient sur la compréhension de l’ordre et du contexte des mots – tâches pour lesquelles les méthodes traditionnelles de codage positionnel ont montré leurs limites. Pour combler cette lacune, le modèle ROFORMER, optimisé par le **Rotary Position Embedding (RoPE)**, redéfinit notre approche du codage positionnel.

## Encodage positionnel traditionnel

Les transformateurs traitent le texte comme une série de jetons et permettent le **traitement parallèle des séquences** pour une plus grande efficacité. Cependant, cette force a apporté son défi : l'**agnosticisme inhérent du modèle à l'ordre symbolique**. Le **codage positionnel** était la réponse, **fournissant à chaque jeton une signature unique indiquant sa position dans la séquence**.

### Intégrations de position absolue

Initialement, des modèles comme BERT utilisaient des **intégrations de positions absolues, attribuant un vecteur fixe à chaque position dans une séquence**. Cette méthode, bien que simple, **n'a pas intrinsèquement la capacité de s'adapter aux variations de longueur de séquence ou de mettre l'accent sur les distances relatives entre les jetons**, essentielles à la compréhension de nombreuses constructions linguistiques.

### Intégrations de position relative

Pour capturer la nature dynamique du langage, des intégrations de positions relatives ont été introduites, en se concentrant sur la distance entre les jetons plutôt que sur leurs positions absolues. Malgré leur avantage conceptuel, ces intégrations ont introduit une **complexité informatique et n'ont pas réussi à s'intégrer de manière transparente dans le mécanisme d'auto-attention de Transformers**, limitant leur efficacité.

## ROFORMER et intégration de position rotative

Reconnaissant les limites des stratégies de codage de position existantes, ROFORMER introduit le Rotary Position Embedding (RoPE), une approche qui combine les avantages des informations de position absolue et relative sans leurs inconvénients respectifs.

### Intégration de la position rotative

RoPE encode les informations de position à l'aide de **matrices de rotation**, permettant au modèle de comprendre non seulement où se trouve un jeton, mais aussi comment il se rapporte à tous les autres jetons d'une séquence.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Il fonctionne à travers une lentille géométrique, traitant les positions des jetons comme des points dans un espace multidimensionnel qui tournent pour marquer leurs relations séquentielles. Cette rotation permet au modèle de préserver et d'exploiter les indices de position absolus et relatifs au sein de son mécanisme d'auto-attention.

### Implémentation de RoPE

La mise en œuvre de RoPE implique de coder la position de chaque jeton dans une matrice de rotation et d'appliquer cette matrice au sein du mécanisme d'auto-attention du Transformer. Ce processus permet une interprétation flexible et dynamique des informations de position, s'adaptant à différentes longueurs de séquence et capturant l'essence des interrelations des jetons sans surcharge de calcul significative.

Tout d’abord, vous aurez besoin d’une fonction pour générer les intégrations rotatives, puis vous intégrerez ces intégrations dans votre modèle. L'exemple ci-dessous suppose que vous êtes familiarisé avec la création de calques personnalisés dans Keras.

#### Étape 1 : Définir la fonction d'intégration rotative

Cette fonction génère les plongements rotatifs en fonction de la longueur maximale de la séquence et de la dimensionnalité des plongements.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Cette ligne calcule l'inverse des fréquences mises à l'échelle exponentiellement en fonction des indices de position. Ces fréquences sont utilisées pour générer des modèles sinusoïdaux pour les intégrations rotatives, ce qui facilite le codage des informations de position relative dans des séquences. Ce mécanisme est particulièrement utile dans les tâches où la compréhension de l'ordre et du positionnement relatif des éléments est cruciale, comme dans le traitement du langage naturel ou l'analyse de séries chronologiques.

En détails:

- `tf.range(0, dim, 2, dtype=tf.float32)` crée une plage de valeurs allant de 0 jusqu'à `dim` (exclusif), en incrémentant de 2. L'argument `dtype=tf.float32` spécifie que les éléments de ce tenseur sont des nombres à virgule flottante de 32 bits. Si « dim » vaut 8, par exemple, cela produirait « [0, 2, 4, 6] ».

- Le tenseur produit par `tf.range` est ensuite divisé par la dimensionnalité (`dim`) des plongements. Cette opération réduit ces indices à une plage comprise entre 0 et 1 (exclusif si « dim » est pair, légèrement inclusif si « dim » est impair, car l'étape de plage saute toutes les autres valeurs). En continuant l'exemple avec `dim` = 8, en divisant par 8, on obtient `[0.0, 0.25, 0.5, 0.75]`.

- L'opération `10000 ** (...)` élève 10 000 à la puissance de chaque élément du tenseur précédemment mis à l'échelle. La base de 10 000 est quelque peu arbitraire, mais elle est choisie pour garantir que les fréquences varient sur une large plage, ce qui aide le modèle à différencier plus efficacement les différentes positions. Pour « [0,0, 0,25, 0,5, 0,75] », cela appliquerait l'opération de puissance à chacun, ce qui entraînerait des valeurs beaucoup plus grandes pour les éléments supérieurs.

- Enfin, la fréquence inverse est obtenue en prenant l'inverse (1/x) des valeurs de l'étape précédente. Les fréquences inverses sont plus petites pour les indices plus élevés, ce qui signifie que les éléments plus loin dans la séquence auront des fréquences plus petites, affectant la façon dont leurs positions sont codées dans le modèle. Cela permet aux intégrations d'évoluer de manière à ce que les positions relatives puissent être déduites via les mécanismes d'attention du modèle.

La ligne:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

utilise la fonction « tf.einsum » de TensorFlow, un outil qui permet une expression concise et efficace des opérations tensorielles à l'aide de la notation de sommation d'Einstein.

Cette opération calcule efficacement le produit externe des vecteurs « t » et « inv_freq », résultant en une matrice où chaque élément « (i, j) » est le produit du « i »-ième élément de « t » et du « j`-ième élément de `inv_freq`. Cette matrice (« freqs ») représente les fréquences utilisées pour générer les modèles sinusoïdaux pour les plongements rotatifs.

#### Étape 2 : Couche Keras personnalisée pour les intégrations rotatives

Créons maintenant une couche Keras personnalisée qui applique des intégrations rotatives au tenseur d'entrée. Cette couche suppose que le tenseur d'entrée est de forme `(batch_size, séquence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

La ligne `embeddings = self.rotary_embeddings[:seq_len]` sélectionne le sous-ensemble approprié d'intégrations rotatives pré-calculées en fonction de la longueur actuelle de la séquence d'entrée. La longueur des séquences pouvant varier d'un lot à l'autre, cette opération de découpage garantit que seuls les plongements correspondant à la longueur réelle de la séquence sont utilisés.

La variable `embeddings` contient désormais un tenseur de forme `(seq_len, embedding_dim)`, où `seq_len` est la longueur des séquences du lot actuel, et `embedding_dim` est la dimensionnalité des intégrations. Ce tenseur contient les plongements positionnels rotatifs pour chaque position de la séquence jusqu'à `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combine les transformations sinusoïdales et cosinusoïdales des fréquences de position en un seul tenseur :

-`tf.cos(freqs)` et `tf.sin(freqs)` appliquent respectivement les transformations cosinus et sinus au tenseur `freqs`. Le tenseur « freqs » contient des valeurs de fréquence pour chaque position dans la séquence d'entrée et chaque dimension de l'espace d'intégration, calculées sur la base des positions de séquence et des fréquences inverses des dimensions d'intégration. Les fonctions sinus et cosinus sont appliquées élément par élément, ce qui donne deux tenseurs de la même forme que les « fréquences ». Ces transformations aident à coder la position d'une manière qui capture la nature cyclique des relations de position, facilitant ainsi la capacité du modèle à comprendre les positions relatives.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatène les tenseurs transformés en cosinus et en sinus le long du dernier axe (noté `axis=-1`). La concaténation de ces tenseurs côte à côte double effectivement la dimensionnalité du tenseur « fréquences », la première moitié représentant les valeurs transformées en cosinus et la seconde moitié représentant les valeurs transformées en sinus pour chaque position. La concaténation garantit que chaque codage de position contient à la fois des informations sinusoïdales et cosinusoïdales, ce qui permet de conserver des informations sur l'amplitude et la phase des signaux de position.

- Le tenseur concaténé `emb` contient désormais les plongements rotatifs complets pour les positions d'entrée. La forme de `emb` sera la même que celle de `freqs` dans ses deux premières dimensions (correspondant aux positions de séquence et aux dimensions d'intégration), mais sa dernière dimension sera deux fois plus grande, représentant à la fois les valeurs sinus et cosinus. Ces intégrations sont utilisées pour moduler les intégrations d'entrée en ajoutant des informations de position de manière équivariante en rotation.

-`cos_emb = incorporations[:, Aucun, :self.dim // 2]` :

1. Le premier deux-points `:` signifie « sélectionner tous les éléments de cette dimension », qui, dans ce cas, fait référence à toutes les positions de la séquence.

2. « Aucun » est utilisé pour ajouter une dimension supplémentaire, rendant le tenseur tridimensionnel. Ceci est souvent fait pour garantir la compatibilité avec certaines opérations qui attendent des entrées d'un nombre spécifique de dimensions. Par exemple, lors d'une multiplication élément par élément avec un autre tenseur tridimensionnel, les formes doivent s'aligner selon les règles de diffusion.

3. `:self.dim // 2`, sélectionne la première moitié des dimensions du dernier axe. Étant donné que la `embedding_dimension` est doublée pour inclure à la fois les valeurs sinus et cosinus, la division par 2 sélectionne effectivement uniquement les composants cosinus des intégrations.

#### Étape 3 : Intégration avec un modèle Keras

Après avoir défini le `RotaryEmbeddingLayer`, vous pouvez l'intégrer dans votre modèle Keras. Ce calque doit être appliqué à vos intégrations avant de les intégrer dans les calques d'attention ou dans tout calque de modèle ultérieur.

Voici un exemple simplifié de la façon d'intégrer les intégrations rotatives dans un modèle :

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER : TRANSFORMATEUR AMÉLIORÉ AVEC ENCASTREMENT DE POSITION ROTATIVE

[Lien Arxiv](https://arxiv.org/abs/2403.13799)

20 mars 2024

## La malédiction d'inversion

Les grands modèles linguistiques (LLM) comme [GPT-4](https://arxiv.org/abs/2303.08774) et [Llama-2](https://arxiv.org/abs/2307.09288) ont démontré des capacités impressionnantes de compréhension et générer un texte de type humain, englobant un vaste éventail de connaissances. Cependant, ils échouent dans une tâche apparemment simple : renverser les faits appris. Cette limitation, appelée « malédiction d'inversion », implique que les LLM ne peuvent pas déduire que « B est une caractéristique de A » en apprenant « A a une caractéristique B », une compétence de raisonnement de base que même les enfants possèdent. Cet article présente la « formation inversée », une nouvelle méthode pour relever ce défi en tirant parti d'une approche de formation à double direction pour améliorer la compréhension des faits par le modèle dans les formats direct et inversé.

## Les origines de la malédiction d'inversion

Le problème vient de l'approche de formation fondamentale des LLM, qui implique généralement un **apprentissage autorégressif de gauche à droite**. Cette méthode n’apprend pas intrinsèquement aux modèles à comprendre ou à générer des informations dans l’ordre inverse. Étant donné la nature de la distribution des données selon la loi de Zipf, de nombreux faits ne sont mentionnés que dans un seul sens, ce qui exacerbe ce problème. La « malédiction du renversement » limite la compréhension des LLM des relations réciproques et de l'équivalence dans les déclarations, marquant une lacune importante dans leurs capacités de raisonnement.

## Surmonter la malédiction d'inversion avec l'entraînement inversé

La solution proposée, Reverse Training, double les données de formation disponibles en incluant à la fois les versions originales et inversées des chaînes de formation. Le processus d'inversion veille à ne pas modifier certaines sous-chaînes, telles que les noms d'entités, en conservant leur séquence d'origine pour préserver le contexte. Cette méthode, semblable à l'introduction d'une deuxième langue à apprendre par le LLM, améliore considérablement la capacité du modèle à traiter et à générer des informations dans les deux sens.

## Test de la méthode d'entraînement inversé

Les auteurs ont mené les expériences suivantes pour tester la méthode proposée :

**1- Tâche inverse symbolique :** Un test en environnement contrôlé démontrant la capacité de la méthode à déduire et à appliquer des relations inversées.

**2- Tâche d'inversion de la biographie :** Utilisation d'un ensemble de données biographiques pour évaluer les performances dans la génération de noms de personnes à partir de détails donnés, à l'envers.

**3- Inversion des connaissances dans le monde réel :** Évaluation de l'efficacité de la méthode dans des scénarios du monde réel, y compris l'inversion des faits sur les célébrités et leurs relations.

**4- Réglage fin des faits fictifs :** Test de la capacité d'apprentissage du modèle sur des faits fictifs nouvellement introduits et inversés.

Au cours de ces expériences, l’entraînement inversé a non seulement atténué la malédiction d’inversion mais, dans certains cas, l’a complètement éliminée. La méthode s'est avérée particulièrement efficace lorsque les noms d'entités ont été conservés dans leur ordre d'origine pendant le processus d'inversion, soulignant l'importance de maintenir certains ancrages contextuels.

## Implications et orientations futures

Le succès de la formation inversée pour lutter contre la malédiction du renversement ouvre de nouvelles voies pour les méthodologies de formation LLM. En améliorant la compréhension des modèles sur les relations réciproques et l'équivalence dans les énoncés, cette approche ouvre la porte à des capacités de raisonnement plus sophistiquées. Des recherches futures pourraient explorer une optimisation plus poussée du processus d'inversion, le potentiel d'intégration de la formation inversée dans d'autres architectures de modèles de langage et des applications plus larges de cette méthode dans les tâches de compréhension et de génération du langage naturel.

---

*Devenez un pro du codage à votre rythme ! Rejoignez le [Bootcamp en ligne à temps partiel] de Code Labs Academy(https://codelabsacademy.com/) et améliorez vos compétences en codage. Adaptez l'apprentissage à votre emploi du temps et commencez votre aventure technologique dès aujourd'hui !*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Formation inversée pour soigner la malédiction d’inversion

[Lien Arxiv](https://arxiv.org/abs/2403.12015)

18 mars 2024

« Synthèse rapide d'images à haute résolution avec distillation par diffusion contradictoire latente » présente une nouvelle approche de distillation connue sous le nom de distillation par diffusion contradictoire latente (LADD). Cette approche est conçue pour répondre aux limites des [modèles de diffusion](https://en.wikipedia.org/wiki/Diffusion_model) existants, en particulier le défi de la vitesse d'inférence lente, qui entrave les applications en temps réel. LADD permet la synthèse d'images haute résolution et multi-aspects en distillant efficacement de grands [modèles de diffusion latente](https://arxiv.org/abs/2112.10752) (LDM), simplifiant considérablement le processus de formation et améliorant les performances par rapport aux méthodes précédentes .

Nous résumerons les principaux points à retenir de cet article.

## Introduction

Les modèles de diffusion sont devenus un outil puissant pour la synthèse et l’édition d’images et de vidéos, offrant des résultats de haute qualité. Cependant, leur nature itérative, nécessitant de nombreuses évaluations de réseau pour transformer le bruit en images cohérentes, a limité leur praticité pour les applications temps réel. Diverses stratégies ont été proposées pour accélérer les modèles de diffusion. LADD introduit une nouvelle stratégie, tirant parti des fonctionnalités génératives des LDM pré-entraînés, permettant une synthèse d'images haute résolution efficace en une fraction des étapes requises par les méthodes traditionnelles.

## Arrière-plan

L'article commence par fournir un aperçu des modèles de diffusion et de leur [distillation](https://en.wikipedia.org/wiki/Knowledge_distillation). Les modèles de diffusion traditionnels fonctionnent en débruitant progressivement une image à travers de nombreuses étapes itératives, ce qui rend le processus lent et coûteux en termes de calcul. Les méthodes de distillation, y compris la [distillation par diffusion adverse](https://arxiv.org/abs/2311.17042) (ADD), ont cherché à rationaliser ce processus en réduisant le nombre d'étapes nécessaires. Cependant, ADD est confronté à des limitations telles qu'une résolution d'entraînement fixe et la nécessité de décoder dans l'espace RVB pour distiller des modèles de diffusion latente, ce qui peut limiter l'entraînement à haute résolution.

## Méthodologie

LADD résout ces problèmes en **distillant directement dans l'espace latent**, **évitant ainsi le besoin de décoder dans l'espace des pixels** et permettant un entraînement à des résolutions plus élevées. Contrairement à ADD, qui repose sur un discriminateur pré-entraîné fonctionnant dans l’espace des pixels, LADD utilise une nouvelle approche dans laquelle le modèle discriminateur et enseignant sont unifiés, opérant directement sur les latents. Cette méthode simplifie non seulement le processus de formation, mais offre également plusieurs avantages, notamment l'efficacité, la capacité de fournir un retour d'information spécifique au niveau de bruit et la capacité de formation au rapport multi-aspect (MAR).

## Expériences et résultats

L'article évalue de manière approfondie LADD à travers diverses expériences, démontrant ses performances supérieures dans la synthèse d'images haute résolution en quelques étapes seulement. Notamment, lorsqu'il est appliqué à [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD aboutit à un modèle baptisé SD3-Turbo, qui atteint une qualité d'image comparable à celle de l'état. générateurs de texte en image de pointe en seulement quatre étapes. Les expériences explorent également l'impact des différentes distributions de bruit des enseignants, l'utilisation de données synthétiques, les approches de distillation latente et le comportement de mise à l'échelle de LADD.

## Comparaison avec l'état de l'art

L'efficacité de LADD est en outre soulignée par une comparaison avec les principales méthodes actuelles de synthèse texte-image et image-image. SD3-Turbo égale non seulement les performances de son modèle enseignant (SD3) en termes de qualité d'image, mais démontre également des améliorations significatives par rapport aux autres références en termes de vitesse d'inférence et d'alignement image-texte.

## Limites et orientations futures

Malgré ses progrès, LADD n’est pas sans limites. Les auteurs notent un compromis entre la capacité du modèle, l'alignement rapide et la vitesse d'inférence, qui pourrait avoir un impact sur la capacité du modèle à gérer certains défis de synthèse texte-image. Les orientations de recherche futures incluent l’exploration plus approfondie de ce compromis et le développement de stratégies visant à améliorer le contrôle sur les points forts du guidage de l’image et du texte.

## Conclusion

« Synthèse rapide d'images à haute résolution avec distillation par diffusion contradictoire latente » introduit une nouvelle approche de la synthèse d'images/vidéos qui accélère considérablement la génération d'images de haute qualité à partir d'invites de texte. En distillant de grands modèles de diffusion dans l'espace latent, LADD ouvre la voie aux applications en temps réel et établit une nouvelle norme en matière d'efficacité et de performances en matière de synthèse d'images.

---

*Code Labs Academy : [Bootcamp de codage en ligne](/) avec des plans de paiement flexibles*

Articles expliqués

Pourquoi retourner au bureau après une pandémie peut nuire à la productivité : le point de vue d'un expert commercial