Particularment a les empreses més grans, hi ha hagut un retorn notable a exigir als treballadors que treballin des de l'oficina després de la pandèmia de la COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), professor associat d'administració d'empreses a la Joseph M. Katz Graduate School of Business de la Universitat de Pittsburgh, i Yuye Ding, un Estudiant de doctorat, ha[investigat aquest patró](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Han analitzat els efectes sociològics i econòmics del treball a distància, així com la iniciativa recent de les empreses de tornar els treballadors a l'oficina, que sovint irrita els treballadors.

Ma sosté en una [entrevista amb Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) que, en un entorn de treball cada cop més digital, fer que els treballadors tornin a l'oficina només serveix per irritar-los i no fa gaire augmentar la productivitat. Tanmateix, admet que quan es fa de manera voluntària i amb el suport de l'equip, el treball en persona pot ser avantatjós i promoure una millor coordinació i treball en equip.

Ma suggereix que les persones d'alt rendiment que hagin demostrat la seva eficàcia quan treballen des de casa se'ls hauria de permetre continuar fent-ho, en lloc de tenir tothom a l'oficina. Creu que mantenint persones brillants que, d'altra manera, podrien buscar feina en un altre lloc, aquesta estratègia en definitiva beneficiarà tant als empresaris com als empleats. Ma també suggereix exercicis periòdics de creació d'equips en persona per mantenir la cultura de l'empresa sòlida, la qual cosa és essencial per a la generació eficient d'idees i la resolució de problemes.

El punt àlgid d'aquesta tendència sembla haver passat, tot i que diverses empreses van requerir que els empleats tornessin a l'oficina després de la pandèmia. Segons les enquestes realitzades el 2024, la majoria dels consellers delegats ja no donen un gran valor a estar a l'oficina. Les empreses van saber que els treballadors podrien ser bastant productius quan treballen a distància durant la pandèmia. Però altres directius encara tenen recels sobre el treball a distància, i per això defenen tornar a l'oficina. La moral dels empleats pot patir com a conseqüència d'aquesta falta de confiança, ja que transmet al personal que els seus directius no creuen en ells.

Malgrat que el teletreball pot reduir les despeses generals i els requisits d'espai, les grans empreses tenen ganes de que els seus treballadors tornin, la qual cosa planteja la possibilitat que el control i el poder estiguin més en joc aquí que el preu. Ma assenyala que moltes empreses van implementar polítiques de retorn a l'oficina en resposta a la caiguda del preu de les accions, utilitzant convenientment el treball remot com a boc expiatori pràctic per a un mal rendiment.

Malgrat que encara hi ha una gran demanda de treball remot (molts espais d'oficines a les grans ciutats com Nova York, San Francisco i Alemanya estan vacants), els directius continuen opinant que tenir treballadors en persona millorarà la cooperació i la cultura empresarial. Però en lloc de treballar junts amb els companys de feina, molts treballadors que han tornat a l'oficina diuen que passen la major part del temps treballant sols als seus ordinadors. La ineficàcia d'aquests mandats es posa en dubte per la manca d'una distinció perceptible entre el treball d'oficina i el treball a distància, així com la frustració que experimenten els empleats quan es veuen obligats a tornar.

Els treballadors estan acostumats a l'augment de la productivitat i als beneficis d'una conciliació de la vida laboral i familiar que comporta el treball a distància, com ara la capacitat d'integrar millor la vida laboral i familiar i evitar els desplaçaments llargs. La insatisfacció resulta de la interrupció d'aquests acords per un retorn forçós a l'oficina. A més, hi ha la percepció que la falta de feina podria impedir el creixement professional.

Al final, la Ma pensa que si els treballadors es veuen obligats a tornar al lloc de treball de manera permanent, molts d'ells començarien a buscar altres professions, i les que es queden podrien estar menys motivades. Les oficines a casa segueixen sent habituals perquè proporcionen un millor equilibri entre la vida laboral i la vida familiar i uns índexs més baixos d'esgotament, malgrat els seus inconvenients. No hi ha cap diferència de productivitat perceptible entre treballar a distància i en una oficina, i treballar des de casa pot ser tan alienant com les distraccions de les oficines de planta oberta on els empleats sovint porten auriculars per concentrar-se. Ma aconsella que els equips triïn quants dies volen treballar a l'oficina i deixen la resta del temps flexible perquè els empleats puguin triar el seu entorn de treball preferit, tot i que els contactes humans poden ser beneficiosos per a les empreses.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Per què tornar a l'oficina després de la pandèmia pot perjudicar la productivitat: informació d'un expert empresarial

[Google AI](https://ai.google/) ha introduït recentment una nova funció anomenada "Revisió" a Gboard, la popular aplicació de teclat mòbil. Amb un sol toc, aquesta funció permet modificacions i correccions sense problemes als nivells de frase i paràgraf, millorant l'experiència d'escriptura general.

## Abordant el problema del "dit gros".

[Gboard](https://support.google.com/gboard/?hl=en) utilitza la descodificació estadística com a mitjà per abordar el problema del "dit gros", que és la inexactitud natural de l'entrada tàctil a les pantalles petites. La investigació mostra que la taxa d'error per lletra pot arribar al 8 al 9 per cent sense descodificar. Gboard inclou diverses funcions de correcció d'errors per fer que l'escriptura sigui més fàcil i fluida. Aquestes funcions combinen tasques manuals que impliquen intervencions humanes amb correccions proactives i automatitzades.

## Eines integrals de correcció d'errors

L'escriptura es facilita col·lectivament gràcies a les funcions de Gboard, que inclouen l'acabament de paraules, les prediccions de la paraula següent, la correcció automàtica activa (AC) i la correcció de tecles activa (KC). Aquestes eines inclouen composició intel·ligent, correcció d'errors i candidats de diverses paraules a la barra de suggeriments o en línia. La postcorrecció (PC) també facilita la rectificació d'errors en paraules que ja s'han comès. Malgrat aquestes característiques, dues restriccions clau perjudiquen l'experiència de l'usuari.

1. Tot i que els models de correcció al dispositiu, com ara KC, AC i PC, són ràpids i compactes, tenen dificultats per gestionar errors sofisticats i complexos que necessiten contextos més llargs. Per evitar que aquests models s'activin, els usuaris han d'escriure lentament i amb precisió.

2. La velocitat d'escriptura disminueix perquè els usuaris han de corregir manualment les paraules compromeses mitjançant correctors gramaticals i ortogràfics, que poden resultar pesants mentalment i visualment.

## La necessitat d'una correcció d'errors d'alt nivell

Els que escriuen ràpidament sovint ignoren les paraules que ja han escrit i es concentren només en el teclat. D'això poden derivar-se taxes d'error més altes, la qual cosa requereix l'ús d'oracions o mecanismes de correcció de nivell superior.

## Presentació de la correcció

Proofread resol aquestes queixes freqüents oferint notables augments de productivitat. Facilita la correcció d'errors proporcionant correccions a nivell de frase i paràgraf amb un sol toc.

## La tecnologia darrere de la correcció

La funció de correcció està formada per quatre components principals: producció de dades, disseny de mètriques, retoc de models i servei de models. En conjunt, tots aquests components garanteixen l'eficàcia. Per garantir que la distribució de dades s'ajusti al domini Gboard, el sistema imita els errors freqüents del teclat mitjançant una arquitectura sintètica d'errors construïda de manera precisa i metòdica.

## Mètriques avançades i optimització de models

Per avaluar el model, els investigadors han incorporat una sèrie de mètriques, amb un èmfasi particular en les comprovacions de presència d'errors gramaticals i comprovacions de significats similars derivades dels grans models de llenguatge (LLM). A la tècnica InstructGPT s'utilitzen l'afinació supervisada i l'afinació de l'aprenentatge per reforç (RL) per millorar el model. El rendiment de correcció del model es millora molt amb aquest procediment.

## Desplegament i rendiment

Utilitzant la quantificació de 8 bits, el LLM PaLM2-XS de mida mitjana està dissenyat per adaptar-se a una única TPU v5 i serveix com a base per a la funció de correcció de proves. L'optimització redueix el cost del servei. Investigacions prèvies han demostrat que la segmentació, la descodificació especulativa i les claus de cub poden reduir la latència.

## Impacte al món real

Desenes de milers d'usuaris de Pixel 8 es beneficiaran de les edicions d'alta qualitat que ofereix la funció de correcció de proves, que ja està disponible. Una generació exhaustiva de dades sintètiques i diverses iteracions d'ajustaments han produït un model que redueix substancialment els errors gramaticals, tal com s'observa per una disminució relativa del 5,74 per cent de la relació Bad del model PaLM2-XS. A més, les optimitzacions han donat lloc a una disminució del 39,4% de la latència mitjana.

## Perspectives de futur

[Aquest estudi](https://arxiv.org/abs/2406.04523) demostra com els LLM poden millorar l'experiència de l'usuari i crear possibilitats intrigants per a una investigació posterior. L'ús de dades d'usuari real, el suport multilingüe, l'assistència d'escriptura a mida i les solucions de privadesa del dispositiu són alguns exemples d'àrees que podrien portar a nous avenços en el sector.

La intel·ligència artificial de Google està ampliant les possibilitats de la tecnologia del teclat mòbil amb la introducció de la funció de correcció, millorant l'escriptura per a persones de tot el món.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI presenta 'Correcció': funció de Gboard per corregir frases i paràgrafs sense esforç

Les xarxes neuronals profundes (DNN) modernes són intrínsecament opaques, cosa que dificulta la comprensió dels seus processos de presa de decisions. Aquesta manca de transparència interfereix amb la implementació àmplia de tècniques d'aprenentatge automàtic en diversos dominis. En resposta, ha aparegut Explainable AI (XAI) amb la intenció de millorar la comprensió humana dels judicis de DNN. En analitzar el propòsit funcional de cada component, XAI ara també se centra a entendre el comportament global dels DNN, en contrast amb els mètodes d'explicació locals que utilitzen mapes de rellevància per explicar prediccions individuals.

La interpretabilitat mecanicista és una tècnica d'explicabilitat global que se centra a identificar les idees particulars que les neurones, les unitats informàtiques fonamentals d'una xarxa neuronal, han adquirit la capacitat d'entendre. Podem explicar el funcionament de les representacions latents d'una xarxa etiquetant les neurones amb descripcions que siguin comprensibles per als humans. Aquestes descripcions han avançat d'etiquetes simples a explicacions elaborades, compositives i de vocabulari obert. No obstant això, la manca de mètriques quantitatives estandarditzades per avaluar aquestes descripcions de vocabulari obert ha dificultat les comparacions exhaustives entre diversos enfocaments.

Per abordar aquesta bretxa, investigadors d'ATB Potsdam, Universitat de Potsdam, TU Berlín, Fraunhofer Heinrich-Hertz-Institut i BIFOLD introdueixen [CoSy](https://arxiv.org/abs/2405.20331), un marc d'avaluació quantitativa pioner per a avaluar l'ús d'explicacions de vocabulari obert en models de visió per computador (CV). Aquest mètode innovador fa ús dels desenvolupaments en IA generativa per produir imatges artificials que es correlacionen amb descripcions textuals basades en conceptes. Cozy elimina la necessitat d'interacció humana facilitant les comparacions quantitatives de diferents enfocaments d'explicació textual basats en conceptes mitjançant la síntesi de punts de dades comuns per a explicacions objectiu concretes.

L'equip d'investigació va demostrar mitjançant una àmplia metaanàlisi que acollidor ofereix avaluacions fiables de les explicacions. L'estudi va descobrir que els mètodes d'explicació textual basats en conceptes funcionen millor a les capes superiors de les xarxes neuronals, on s'aprenen conceptes d'alt nivell. Les explicacions de neurones d'alta qualitat es produeixen mitjançant mètodes com INVERT, que crea visuals a partir de representacions de xarxes neuronals, i CLIP-Dissect, que examina representacions de xarxes internes. Per contra, tècniques com MILAN i FALCON produeixen explicacions de qualitat inferior, proporcionant ocasionalment conceptes gairebé aleatoris, que poden donar lloc a conclusions de xarxa inexactes.

Un inconvenient important de CoSy, tal com reconeixen els investigadors, és que les categories específiques de les dades d'entrenament potser no s'han inclòs en el model generatiu, la qual cosa condueix a explicacions massa generals o ambigües, com ara "objectes blancs". La precisió generativa es podria augmentar abordant aquest problema examinant els conjunts de dades previs a la formació i el rendiment del model. Tot i així, cozy presenta molt potencial en el camp encara en desenvolupament de l'avaluació de tècniques d'explicació no locals.

De cara al futur, l'equip té esperança amb les aplicacions potencials de CoSy en diversos camps. Per avaluar la plausibilitat o la qualitat d'una explicació pel que fa al resultat d'una tasca posterior, el judici humà s'ha d'incloure en la definició de qualitat de l'explicació, que volen abordar en el treball futur. A més, volen incloure camps addicionals com el processament del llenguatge natural i l'assistència sanitària al seu sistema d'avaluació. L'ús potencial de cozy per avaluar models de llenguatge autointerpretables (LLM) grans, opacs és especialment emocionant. Segons els investigadors, l'aplicació de Cozy als conjunts de dades sanitaris, on la qualitat de l'explicació és important, podria ser un gran pas endavant. Aquestes aplicacions futures potencials de cozy tenen un enorme potencial per avançar en la investigació de la IA.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Comprensió de les xarxes neuronals: marc quantitatiu de CoSy per a l'avaluació d'explicacions textuals

[Els models basats en transformadors](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) són famosos per la seva capacitat per analitzar i interpretar textos complexos. Es basen en la comprensió de l'ordre i el context de les paraules, tasques en què els mètodes tradicionals de codificació posicional han mostrat els seus límits. Per abordar aquesta bretxa, el model ROFORMER, impulsat per l'**Rotary Position Embedding (RoPE)**, redefineix el nostre enfocament de la codificació posicional.

## Codificació posicional tradicional

Els transformadors tracten el text com una sèrie de fitxes i permeten el **processament paral·lel de seqüències** per a una major eficiència. No obstant això, aquesta força va comportar el seu repte: l'**agnosticisme inherent del model a l'ordre simbòlic**. **Codificació posicional** va ser la resposta, **proporcionant a cada testimoni una signatura única que denota la seva posició de seqüència**.

### Incrustacions de posició absoluta

Inicialment, models com BERT utilitzaven **incrustacions de posició absoluta, assignant un vector fix a cada posició en una seqüència**. Aquest mètode, tot i que senzill, inherentment **no té la capacitat d'adaptar-se a les variacions de la longitud de la seqüència, o d'emfatitzar les distàncies relatives entre fitxes**, fonamental per entendre molts constructes lingüístics.

### Incrustacions de posició relativa

Per capturar la naturalesa dinàmica del llenguatge, es van introduir incrustacions de posició relativa, centrant-se en la distància entre fitxes en lloc de les seves posicions absolutes. Malgrat el seu avantatge conceptual, aquestes integracions van introduir **complexitat computacional i no es van integrar perfectament en el mecanisme d'autoatenció de Transformers**, limitant la seva eficàcia.

## ROFORMER i incrustació de posicions rotatives

Reconeixent les limitacions de les estratègies de codificació posicional existents, ROFORMER introdueix Rotary Position Embedding (RoPE), un enfocament que combina els avantatges de la informació de posició absoluta i relativa sense els seus respectius inconvenients.

### Incrustació de posició rotativa

RoPE codifica la informació de posició mitjançant **matrius de rotació**, cosa que permet al model entendre no només on és un testimoni, sinó com es relaciona amb tots els altres testimonis d'una seqüència.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Funciona a través d'una lent geomètrica, tractant les posicions de fitxes com a punts en un espai multidimensional que es giren per marcar les seves relacions seqüencials. Aquesta rotació permet al model preservar i explotar indicis posicionals absoluts i relatius dins del seu mecanisme d'autoatenció.

### Implementació de RoPE

La implementació de RoPE implica codificar la posició de cada testimoni en una matriu de rotació i aplicar aquesta matriu dins del mecanisme d'autoatenció del transformador. Aquest procés permet una interpretació flexible i dinàmica de la informació posicional, adaptant-se a longituds de seqüències variables i capturant l'essència de les interrelacions de testimonis sense una sobrecàrrega computacional significativa.

Primer, necessitareu una funció per generar les incrustacions rotatives i, a continuació, integrareu aquestes incrustacions al vostre model. L'exemple següent suposa que esteu familiaritzat amb la creació de capes personalitzades a Keras.

#### Pas 1: Definiu la funció d'inserció rotativa

Aquesta funció genera les incrustacions rotatives donada la longitud màxima de la seqüència i la dimensionalitat de les incrustacions.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Aquesta línia calcula la inversa de les freqüències escalades exponencialment en funció dels índexs de posició. Aquestes freqüències s'utilitzen per generar patrons sinusoïdals per a incrustacions rotatives, cosa que ajuda a codificar la informació de posició relativa en seqüències. Aquest mecanisme és especialment útil en tasques on la comprensió de l'ordre i el posicionament relatiu dels elements és crucial, com ara el processament del llenguatge natural o l'anàlisi de sèries temporals.

En detalls:

- `tf.range(0, dim, 2, dtype=tf.float32)` crea un rang de valors des de 0 fins a `dim` (exclusiu), avançant en 2. L'argument `dtype=tf.float32` especifica que els elements d'aquest tensor són nombres de coma flotant de 32 bits. Si "dim" és 8, per exemple, això produiria "[0, 2, 4, 6]".

- El tensor produït per `tf.range` es divideix llavors per la dimensionalitat (`dim`) de les incrustacions. Aquesta operació redueix aquests índexs a un rang entre 0 i 1 (exclusiu si `dim` és parell, lleugerament inclòs si `dim` és senar, perquè el pas d'interval salta tots els altres valors). Continuant amb l'exemple amb `dim` = 8, dividint per 8 s'obté `[0,0, 0,25, 0,5, 0,75]`.

- L'operació `10000 ** (...)` eleva 10.000 a la potència de cada element del tensor escalat anteriorment. La base de 10.000 és una mica arbitrària, però s'escull per garantir que les freqüències varien en un ampli rang, la qual cosa ajuda el model a diferenciar les diferents posicions de manera més eficaç. Per a `[0,0, 0,25, 0,5, 0,75]`, aplicaria l'operació de potència a cadascun, donant lloc a valors molt més grans per als elements superiors.

- Finalment, la freqüència inversa s'obté prenent la recíproca (1/x) dels valors del pas anterior. Les freqüències inverses són més petites per als índexs més alts, és a dir, els elements més enllà de la seqüència tindran freqüències més petites, afectant com es codifiquen les seves posicions al model. Això permet que les incrustacions s'escalin de manera que es puguin inferir posicions relatives mitjançant els mecanismes d'atenció del model.

La línia:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

utilitza la funció `tf.einsum` de TensorFlow, una eina que permet l'expressió concisa i eficient de les operacions de tensor mitjançant la notació de suma d'Einstein.

Aquesta operació calcula eficaçment el producte exterior dels vectors `t` i `inv_freq`, donant com a resultat una matriu on cada element `(i, j)` és el producte de l'element `i`-è de `t` i el ` j`-èm element de `inv_freq`. Aquesta matriu ('freqs') representa les freqüències que s'utilitzen per generar els patrons sinusoïdals per a les incrustacions rotatives.

#### Pas 2: Capa Keras personalitzada per a incrustacions rotatives

Ara, creem una capa Keras personalitzada que aplique incrustacions rotatives al tensor d'entrada. Aquesta capa suposa que el tensor d'entrada té la forma `(batch_size, sequence_length, embedding_dim)'.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

La línia `embeddings = self.rotary_embeddings[:seq_len]` selecciona el subconjunt adequat d'embeddings rotatius precalculats en funció de la longitud de la seqüència d'entrada actual. Atès que la longitud de les seqüències pot variar d'un lot a un altre, aquesta operació de tall garanteix que només s'utilitzen les incrustacions corresponents a la longitud real de la seqüència.

La variable `embeddings` ara conté un tensor de forma `(seq_len, embedding_dim)`, on `seq_len` és la longitud de les seqüències del lot actual, i `embedding_dim` és la dimensionalitat de les incrustacions. Aquest tensor conté les incrustacions posicionals rotatives per a cada posició de la seqüència fins a `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combina transformacions sinus i cosinus de freqüències posicionals en un sol tensor:

-`tf.cos(freqs)` i `tf.sin(freqs)` apliquen les transformacions cosinus i sinus, respectivament, al tensor `freqs`. El tensor "freqüències" conté valors de freqüència per a cada posició de la seqüència d'entrada i cada dimensió de l'espai d'incrustació, calculats a partir de les posicions de la seqüència i de les freqüències inverses de les dimensions d'incrustació. Les funcions sinus i cosinus s'apliquen per elements, donant com a resultat dos tensors de la mateixa forma que `freqs`. Aquestes transformacions ajuden a codificar la posició d'una manera que captura la naturalesa cíclica de les relacions posicionals, facilitant la capacitat del model d'entendre les posicions relatives.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatena els tensors transformats cosinus i sinus al llarg de l'últim eix (indicat per `axis=-1`). La concatenació d'aquests tensors un al costat de l'altre duplica efectivament la dimensionalitat del tensor "freqs", amb la primera meitat que representa valors transformats en cosinus i la segona meitat representants valors transformats en sinus per a cada posició. La concatenació garanteix que cada codificació posicional contingui informació tant de sinus com de cosinus, la qual cosa permet conservar la informació tant sobre l'amplitud com la fase dels senyals posicionals.

- El tensor concatenat `emb` ara conté les incrustacions rotatives completes per a les posicions d'entrada. La forma de "emb" serà la mateixa que "freqs" en les seves dues primeres dimensions (corresponent a les posicions de la seqüència i les dimensions d'incrustació), però la seva darrera dimensió serà el doble de gran, tenint en compte tant els valors del sinus com del cosinus. Aquestes incrustacions s'utilitzen per modular les incrustacions d'entrada afegint informació posicional d'una manera equivariant rotacionalment.

-`cos_emb = incrustacions[:, Cap, :self.dim // 2]`:

1. El primer dos punts `:` significa "selecciona tots els elements d'aquesta dimensió", que, en aquest cas, es refereix a totes les posicions de la seqüència.

2. "Cap" s'utilitza per afegir una dimensió addicional, fent que el tensor sigui tridimensional. Això es fa sovint per garantir la compatibilitat amb determinades operacions que esperen entrades d'un nombre específic de dimensions. Per exemple, quan es realitza la multiplicació d'elements amb un altre tensor que és tridimensional, les formes s'han d'alinear segons les regles de difusió.

3. `:self.dim // 2`, selecciona la primera meitat de les dimensions a l'últim eix. Atès que la `embedding_dimension` es duplica per incloure els valors tant del sinus com del cosinus, dividir per 2 selecciona efectivament només els components del cosinus de les incrustacions.

#### Pas 3: Integració amb un model Keras

Després de definir el "RotaryEmbeddingLayer", podeu integrar-lo al vostre model Keras. Aquesta capa s'ha d'aplicar a les incrustacions abans d'introduir-les en capes d'atenció o capes de model posteriors.

Aquí teniu un exemple simplificat de com integrar les incrustacions rotatives en un model:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: transformador millorat amb incrustació de posició rotativa

[Enllaç Arxiv](https://arxiv.org/abs/2403.13799)

20 de març de 2024

## La maledicció de la reversió

Els grans models de llenguatge (LLM) com [GPT-4](https://arxiv.org/abs/2303.08774) i [Llama-2](https://arxiv.org/abs/2307.09288) han demostrat unes habilitats impressionants en la comprensió. i generar text semblant a l'ésser humà, que abasta una àmplia gamma de coneixements. No obstant això, fracassen en una tasca aparentment senzilla: revertir fets après. Aquesta limitació, anomenada "Reversal Curse", implica que els LLM no poden deduir que "B és una característica d'A" a partir d'aprendre "A té una característica B", una habilitat bàsica de raonament que fins i tot els nens posseeixen. Aquest article presenta "Reverse Training", un mètode nou per abordar aquest repte aprofitant un enfocament d'entrenament de doble direcció per millorar la comprensió dels fets del model en formats directes i inversos.

## Els orígens de la maledicció de la reversió

El problema sorgeix de l'enfocament de formació fonamental dels LLM, que normalment implica un **aprenentatge autoregressiu, d'esquerra a dreta**. Aquest mètode no ensenya de manera inherent als models a comprendre o generar informació en ordre invers. Donada la naturalesa de la distribució de dades seguint la llei de Zipf, molts fets només s'esmenten en una direcció, agreujant aquest problema. La "maledicció inversa" limita la comprensió dels LLM de les relacions recíproques i l'equivalència en les declaracions, marcant una deficiència important en les seves capacitats de raonament.

## Superant la maledicció inversa amb l'entrenament invers

La solució proposada, Reverse Training, duplica les dades d'entrenament disponibles mitjançant la inclusió de versions tant originals com invertides de les cadenes d'entrenament. El procés de reversió té cura de no alterar determinades subcadenes, com ara els noms d'entitats, mantenint la seva seqüència original per preservar el context. Aquest mètode, semblant a la introducció d'una segona llengua perquè el LLM aprengui, millora significativament la capacitat del model per processar i generar informació en ambdues direccions.

## Prova el mètode d'entrenament invers

Els autors van realitzar els següents experiments per provar el mètode proposat:

**1- Tasca inversa simbòlica:** Una prova d'entorn controlat que demostra la capacitat del mètode per inferir i aplicar relacions invertides.

**2- Tasca de revertir la biografia:** Ús d'un conjunt de dades de biografia per avaluar el rendiment en la generació de noms de persones a partir de detalls donats, a la inversa.

**3- Inversió del coneixement del món real:** Avaluació de l'efectivitat del mètode en escenaris del món real, inclosa la inversió de fets sobre celebritats i les seves relacions.

**4- Ajustament de fets ficticis:** prova de la capacitat d'aprenentatge del model amb fets ficticis invertits recentment introduïts.

En aquests experiments, l'entrenament invers no només va mitigar la maledicció inversa sinó que, en alguns casos, la va eliminar completament. El mètode va resultar especialment eficaç quan els noms d'entitats es van conservar en el seu ordre original durant el procés de reversió, destacant la importància de mantenir certs ancoratges contextuals.

## Implicacions i orientacions futures

L'èxit de la formació inversa per abordar la maledicció inversa obre noves vies per a les metodologies de formació de LLM. En millorar la comprensió dels models de les relacions recíproques i l'equivalència en les declaracions, aquest enfocament obre la porta a capacitats de raonament més sofisticades. Les investigacions futures poden explorar una millor optimització del procés de reversió, el potencial d'integrar l'entrenament invers en altres arquitectures de models lingüístics i aplicacions més àmplies d'aquest mètode en tasques de comprensió i generació del llenguatge natural.

---

*Converteix-te en un professional de la codificació al teu ritme! Uneix-te al [camp d'arrencada en línia a temps parcial] de Code Labs Academy (https://codelabsacademy.com/) i millora les habilitats en codificació. Adapta l'aprenentatge al teu horari i comença el teu viatge cap a la tecnologia avui!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Entrenament invers per cuidar la maledicció inversa

[Enllaç Arxiv](https://arxiv.org/abs/2403.12015)

18 de març de 2024

"Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation" presenta un nou enfocament de destil·lació conegut com a Latent Adversarial Diffusion Distillation (LADD). Aquest enfocament està dissenyat per abordar les limitacions dels [models de difusió] existents (https://en.wikipedia.org/wiki/Diffusion_model), especialment el repte de la velocitat d'inferència lenta, que dificulta les aplicacions en temps real. LADD permet la síntesi d'imatges d'alta resolució i amb relació d'aspectes múltiples mitjançant la destil·lació eficient de grans [models de difusió latent](https://arxiv.org/abs/2112.10752) (LDM), simplificant significativament el procés d'entrenament i millorant el rendiment en comparació amb mètodes anteriors. .

Resumirem els punts clau d'aquest article.

## Introducció

Els models de difusió han sorgit com una potent eina per a la síntesi i l'edició d'imatges i vídeos, oferint resultats d'alta qualitat. Tanmateix, la seva naturalesa iterativa, que requereix nombroses avaluacions de xarxa per transformar el soroll en imatges coherents, ha limitat la seva pràctica per a aplicacions en temps real. S'han proposat diverses estratègies per accelerar els models de difusió. LADD introdueix una nova estratègia, aprofitant les característiques generatives de LDM preentrenats, permetent una síntesi eficient d'imatges d'alta resolució en una fracció dels passos requerits pels mètodes tradicionals.

## Fons

El document comença proporcionant una visió general dels models de difusió i la seva [destil·lació](https://en.wikipedia.org/wiki/Knowledge_distillation). Els models de difusió tradicionals funcionen eliminant gradualment una imatge a través de molts passos iteratius, fent que el procés sigui lent i costós computacionalment. Els mètodes de destil·lació, inclosa la [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), han intentat racionalitzar aquest procés reduint el nombre de passos necessaris. Tanmateix, ADD s'enfronta a limitacions com ara una resolució d'entrenament fixa i la necessitat de descodificar a l'espai RGB per destil·lar models de difusió latent, que poden limitar l'entrenament d'alta resolució.

## Metodologia

LADD aborda aquests problemes **destil·lant directament a l'espai latent**, **evitant així la necessitat de descodificar a l'espai de píxels** i permetent l'entrenament a resolucions més altes. A diferència de l'ADD, que es basa en un discriminador preentrenat que funciona a l'espai de píxels, LADD utilitza un enfocament nou on el discriminador i el model del professor s'unifiquen, operant directament sobre latents. Aquest mètode no només simplifica el procés d'entrenament, sinó que també ofereix diversos avantatges, com ara l'eficiència, la capacitat de proporcionar retroalimentació específica del nivell de soroll i la capacitat d'entrenament de la relació d'aspectes múltiples (MAR).

## Experiments i resultats

El document avalua àmpliament LADD mitjançant diversos experiments, demostrant el seu rendiment superior en sintetitzar imatges d'alta resolució amb només uns quants passos. En particular, quan s'aplica a [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD dóna com a resultat un model anomenat SD3-Turbo, que aconsegueix una qualitat d'imatge comparable a l'estat- generadors de text a imatge d'última generació en només quatre passos. Els experiments també exploren l'impacte de diferents distribucions de soroll dels professors, l'ús de dades sintètiques, els enfocaments de destil·lació latent i el comportament d'escala de LADD.

## Comparació amb l'estat de la tècnica

L'eficàcia de LADD es subratlla encara més mitjançant una comparació amb els mètodes líders actuals en síntesi text a imatge i imatge a imatge. SD3-Turbo no només coincideix amb el rendiment del seu model de professor (SD3) en qualitat d'imatge, sinó que també demostra millores significatives respecte a altres línies de base en termes de velocitat d'inferència i alineació imatge-text.

## Limitacions i orientacions futures

Malgrat els seus avenços, LADD no està exempt de limitacions. Els autors observen una compensació entre la capacitat del model, l'alineació ràpida i la velocitat d'inferència, que podria afectar la capacitat del model per gestionar certs reptes de síntesi de text a imatge. Les futures direccions de recerca inclouen explorar aquesta compensació més profundament i desenvolupar estratègies per millorar el control sobre els punts forts de la guia d'imatge i text.

## Conclusió

"Síntesi ràpida d'imatges d'alta resolució amb destil·lació de difusió adversa latent" introdueix un nou enfocament a la síntesi d'imatge/vídeo que accelera significativament la generació d'imatges d'alta qualitat a partir de les indicacions de text. Mitjançant la destil·lació de grans models de difusió a l'espai latent, LADD obre el camí per a aplicacions en temps real i estableix un nou estàndard d'eficiència i rendiment en la síntesi d'imatges.

---

*Code Labs Academy: [camp d'inici de codificació en línia](/) amb plans de pagament flexibles*

Papers explicats

Per què tornar a l'oficina després de la pandèmia pot perjudicar la productivitat: informació d'un expert empresarial