Soprattutto nelle aziende più grandi, a seguito della pandemia di COVID-19 si è registrato un notevole ritorno alla richiesta ai lavoratori di lavorare dall’ufficio. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), professore associato di amministrazione aziendale presso la Joseph M. Katz Graduate School of Business dell'Università di Pittsburgh, e Yuye Ding, un Studente di dottorato, ho [investigato questo modello](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Hanno esaminato gli effetti sociologici ed economici del lavoro a distanza, nonché la recente iniziativa delle aziende per riportare i lavoratori in ufficio, cosa che spesso irrita i lavoratori.

Ma sostiene in una [intervista con Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) che, in un In un ambiente di lavoro sempre più digitale, far tornare i lavoratori in ufficio serve semplicemente a irritarli e fa ben poco per aumentare la produttività. Ammette, tuttavia, che, se svolto volontariamente e con il supporto del team, il lavoro di persona può essere vantaggioso e promuovere un migliore coordinamento e lavoro di squadra.

Ma suggerisce che alle persone ad alte prestazioni che hanno dimostrato la loro efficacia lavorando da casa dovrebbe essere consentito di continuare a farlo, piuttosto che avere tutti in ufficio. Ritiene che, trattenendo individui brillanti che altrimenti potrebbero cercare lavoro altrove, questa strategia alla fine andrà a vantaggio sia dei datori di lavoro che dei dipendenti. Ma suggerisce anche regolari esercizi di team building di persona per mantenere solida la cultura aziendale, che è essenziale per un'efficiente generazione di idee e risoluzione dei problemi.

Il culmine di questa tendenza sembra essere superato, anche se diverse aziende hanno richiesto ai dipendenti di tornare in ufficio dopo la pandemia. Secondo sondaggi condotti nel 2024, la maggior parte dei CEO non attribuisce più un valore elevato alla presenza in ufficio. Le aziende hanno imparato che i lavoratori potrebbero essere piuttosto produttivi quando lavorano in remoto durante la pandemia. Ma altri manager nutrono ancora dubbi sul lavoro da remoto, motivo per cui sostengono il ritorno in ufficio. Il morale dei dipendenti può soffrire a causa di questa mancanza di fiducia poiché trasmette ai membri del personale che i loro manager non credono in loro.

Nonostante il fatto che il telelavoro possa ridurre le spese generali e le esigenze di spazio, le grandi aziende sono ansiose di riavere i propri dipendenti, il che aumenta la possibilità che controllo e potere siano più in gioco del prezzo. Ma sottolinea che molte aziende hanno implementato politiche di ritorno in ufficio in risposta al calo dei prezzi delle azioni, utilizzando opportunamente il lavoro a distanza come pratico capro espiatorio per le scarse prestazioni.

Nonostante la domanda di lavoro a distanza sia ancora elevata – molti uffici nelle principali città come New York, San Francisco e la Germania sono vacanti – i manager continuano a ritenere che avere lavoratori di persona migliorerà la cooperazione e la cultura aziendale. Ma invece di lavorare insieme ai colleghi, molti lavoratori che sono tornati in ufficio affermano di trascorrere la maggior parte del tempo lavorando da soli al computer. L’inefficacia di tali mandati è messa in dubbio dalla mancanza di una distinzione evidente tra lavoro d’ufficio e lavoro a distanza, nonché dalla frustrazione che i dipendenti provano quando sono costretti a tornare.

I lavoratori sono abituati all’aumento della produttività e ai vantaggi dell’equilibrio tra lavoro e vita privata che derivano dal lavoro da remoto, come la capacità di integrare meglio lavoro e vita familiare ed evitare lunghi spostamenti. L'insoddisfazione deriva dal fatto che questi accordi vengono interrotti da un ritorno forzato in ufficio. Inoltre, c'è la percezione che il lavoro assente possa ostacolare la crescita professionale.

Alla fine, Ma ritiene che se i lavoratori fossero costretti a tornare sul posto di lavoro in modo permanente, molti di loro inizierebbero a cercare altre professioni, e quelli che restano potrebbero diventare meno motivati. Gli uffici domestici sono ancora comuni perché garantiscono un migliore equilibrio tra lavoro e vita privata e minori tassi di burnout, nonostante i loro inconvenienti. Non esiste alcuna differenza di produttività percepibile tra il lavoro da remoto e quello in ufficio, e lavorare da casa può essere altrettanto alienante quanto le distrazioni degli uffici open space dove i dipendenti spesso indossano le cuffie per concentrarsi. Ma consiglia ai team di scegliere quanti giorni desiderano lavorare in ufficio e di lasciare il resto del tempo flessibile in modo che i dipendenti possano scegliere il loro ambiente di lavoro preferito, anche se i contatti umani possono essere vantaggiosi per le aziende.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Perché tornare in ufficio dopo la pandemia può danneggiare la produttività: approfondimenti di un esperto aziendale

[Google AI](https://ai.google/) ha recentemente introdotto una nuova funzionalità chiamata "Proofread" in Gboard, la popolare applicazione per tastiera mobile. Con un solo tocco, questa funzione consente modifiche e correzioni continue a livello di frase e paragrafo, migliorando l'esperienza di digitazione complessiva.

## Affrontare il problema del "dito grasso".

[Gboard](https://support.google.com/gboard/?hl=en) utilizza la decodifica statistica come mezzo per affrontare il problema del "dito grasso", ovvero la naturale imprecisione dell'input tattile su schermi di piccole dimensioni. La ricerca mostra che il tasso di errore per lettera può raggiungere l'8-9% senza decodifica. Gboard è dotato di diverse funzionalità di correzione degli errori per rendere la digitazione più semplice e fluida. Queste funzionalità combinano attività manuali che coinvolgono input umani con correzioni proattive e automatizzate.

## Strumenti completi per la correzione degli errori

La digitazione è resa più semplice collettivamente dalle funzionalità di Gboard, che includono il completamento delle parole, la previsione della parola successiva, la correzione automatica attiva (AC) e la correzione della chiave attiva (KC). Questi strumenti includono composizione intelligente, correzione degli errori e candidati composti da più parole nella barra dei suggerimenti o in linea. La post-correzione (PC) facilita anche la rettifica di errori in parole già commesse. Nonostante queste funzionalità, due restrizioni chiave compromettono l'esperienza dell'utente.

1. Sebbene i modelli di correzione sul dispositivo come KC, AC e PC siano veloci e compatti, hanno difficoltà a gestire errori sofisticati e complessi che richiedono contesti più lunghi. Per evitare che questi modelli vengano attivati, gli utenti devono digitare lentamente e con precisione.

2. La velocità di digitazione diminuisce a causa del fatto che gli utenti devono correggere manualmente le parole memorizzate utilizzando i correttori grammaticali e ortografici, il che può essere faticoso sia dal punto di vista mentale che visivo.

## La necessità di una correzione degli errori di alto livello

Chi scrive velocemente spesso trascura le parole che ha già digitato e si concentra solo sulla tastiera. Da ciò possono derivare tassi di errore più elevati, che richiedono l’uso di meccanismi di frase o di correzione di livello superiore.

## Presentazione di Proofread

Proofread risolve questi frequenti reclami offrendo notevoli aumenti di produttività. Semplifica la correzione degli errori fornendo correzioni a livello di frase e paragrafo con un solo tocco.

## La tecnologia dietro la correzione di bozze

La funzionalità Proofread è composta da quattro componenti principali: produzione di dati, progettazione di metriche, modifica del modello e pubblicazione del modello. Insieme, tutti questi componenti garantiscono l’efficacia. Per garantire che la distribuzione dei dati sia in linea con il dominio Gboard, il sistema imita i frequenti errori della tastiera utilizzando un'architettura sintetica degli errori costruita in modo preciso e metodico.

## Metriche avanzate e ottimizzazione dei modelli

Per valutare il modello, i ricercatori hanno incorporato una serie di parametri, con particolare enfasi sui controlli della presenza di errori grammaticali e controlli di significato simili derivati ​​da modelli linguistici di grandi dimensioni (LLM). La messa a punto supervisionata e l'apprendimento per rinforzo (RL) vengono utilizzati nella tecnica InstructGPT per migliorare il modello. Le prestazioni di correzione del modello vengono notevolmente migliorate da questa procedura.

## Distribuzione e prestazioni

Utilizzando la quantizzazione a 8 bit, il LLM PaLM2-XS di medie dimensioni è personalizzato per adattarsi a un singolo TPU v5 e funge da base per la funzionalità Proofread. L'ottimizzazione riduce il costo del servizio. Ricerche precedenti hanno dimostrato che la segmentazione, la decodifica speculativa e le chiavi bucket possono ridurre la latenza.

## Impatto nel mondo reale

Decine di migliaia di utenti Pixel 8 trarranno vantaggio dalle modifiche di alta qualità fornite dalla funzione Proofread, ora disponibile. Una generazione approfondita di dati sintetici e diverse iterazioni di messa a punto hanno prodotto un modello che riduce sostanzialmente gli errori grammaticali, come dimostrato da una diminuzione relativa del 5,74% nel rapporto Bad del modello PaLM2-XS. Inoltre, le ottimizzazioni hanno comportato una diminuzione del 39,4% della latenza media.

## Prospettive future

[Questo studio](https://arxiv.org/abs/2406.04523) dimostra come gli LLM potrebbero migliorare l'esperienza dell'utente e creare interessanti possibilità per ulteriori indagini. L’uso dei dati degli utenti reali, il supporto multilingue, l’assistenza personalizzata nella scrittura e le soluzioni per la privacy dei dispositivi sono alcuni esempi di aree che potrebbero portare a ulteriori progressi nel settore.

L'intelligenza artificiale di Google sta espandendo le possibilità della tecnologia delle tastiere mobili con l'introduzione della funzione Proofread, migliorando la digitazione per le persone di tutto il mondo.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

L'intelligenza artificiale di Google presenta "Proofread": funzionalità Gboard per correzioni semplici di frasi e paragrafi

Le moderne reti neurali profonde (DNN) sono intrinsecamente opache, il che rende difficile comprendere i loro processi decisionali. Questa mancanza di trasparenza interferisce con l’ampia implementazione delle tecniche di Machine Learning in una varietà di settori. In risposta, è emersa l'Explainable AI (XAI) con l'intenzione di migliorare la comprensione umana dei giudizi DNN. Osservando lo scopo funzionale di ciascun componente, XAI ora si concentra anche sulla comprensione del comportamento globale delle DNN, in contrasto con i metodi di spiegazione locale che utilizzano mappe di salienza per spiegare le previsioni individuali.

L’interpretabilità meccanicistica è una tecnica di spiegabilità globale che si concentra sull’individuazione delle idee particolari che i neuroni, le unità computazionali fondamentali di una rete neurale, hanno acquisito la capacità di comprendere. Possiamo spiegare il funzionamento delle rappresentazioni latenti di una rete etichettando i neuroni con descrizioni comprensibili agli esseri umani. Queste descrizioni sono passate da semplici etichette a spiegazioni elaborate, compositive e con un vocabolario aperto. Tuttavia, la mancanza di parametri quantitativi standardizzati per valutare queste descrizioni a vocabolario aperto ha ostacolato confronti approfonditi tra i vari approcci.

Per colmare questa lacuna, i ricercatori dell’ATB Potsdam, dell’Università di Potsdam, della TU Berlin, del Fraunhofer Heinrich-Hertz-Institute e del BIFOLD introducono [CoSy](https://arxiv.org/abs/2405.20331), un pionieristico quadro di valutazione quantitativa per valutare l'uso di spiegazioni a vocabolario aperto nei modelli di visione artificiale (CV). Questo metodo innovativo sfrutta gli sviluppi dell’intelligenza artificiale generativa per produrre immagini artificiali correlate a descrizioni testuali basate su concetti. cosy elimina la necessità dell'interazione umana facilitando i confronti quantitativi di diversi approcci di spiegazione testuale basati su concetti sintetizzando punti dati comuni per particolari spiegazioni target.

Il gruppo di ricerca ha dimostrato attraverso un'ampia meta-analisi che Cosy offre valutazioni affidabili delle spiegazioni. Lo studio ha scoperto che i metodi di spiegazione testuale basati su concetti funzionano meglio negli strati superiori delle reti neurali, dove vengono appresi concetti di alto livello. Le spiegazioni dei neuroni di alta qualità sono prodotte da metodi come INVERT, che crea immagini dalle rappresentazioni della rete neurale, e CLIP-Dissect, che esamina le rappresentazioni della rete interna. Al contrario, tecniche come MILANO e FALCON producono spiegazioni di qualità inferiore, fornendo occasionalmente concetti quasi casuali, che possono portare a conclusioni della rete inaccurate.

Uno dei principali svantaggi di CoSy, come riconoscono i ricercatori, è che categorie specifiche dei dati di addestramento potrebbero non essere state incluse nel modello generativo, portando a spiegazioni troppo generali o ambigue, come gli “oggetti bianchi”. La precisione generativa potrebbe essere aumentata affrontando questo problema esaminando i set di dati di pre-addestramento e le prestazioni del modello. Nonostante ciò, cosy mostra molte potenzialità nel campo ancora in via di sviluppo della valutazione delle tecniche di spiegazione non locali.

Guardando al futuro, il team spera nelle potenziali applicazioni di CoSy in più campi. Per valutare la plausibilità o la qualità di una spiegazione riguardante il risultato di un compito a valle, il giudizio umano deve essere incluso nella definizione di qualità della spiegazione, che si vuole affrontare nel lavoro futuro. Inoltre, vogliono includere campi aggiuntivi come l’elaborazione del linguaggio naturale e l’assistenza sanitaria nel loro sistema di valutazione. Il potenziale utilizzo di cosy per valutare modelli linguistici ampi, opachi e autointerpretabili (LLM) è particolarmente entusiasmante. Secondo i ricercatori, l’applicazione di tale approccio ai set di dati sanitari, dove la qualità della spiegazione è importante, potrebbe rappresentare un grande passo avanti. Queste potenziali future applicazioni di cosy hanno un enorme potenziale per far avanzare la ricerca sull’intelligenza artificiale.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Comprensione delle reti neurali: quadro quantitativo di CoSy per la valutazione della spiegazione testuale

[I modelli basati su Transformer](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) sono famosi per la loro capacità di analizzare e interpretare testi complessi. Si basano sulla comprensione dell'ordine e del contesto delle parole, compiti in cui i tradizionali metodi di codifica posizionale hanno mostrato i loro limiti. Affrontando questa lacuna, il modello ROFORMER, basato sul **Rotary Position Embedding (RoPE)**, ridefinisce il nostro approccio alla codifica posizionale.

## Codifica posizionale tradizionale

I trasformatori trattano il testo come una serie di token e consentono l'**elaborazione parallela delle sequenze** per una maggiore efficienza. Tuttavia, questa forza ha comportato una sfida: l’**agnosticismo intrinseco del modello all’ordine simbolico**. La **codifica posizionale** è stata la risposta, **fornendo a ciascun token una firma univoca che denota la sua posizione nella sequenza**.

### Incorporamenti di posizioni assolute

Inizialmente, modelli come BERT utilizzavano **incorporamenti di posizioni assolute, assegnando un vettore fisso a ciascuna posizione in una sequenza**. Questo metodo, sebbene semplice, intrinsecamente **manca della capacità di adattarsi alle variazioni della lunghezza della sequenza o di enfatizzare le distanze relative tra i token**, fondamentali per comprendere molti costrutti linguistici.

### Incorporamenti di posizioni relative

Per catturare la natura dinamica del linguaggio, sono stati introdotti gli incorporamenti di posizione relativa, concentrandosi sulla distanza tra i token piuttosto che sulle loro posizioni assolute. Nonostante il loro vantaggio concettuale, questi incorporamenti hanno introdotto **complessità computazionale e non sono riusciti a integrarsi perfettamente nel meccanismo di auto-attenzione di Transformers**, limitando la loro efficacia.

## ROFORMER e incorporamento della posizione rotante

Riconoscendo i limiti delle strategie di codifica posizionale esistenti, ROFORMER introduce Rotary Position Embedding (RoPE), un approccio che combina i vantaggi delle informazioni sulla posizione assoluta e relativa senza i rispettivi svantaggi.

### Incorporamento della posizione rotante

RoPE codifica le informazioni sulla posizione utilizzando **matrici di rotazione**, consentendo al modello di comprendere non solo dove si trova un token, ma come si relaziona con ogni altro token in una sequenza.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Funziona attraverso una lente geometrica, trattando le posizioni dei token come punti in uno spazio multidimensionale che vengono ruotati per segnare le loro relazioni sequenziali. Questa rotazione consente al modello di preservare e sfruttare segnali posizionali sia assoluti che relativi all'interno del suo meccanismo di auto-attenzione.

### Implementazione del RoPE

L'implementazione di RoPE implica la codifica della posizione di ciascun token in una matrice di rotazione e l'applicazione di questa matrice all'interno del meccanismo di auto-attenzione del Transformer. Questo processo consente un'interpretazione flessibile e dinamica delle informazioni posizionali, adattando lunghezze di sequenza variabili e catturando l'essenza delle interrelazioni dei token senza un significativo sovraccarico computazionale.

Per prima cosa avrai bisogno di una funzione per generare gli incorporamenti rotanti, quindi integrerai questi incorporamenti nel tuo modello. L'esempio seguente presuppone che tu abbia familiarità con la creazione di livelli personalizzati in Keras.

#### Passaggio 1: definire la funzione di incorporamento rotatorio

Questa funzione genera gli incorporamenti rotanti data la lunghezza massima della sequenza e la dimensionalità degli incorporamenti.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Questa linea calcola l'inverso delle frequenze scalate esponenzialmente in base agli indici di posizione. Queste frequenze vengono utilizzate per generare modelli sinusoidali per incorporamenti rotanti, che aiutano a codificare le relative informazioni posizionali in sequenze. Questo meccanismo è particolarmente utile in attività in cui la comprensione dell'ordine e del posizionamento relativo degli elementi è cruciale, come nell'elaborazione del linguaggio naturale o nell'analisi delle serie temporali.

Nei dettagli:

- `tf.range(0, dim, 2, dtype=tf.float32)` crea un intervallo di valori a partire da 0 fino a `dim` (esclusivo), incrementando di 2. L'argomento `dtype=tf.float32` specifica che gli elementi di questo tensore sono numeri in virgola mobile a 32 bit. Se "dim" è 8, ad esempio, ciò produrrebbe "[0, 2, 4, 6]".

- Il tensore prodotto da `tf.range` viene quindi diviso per la dimensionalità ("dim") degli incastri. Questa operazione ridimensiona questi indici fino a un intervallo compreso tra 0 e 1 (esclusivo se `dim` è pari, leggermente inclusivo se `dim` è dispari, poiché il passaggio dell'intervallo salta ogni altro valore). Continuando l'esempio con "dim" = 8, dividendo per 8 si ottiene "[0.0, 0.25, 0.5, 0.75]".

- L'operazione `10000 ** (...)` eleva 10.000 alla potenza di ciascun elemento nel tensore precedentemente scalato. La base di 10.000 è alquanto arbitraria, ma viene scelta per garantire che le frequenze varino in un ampio intervallo, il che aiuta il modello a distinguere tra diverse posizioni in modo più efficace. Per "[0.0, 0.25, 0.5, 0.75]", applicherebbe l'operazione di potenza a ciascuno, ottenendo valori molto più grandi per gli elementi più alti.

- Infine, la frequenza inversa si ottiene prendendo il reciproco (1/x) dei valori del passaggio precedente. Le frequenze inverse sono più piccole per gli indici più alti, il che significa che gli elementi più avanti nella sequenza avranno frequenze più piccole, influenzando il modo in cui le loro posizioni sono codificate nel modello. Ciò consente agli incorporamenti di ridimensionarsi in modo tale da poter dedurre le posizioni relative attraverso i meccanismi di attenzione del modello.

La linea:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

utilizza la funzione "tf.einsum" di TensorFlow, uno strumento che consente un'espressione concisa ed efficiente delle operazioni tensoriali utilizzando la notazione di sommatoria di Einstein.

Questa operazione calcola effettivamente il prodotto esterno dei vettori "t" e "inv_freq", ottenendo una matrice in cui ciascun elemento "(i, j)" è il prodotto dell'elemento "i"-esimo di "t" e di " j`-esimo elemento di "inv_freq". Questa matrice ("freqs") rappresenta le frequenze utilizzate per generare i modelli sinusoidali per gli incastri rotanti.

#### Passaggio 2: livello Keras personalizzato per incorporamenti rotanti

Ora creiamo un livello Keras personalizzato che applica incorporamenti rotanti al tensore di input. Questo livello presuppone che il tensore di input abbia la forma "(batch_size, sequence_length, embedding_dim)".

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

La riga `embeddings = self.rotary_embeddings[:seq_len]` seleziona il sottoinsieme appropriato di incorporamenti rotanti precalcolati in base alla lunghezza della sequenza di input corrente. Poiché la lunghezza delle sequenze può variare da un lotto all'altro, questa operazione di suddivisione garantisce che vengano utilizzati solo gli incorporamenti corrispondenti alla lunghezza effettiva della sequenza.

La variabile "embeddings" ora contiene un tensore di forma "(seq_len, embedding_dim)", dove "seq_len" è la lunghezza delle sequenze nel batch corrente e "embedding_dim" è la dimensionalità degli incorporamenti. Questo tensore contiene gli incorporamenti posizionali rotanti per ciascuna posizione nella sequenza fino a `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combina le trasformazioni seno e coseno delle frequenze posizionali in un unico tensore:

-`tf.cos(freqs)` e `tf.sin(freqs)` applicano rispettivamente le trasformazioni coseno e seno al tensore `freqs`. Il tensore "freqs" contiene valori di frequenza per ciascuna posizione nella sequenza di input e ciascuna dimensione dello spazio di inclusione, calcolati in base alle posizioni della sequenza e alle frequenze inverse delle dimensioni di inclusione. Le funzioni seno e coseno vengono applicate per elemento, risultando in due tensori della stessa forma di "freqs". Queste trasformazioni aiutano a codificare la posizione in un modo che cattura la natura ciclica delle relazioni posizionali, facilitando la capacità del modello di comprendere le posizioni relative.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatena i tensori trasformati coseno e seno lungo l'ultimo asse (indicato con `axis=-1`). Concatenando questi tensori fianco a fianco si raddoppia effettivamente la dimensionalità del tensore "freqs", con la prima metà che rappresenta valori trasformati in coseno e la seconda metà che rappresenta valori trasformati in seno per ciascuna posizione. La concatenazione garantisce che ciascuna codifica posizionale contenga sia informazioni seno che coseno, il che consente la conservazione delle informazioni sia sull'ampiezza che sulla fase dei segnali posizionali.

- Il tensore concatenato `emb` ora contiene le inclusioni rotanti complete per le posizioni di input. La forma di "emb" sarà la stessa di "freqs" nelle sue prime due dimensioni (corrispondenti alle posizioni della sequenza e alle dimensioni di incorporamento), ma la sua ultima dimensione sarà due volte più grande, tenendo conto sia dei valori seno che coseno. Questi incorporamenti vengono utilizzati per modulare gli incorporamenti di input aggiungendo informazioni sulla posizione in modo rotazionalmente equivariante.

-`cos_emb = incorporamenti[:, None, :self.dim // 2]`:

1. I primi due punti `:` significano "seleziona tutti gli elementi in questa dimensione", che, in questo caso, si riferisce a tutte le posizioni nella sequenza.

2. "None" viene utilizzato per aggiungere una dimensione aggiuntiva, rendendo il tensore tridimensionale. Questo viene spesso fatto per garantire la compatibilità con determinate operazioni che prevedono input di un numero specifico di dimensioni. Ad esempio, quando si esegue la moltiplicazione per elemento con un altro tensore tridimensionale, le forme devono allinearsi secondo le regole di trasmissione.

3. `:self.dim // 2`, seleziona la prima metà delle dimensioni nell'ultimo asse. Poiché la "dimensione_incorporamento" viene raddoppiata per includere sia i valori seno che coseno, la divisione per 2 seleziona effettivamente solo le componenti coseno degli incorporamenti.

#### Passaggio 3: integrazione con un modello Keras

Dopo aver definito il `RotaryEmbeddingLayer`, puoi integrarlo nel tuo modello Keras. Questo livello deve essere applicato agli incorporamenti prima di inserirli nei livelli di attenzione o in eventuali livelli di modello successivi.

Ecco un esempio semplificato di come integrare gli incorporamenti rotanti in un modello:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: TRASFORMATORE POTENZIATO CON INTEGRAZIONE IN POSIZIONE ROTATIVA

[Link Arxiv](https://arxiv.org/abs/2403.13799)

20 marzo 2024

## La maledizione dell'inversione

I Large Language Models (LLM) come [GPT-4](https://arxiv.org/abs/2303.08774) e [Llama-2](https://arxiv.org/abs/2307.09288) hanno dimostrato capacità impressionanti nella comprensione e generare testo simile a quello umano, che comprende una vasta gamma di conoscenze. Tuttavia, falliscono in un compito apparentemente semplice: invertire i fatti appresi. Questa limitazione, denominata "Maledizione dell'inversione", implica che gli LLM non possono dedurre che "B è una caratteristica di A" dall'apprendimento di "A ha una caratteristica B", un'abilità di ragionamento di base che anche i bambini possiedono. Questo articolo introduce il "Reverse Training", un nuovo metodo per affrontare questa sfida sfruttando un approccio di formazione a doppia direzione per migliorare la comprensione dei fatti da parte del modello sia nel formato diretto che in quello inverso.

## Le origini della maledizione dell'inversione

Il problema nasce dall'approccio formativo fondamentale degli LLM, che in genere prevede un **apprendimento autoregressivo, da sinistra a destra**. Questo metodo non insegna intrinsecamente ai modelli a comprendere o generare informazioni nell'ordine inverso. Data la natura della distribuzione dei dati secondo la legge di Zipf, molti fatti vengono menzionati solo in una direzione, esacerbando questo problema. La "maledizione dell'inversione" limita la comprensione da parte degli LLM delle relazioni reciproche e dell'equivalenza nelle dichiarazioni, segnando una carenza significativa nelle loro capacità di ragionamento.

## Superare la maledizione dell'inversione con l'allenamento inverso

La soluzione proposta, Reverse Training, raddoppia i dati di training disponibili includendo sia la versione originale che quella invertita delle stringhe di training. Il processo di inversione fa attenzione a non alterare alcune sottostringhe, come i nomi di entità, mantenendo la loro sequenza originale per preservare il contesto. Questo metodo, simile all'introduzione di una seconda lingua da apprendere per il LLM, migliora significativamente la capacità del modello di elaborare e generare informazioni in entrambe le direzioni.

## Testare il metodo di allenamento inverso

Gli autori hanno condotto i seguenti esperimenti per testare il metodo proposto:

**1- Attività inversa simbolica:** un test in ambiente controllato che dimostra la capacità del metodo di dedurre e applicare relazioni inverse.

**2- Inversione del compito biografico:** Utilizzo di un set di dati biografici per valutare le prestazioni nella generazione di nomi di persone a partire da dettagli forniti, al contrario.

**3- Inversione della conoscenza del mondo reale:** Valutazione dell'efficacia del metodo in scenari del mondo reale, inclusa l'inversione dei fatti sulle celebrità e sulle loro relazioni.

**4- Messa a punto dei fatti fittizi:** Testare la capacità di apprendimento del modello su fatti fittizi invertiti di nuova introduzione.

Nel corso di questi esperimenti, l'addestramento inverso non solo ha mitigato la maledizione dell'inversione ma, in alcuni casi, l'ha completamente eliminata. Il metodo si è rivelato particolarmente efficace quando i nomi delle entità sono stati preservati nel loro ordine originale durante il processo di inversione, evidenziando l’importanza di mantenere determinati ancoraggi contestuali.

## Implicazioni e direzioni future

Il successo della formazione inversa nell'affrontare la maledizione dell'inversione apre nuove strade per le metodologie di formazione LLM. Migliorando la comprensione dei modelli delle relazioni reciproche e dell'equivalenza nelle affermazioni, questo approccio apre la porta a capacità di ragionamento più sofisticate. La ricerca futura potrebbe esplorare un'ulteriore ottimizzazione del processo di inversione, il potenziale per integrare l'addestramento inverso in altre architetture di modelli linguistici e applicazioni più ampie di questo metodo nei compiti di comprensione e generazione del linguaggio naturale.

---

*Diventa un professionista della programmazione al tuo ritmo! Partecipa al [Bootcamp part-time online](/) di Code Labs Academy e migliora le tue competenze nella programmazione. Adatta l'apprendimento al tuo programma e inizia oggi stesso il tuo viaggio nella tecnologia!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Addestramento inverso per curare la maledizione dell'inversione

[Link Arxiv](https://arxiv.org/abs/2403.12015)

18 marzo 2024

"Sintesi rapida di immagini ad alta risoluzione con distillazione di diffusione contraddittoria latente" presenta un nuovo approccio di distillazione noto come distillazione di diffusione contraddittoria latente (LADD). Questo approccio è progettato per affrontare i limiti dei [modelli di diffusione](https://en.wikipedia.org/wiki/Diffusion_model) esistenti, in particolare la sfida della bassa velocità di inferenza, che ostacola le applicazioni in tempo reale. LADD consente la sintesi di immagini ad alta risoluzione e con proporzioni multiple distillando in modo efficiente grandi [modelli di diffusione latente](https://arxiv.org/abs/2112.10752) (LDM), semplificando significativamente il processo di formazione e migliorando le prestazioni rispetto ai metodi precedenti .

Riassumeremo i principali punti salienti di questo documento.

## Introduzione

I modelli di diffusione sono emersi come un potente strumento per la sintesi e l'editing di immagini e video, offrendo risultati di alta qualità. Tuttavia, la loro natura iterativa, che richiede numerose valutazioni di rete per trasformare il rumore in immagini coerenti, ne ha limitato la praticità per le applicazioni in tempo reale. Sono state proposte varie strategie per accelerare i modelli di diffusione. LADD introduce una nuova strategia, sfruttando le funzionalità generative degli LDM preaddestrati, consentendo un'efficiente sintesi di immagini ad alta risoluzione in una frazione dei passaggi richiesti dai metodi tradizionali.

## Sfondo

L'articolo inizia fornendo una panoramica dei modelli di diffusione e della loro [distillazione](https://en.wikipedia.org/wiki/Knowledge_distillation). I modelli di diffusione tradizionali operano rimuovendo gradualmente il rumore da un'immagine attraverso molti passaggi iterativi, rendendo il processo lento e costoso dal punto di vista computazionale. I metodi di distillazione, inclusa la [Distillazione per diffusione avversariale](https://arxiv.org/abs/2311.17042) (ADD), hanno cercato di semplificare questo processo riducendo il numero di passaggi necessari. Tuttavia, ADD deve affrontare limitazioni come una risoluzione di addestramento fissa e la necessità di decodificare nello spazio RGB per distillare modelli di diffusione latente, che possono limitare l'addestramento ad alta risoluzione.

## Metodologia

LADD affronta questi problemi **distillando direttamente nello spazio latente**, **evitando così la necessità di decodificare nello spazio pixel** e consentendo l'addestramento a risoluzioni più elevate. A differenza dell'ADD, che si basa su un discriminatore preaddestrato che opera nello spazio dei pixel, LADD utilizza un nuovo approccio in cui il discriminatore e il modello insegnante sono unificati, operando direttamente sui latenti. Questo metodo non solo semplifica il processo di formazione, ma offre anche numerosi vantaggi, tra cui l'efficienza, la capacità di fornire feedback specifici sul livello di rumore e la capacità di formazione MAR (Multi-Aspect Ratio).

## Esperimenti e risultati

L'articolo valuta ampiamente LADD attraverso vari esperimenti, dimostrando le sue prestazioni superiori nel sintetizzare immagini ad alta risoluzione con solo pochi passaggi. In particolare, quando applicato a [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD si traduce in un modello denominato SD3-Turbo, che raggiunge una qualità dell'immagine paragonabile allo stato- generatori di testo in immagine all'avanguardia in soli quattro passaggi. Gli esperimenti esplorano anche l’impatto delle diverse distribuzioni del rumore degli insegnanti, l’uso di dati sintetici, approcci di distillazione latente e il comportamento di ridimensionamento di LADD.

## Confronto con lo stato dell'arte

L'efficacia di LADD è ulteriormente sottolineata dal confronto con gli attuali metodi leader nella sintesi testo-immagine e immagine-immagine. SD3-Turbo non solo eguaglia le prestazioni del suo modello insegnante (SD3) in termini di qualità dell'immagine, ma dimostra anche miglioramenti significativi rispetto ad altri modelli di base in termini di velocità di inferenza e allineamento immagine-testo.

## Limitazioni e direzioni future

Nonostante i suoi progressi, LADD non è privo di limitazioni. Gli autori notano un compromesso tra capacità del modello, allineamento rapido e velocità di inferenza, che potrebbe influire sulla capacità del modello di gestire alcune sfide di sintesi da testo a immagine. Le direzioni future della ricerca includono l'esplorazione più approfondita di questo compromesso e lo sviluppo di strategie per migliorare il controllo sui punti di forza della guida di immagini e testo.

## Conclusione

"Sintesi rapida di immagini ad alta risoluzione con distillazione di diffusione contraddittoria latente" introduce un nuovo approccio alla sintesi di immagini/video che accelera significativamente la generazione di immagini di alta qualità da istruzioni di testo. Distillando modelli di grande diffusione nello spazio latente, LADD apre la strada ad applicazioni in tempo reale e stabilisce un nuovo standard per l'efficienza e le prestazioni nella sintesi delle immagini.

---

*Code Labs Academy: [Bootcamp di codifica online](/) con piani di pagamento flessibili*

I documenti spiegati

Perché tornare in ufficio dopo la pandemia può danneggiare la produttività: approfondimenti di un esperto aziendale