Particularmente nas empresas máis grandes, houbo un notable retorno a esixir aos traballadores que traballen desde a oficina despois da pandemia de COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), profesor asociado de administración de empresas na Joseph M. Katz Graduate School of Business da Universidade de Pittsburgh, e Yuye Ding, un Estudante de doutoramento, investigou este patrón (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Analizaron os efectos sociolóxicos e económicos do traballo a distancia, así como a recente iniciativa das empresas para que os traballadores volvan á oficina, que con frecuencia irrita aos traballadores.

Ma sostén nunha [entrevista con Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) que, nun ambiente de traballo cada vez máis dixital, facer que os traballadores volvan á oficina só serve para irritalos e non fai pouco para aumentar a produtividade. Non obstante, admite que, cando se fai voluntariamente e co apoio do equipo, o traballo en persoa pode ser vantaxoso e promover unha mellor coordinación e traballo en equipo.

Ma suxire que as persoas de alto rendemento que demostraron a súa eficacia cando traballan desde casa deberían poder seguir facéndoo, en lugar de ter a todos na oficina. El pensa que ao manter a persoas brillantes que doutro xeito poderían buscar traballo noutro lugar, esta estratexia beneficiará en última instancia tanto aos empresarios como aos empregados. Ma tamén suxire exercicios regulares de formación de equipos presenciais para manter a cultura da empresa sólida, o que é esencial para a xeración eficiente de ideas e a resolución de problemas.

O vértice desta tendencia parece ter pasado, aínda que varias empresas obrigaron aos empregados a volver á oficina tras a pandemia. Segundo as enquisas realizadas en 2024, a maioría dos CEOs xa non valoran moito estar na oficina. As empresas souberon que os traballadores poden ser bastante produtivos cando traballan de xeito remoto durante a pandemia. Pero outros xestores aínda teñen receos sobre traballar a distancia, polo que avogan por volver á oficina. A moral dos empregados pode sufrir como consecuencia desta falta de confianza xa que lles transmite ao persoal que os seus responsables non cren neles.

A pesar de que o teletraballo pode reducir os gastos xerais e os requisitos de espazo, as grandes empresas están ansiosas por que os seus traballadores volvan, o que aumenta a posibilidade de que o control e o poder estean máis en xogo aquí que o prezo. Ma sinala que moitas empresas implementaron políticas de retorno á oficina en resposta ás baixadas dos prezos das accións, utilizando convenientemente o traballo remoto como chivo expiatorio útil para o mal rendemento.

A pesar do feito de que aínda hai unha gran demanda de traballo remoto -moitos espazos de oficina en grandes cidades como Nova York, San Francisco e Alemaña están vacantes- os xestores seguen considerando que ter traballadores en persoa mellorará a cooperación e a cultura empresarial. Pero en lugar de traballar xuntos cos compañeiros de traballo, moitos dos traballadores que volveron á oficina din que pasan a maior parte do tempo traballando sós nos seus ordenadores. A ineficacia destes mandatos ponse en dúbida pola falta dunha distinción discernible entre o traballo de oficina e a distancia, así como a frustración que experimentan os empregados cando se ven obrigados a regresar.

Os traballadores están afeitos ao aumento da produtividade e aos beneficios da conciliación da vida laboral e familiar que se derivan do traballo a distancia, como a capacidade de integrar mellor a vida laboral e familiar e evitar desprazamentos longos. A insatisfacción resulta da interrupción destes acordos por un retorno forzoso á oficina. Ademais, existe a percepción de que a falta de traballo pode impedir o crecemento profesional.

Ao final, Ma pensa que se os traballadores se ven obrigados a volver ao traballo de forma permanente, moitos comezarían a buscar outras profesións, e as que quedan poderían estar menos motivadas. As oficinas na casa seguen sendo comúns porque proporcionan un mellor equilibrio entre a vida laboral e a vida familiar e menores taxas de esgotamento, a pesar dos seus inconvenientes. Non hai diferenzas de produtividade perceptible entre traballar de forma remota e nunha oficina, e traballar desde casa pode ser tan alienante como as distraccións das oficinas de planta aberta onde os empregados adoitan usar auriculares para concentrarse. Ma aconsella aos equipos que escollen cantos días queren traballar na oficina e deixen o resto do tempo flexible para que os empregados poidan escoller o seu ambiente de traballo preferido, aínda que os contactos humanos poden ser beneficiosos para as empresas.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Por que volver á oficina despois da pandemia pode prexudicar a produtividade: información dun experto empresarial

[Google AI](https://ai.google/) presentou recentemente unha nova función chamada "Corrección" en Gboard, a popular aplicación de teclado para móbiles. Cun só toque, esta función permite modificacións e correccións sen problemas nos niveis de frases e parágrafos, mellorando a experiencia de dixitación en xeral.

## Afrontando o problema do "dedo gordo".

[Gboard](https://support.google.com/gboard/?hl=en) utiliza a decodificación estatística como un medio para resolver o problema do "dedo gordo", que é a imprecisión natural da entrada táctil en pantallas pequenas. A investigación mostra que a taxa de erro por letra pode alcanzar entre o 8 e o 9 por cento sen decodificar. Gboard inclúe varias funcións de corrección de erros para facilitar e facilitar a escritura. Estas funcións combinan tarefas manuais que implican a entrada humana con correccións automatizadas e proactivas.

## Ferramentas completas de corrección de erros

As funcións de Gboard facilitan a dixitación colectivamente, que inclúen completar palabras, predicións de palabras seguintes, corrección automática activa (AC) e corrección de teclas activas (KC). Estas ferramentas inclúen composición intelixente, corrección de erros e candidatos de varias palabras na barra de suxestións ou en liña. A poscorrección (PC) tamén facilita a rectificación de erros en palabras xa cometidas. A pesar destas características, dúas restricións clave prexudican a experiencia do usuario.

1. Aínda que os modelos de corrección no dispositivo como KC, AC e PC son rápidos e compactos, teñen dificultades para xestionar erros sofisticados e complexos que precisan contextos máis longos. Para evitar que estes modelos se activen, os usuarios deben escribir de forma lenta e precisa.

2. A velocidade de escritura diminúe como resultado de que os usuarios teñan que corrixir manualmente as palabras comprometidas mediante correctores gramatical e ortográfico, o que pode resultar agobiante mental e visualmente.

## A necesidade dunha corrección de erros de alto nivel

Os que mecanografían rápido adoitan ignorar as palabras que xa escribiron e concéntranse só no teclado. Poden xurdir taxas de erro máis altas disto, polo que é necesario o uso de sentenzas ou mecanismos de corrección de nivel superior.

## Presentando a corrección

Proofread resolve estas queixas frecuentes ofrecendo notables aumentos de produtividade. Facilita a corrección de erros proporcionando correccións a nivel de frases e parágrafos cun só toque.

## A tecnoloxía detrás da corrección

A función de revisión está formada por catro compoñentes principais: produción de datos, deseño de métricas, axuste de modelos e servizo de modelos. En conxunto, todos estes compoñentes garanten a eficacia. Para garantir que a distribución de datos está en consonancia co dominio Gboard, o sistema imita os erros frecuentes do teclado mediante unha arquitectura sintética de erros construída de forma precisa e metódica.

## Métricas avanzadas e optimización de modelos

Para avaliar o modelo, os investigadores incorporaron unha serie de métricas, con especial énfase nas comprobacións de presenza de erros gramaticais e as comprobacións de significados similares derivadas dos grandes modelos lingüísticos (LLM). Na técnica InstructGPT utilízanse o axuste fino supervisado e o axuste de aprendizaxe por reforzo (RL) para mellorar o modelo. O rendemento de corrección do modelo mellora moito con este procedemento.

## Implantación e rendemento

Usando a cuantificación de 8 bits, o LLM PaLM2-XS de tamaño medio está adaptado para encaixar nun único TPU v5 e serve como base para a función de revisión. A optimización reduce o custo do servizo. Investigacións anteriores demostraron que a segmentación, a decodificación especulativa e as claves de depósito poden reducir a latencia.

## Impacto no mundo real

Decenas de miles de usuarios de Pixel 8 beneficiaranse das edicións de alta calidade proporcionadas pola función Proofread, que xa está dispoñible. Unha xeración completa de datos sintéticos e varias iteracións de axuste fino produciron un modelo que reduce substancialmente os erros gramaticais, como se pode ver cunha diminución relativa do 5,74 por cento na relación Bad do modelo PaLM2-XS. Ademais, as optimizacións provocaron unha diminución do 39,4 % da latencia media.

## Perspectivas de futuro

[Este estudo](https://arxiv.org/abs/2406.04523) demostra como os LLM poden mellorar a experiencia do usuario e crear posibilidades interesantes para unha investigación posterior. O uso de datos de usuarios reais, a asistencia multilingüe, a asistencia de escritura a medida e as solucións de privacidade do dispositivo son algúns exemplos de áreas que poderían levar a novos avances no sector.

A intelixencia artificial de Google está a ampliar as posibilidades da tecnoloxía do teclado móbil coa introdución da función de corrección de probas, que mellora a escritura para persoas de todo o mundo.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI presenta 'Corrección': función de Gboard para correccións sen esforzo de frases e parágrafos

As redes neuronais profundas (DNN) modernas son intrínsecamente opacas, polo que é difícil comprender os seus procesos de toma de decisións. Esta falta de transparencia interfire coa ampla implementación de técnicas de Machine Learning en diversos dominios. En resposta, apareceu Explainable AI (XAI) coa intención de mellorar a comprensión humana dos xuízos de DNN. Ao analizar o propósito funcional de cada compoñente, XAI agora tamén se centra en comprender o comportamento global dos DNN, en contraste cos métodos de explicación locais que empregan mapas de relevancia para explicar as predicións individuais.

A interpretabilidade mecanicista é unha técnica de explicabilidade global que se centra en identificar as ideas particulares que as neuronas, as unidades informáticas fundamentais dunha rede neuronal, adquiriron a capacidade de comprender. Podemos explicar o funcionamento das representacións latentes dunha rede etiquetando as neuronas con descricións que sexan comprensibles para os humanos. Estas descricións pasaron de simples etiquetas a explicacións elaboradas, compositivas e de vocabulario aberto. Non obstante, a falta de métricas cuantitativas estandarizadas para avaliar estas descricións de vocabulario aberto dificultou as comparacións exhaustivas entre varios enfoques.

Para abordar esta brecha, investigadores de ATB Potsdam, Universidade de Potsdam, TU Berlín, Fraunhofer Heinrich-Hertz-Institute e BIFOLD presentan [CoSy](https://arxiv.org/abs/2405.20331), un marco de avaliación cuantitativo pioneiro para avaliar o uso de explicacións de vocabulario aberto en modelos de visión por ordenador (CV). Este método innovador fai uso dos desenvolvementos na IA xerativa para producir imaxes artificiais que se correlacionan con descricións textuais baseadas en conceptos. Cozy elimina a necesidade de interacción humana facilitando as comparacións cuantitativas de diferentes enfoques de explicación textuais baseados en conceptos mediante a síntese de puntos de datos comúns para explicacións específicas.

O equipo de investigación demostrou a través dunha ampla metaanálise que cozy ofrece avaliacións fiables das explicacións. O estudo descubriu que os métodos de explicación textuais baseados en conceptos funcionan mellor nas capas superiores das redes neuronais, onde se aprenden conceptos de alto nivel. As explicacións de neuronas de alta calidade prodúcense mediante métodos como INVERT, que crea imaxes a partir de representacións de redes neuronais, e CLIP-Dissect, que examina as representacións de redes internas. Pola contra, técnicas como MILAN e FALCON producen explicacións de calidade inferior, proporcionando ocasionalmente conceptos case aleatorios, o que pode dar lugar a conclusións de rede inexactas.

Un gran inconveniente de CoSy, como recoñecen os investigadores, é que categorías específicas dos datos de adestramento poderían non estar incluídas no modelo xerativo, o que leva a explicacións demasiado xerais ou ambiguas, como "obxectos brancos". Pódese aumentar a precisión xerativa abordando este problema examinando os conxuntos de datos previos ao adestramento e o rendemento do modelo. Aínda así, cozy presenta moito potencial no campo aínda en desenvolvemento da avaliación de técnicas de explicación non locais.

De cara ao futuro, o equipo ten esperanzas sobre as posibles aplicacións de CoSy en varios campos. Para avaliar a plausibilidade ou a calidade dunha explicación sobre o resultado dunha tarefa posterior, o xuízo humano debe incluírse na definición de calidade da explicación, que queren abordar en traballos futuros. Ademais, queren incluír campos adicionais como o procesamento da linguaxe natural e a asistencia sanitaria no seu sistema de avaliación. O uso potencial de cozy para avaliar modelos de linguaxe autointerpretables (LLM) grandes, opacos é especialmente emocionante. Segundo os investigadores, aplicar cozy aos conxuntos de datos sanitarios, onde a calidade das explicacións é importante, podería ser un gran paso adiante. Estas aplicacións futuras potenciais de cozy teñen un enorme potencial para avanzar na investigación da IA.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Comprensión das redes neuronais: marco cuantitativo de CoSy para a avaliación da explicación textual

[Modelos baseados en transformadores](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) son famosos pola súa capacidade para analizar e interpretar textos complexos. Confían en comprender a orde e o contexto das palabras, tarefas nas que os métodos tradicionais de codificación posicional mostraron os seus límites. Para abordar esta lagoa, o modelo ROFORMER, impulsado pola **Incrustación de posición rotativa (RoPE)**, redefine o noso enfoque da codificación posicional.

## Codificación posicional tradicional

Os transformadores tratan o texto como unha serie de tokens e permiten o **procesamento paralelo de secuencias** para unha maior eficiencia. Non obstante, esta fortaleza trouxo o seu desafío: o **agnosticismo inherente do modelo á orde de símbolos**. **Codificación de posición** foi a resposta, **proporcionando a cada token unha sinatura única que indica a súa posición de secuencia**.

### Incrustacións de posición absoluta

Inicialmente, modelos como BERT utilizaban **insercións de posición absoluta, asignando un vector fixo a cada posición nunha secuencia**. Este método, aínda que sinxelo, inherentemente **carece da capacidade de adaptarse ás variacións de lonxitude das secuencias ou de enfatizar as distancias relativas entre as fichas**, fundamental para comprender moitos construtos lingüísticos.

### Incrustacións de posición relativa

Para capturar a natureza dinámica da linguaxe, introducíronse incrustacións de posicións relativas, centrándose na distancia entre as fichas e non nas súas posicións absolutas. A pesar da súa vantaxe conceptual, estas incorporacións introduciron **complexidade computacional e non se integraron perfectamente no mecanismo de autoatención de Transformers**, limitando a súa eficacia.

## ROFORMER e incrustación de posicións rotativas

Recoñecendo as limitacións das estratexias de codificación posicional existentes, ROFORMER presenta Rotary Position Embedding (RoPE), un enfoque que combina os beneficios da información de posición absoluta e relativa sen os seus respectivos inconvenientes.

### Incorporación de posicións rotativas

RoPE codifica a información posicional mediante **matriz de rotación**, o que permite que o modelo comprenda non só onde está un token, senón como se relaciona con todos os outros tokens nunha secuencia.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Opera a través dunha lente xeométrica, tratando as posicións dos tokens como puntos nun espazo multidimensional que se xiran para marcar as súas relacións secuenciais. Esta rotación permite que o modelo preserve e explote indicios posicionais tanto absolutos como relativos dentro do seu mecanismo de autoatención.

### Implementación de RoPE

Implementar RoPE implica codificar a posición de cada ficha nunha matriz de rotación e aplicar esta matriz dentro do mecanismo de autoatención do Transformador. Este proceso permite unha interpretación flexible e dinámica da información posicional, acomodando lonxitudes de secuencia variables e capturando a esencia das interrelacións de tokens sen sobrecarga computacional significativa.

Primeiro, necesitarás unha función para xerar as incorporacións rotativas e, a continuación, integrarás estas incorporacións no teu modelo. O seguinte exemplo asume que estás familiarizado coa creación de capas personalizadas en Keras.

#### Paso 1: Defina a función de incrustación rotativa

Esta función xera as incrustacións rotativas dada a lonxitude máxima da secuencia e a dimensionalidade das incrustacións.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Esta liña calcula a inversa das frecuencias escaladas exponencialmente en función dos índices de posición. Estas frecuencias úsanse para xerar patróns sinusoidais para incrustacións rotativas, o que axuda a codificar a información de posición relativa en secuencias. Este mecanismo é particularmente útil en tarefas nas que a comprensión da orde e o posicionamento relativo dos elementos é crucial, como no procesamento da linguaxe natural ou a análise de series temporais.

En detalles:

- `tf.range(0, dim, 2, dtype=tf.float32)` crea un rango de valores a partir de 0 ata `dim` (exclusivo), pasando por 2. O argumento `dtype=tf.float32` especifica que os elementos deste tensor son números de coma flotante de 32 bits. Se `dim` é 8, por exemplo, isto produciría `[0, 2, 4, 6]`.

- O tensor producido por `tf.range` divídese entón pola dimensionalidade (`dim`) das incorporacións. Esta operación reduce estes índices a un rango entre 0 e 1 (exclusivo se `dim` é par, lixeiramente inclusivo se `dim` é impar, porque o paso de rango omite todos os demais valores). Continuando o exemplo con `dim` = 8, dividindo por 8 obtense `[0,0, 0,25, 0,5, 0,75]`.

- A operación `10.000 ** (...)` eleva 10.000 á potencia de cada elemento no tensor escalado previamente. A base de 10.000 é algo arbitraria, pero elíxese para garantir que as frecuencias varían nun amplo rango, o que axuda ao modelo a diferenciar as diferentes posicións de forma máis eficaz. Para `[0.0, 0.25, 0.5, 0.75]`, aplicaría a operación de potencia a cada un, resultando en valores moito maiores para elementos superiores.

- Finalmente, a frecuencia inversa obtense tomando o recíproco (1/x) dos valores do paso anterior. As frecuencias inversas son máis pequenas para índices máis altos, o que significa que os elementos máis adiante na secuencia terán frecuencias máis pequenas, o que afectará a forma en que se codifican as súas posicións no modelo. Isto permite que as incrustacións escalan de forma que se poidan inferir posicións relativas a través dos mecanismos de atención do modelo.

A liña:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

usa a función `tf.einsum` de TensorFlow, unha ferramenta que permite a expresión concisa e eficiente de operacións de tensor usando a notación de suma de Einstein.

Esta operación calcula eficazmente o produto exterior dos vectores `t` e `inv_freq`, resultando nunha matriz onde cada elemento `(i, j)` é o produto do `i`-ésimo elemento de `t` e o ` j`-ésimo elemento de `inv_freq`. Esta matriz ('freqs') representa as frecuencias que se usan para xerar os patróns sinusoidais para as incrustacións rotativas.

#### Paso 2: Capa Keras personalizada para incorporacións rotativas

Agora, imos crear unha capa Keras personalizada que aplique incorporacións rotativas ao tensor de entrada. Esta capa asume que o tensor de entrada ten forma `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

A liña `embeddings = self.rotary_embeddings[:seq_len]` selecciona o subconxunto axeitado de incrustacións rotativas precalculadas en función da lonxitude da secuencia de entrada actual. Dado que a lonxitude das secuencias pode variar dun lote a outro, esta operación de corte garante que só se utilicen as incorporacións correspondentes á lonxitude real da secuencia.

A variable `embeddings` agora contén un tensor de forma `(seq_len, embedding_dim)`, onde `seq_len` é a lonxitude das secuencias do lote actual e `embedding_dim` é a dimensionalidade das incorporacións. Este tensor contén as incrustacións posicionais rotativas para cada posición na secuencia ata `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combina transformacións de seno e coseno de frecuencias posicionais nun único tensor:

-`tf.cos(freqs)` e `tf.sin(freqs)` aplican as transformacións coseno e seno, respectivamente, ao tensor `freqs`. O tensor `freqs` contén valores de frecuencia para cada posición na secuencia de entrada e cada dimensión do espazo de incrustación, calculados en función das posicións da secuencia e das frecuencias inversas das dimensións de incrustación. As funcións seno e coseno aplícanse por elementos, dando lugar a dous tensores da mesma forma que `freqs`. Estas transformacións axudan a codificar a posición dun xeito que capte a natureza cíclica das relacións posicionais, facilitando a capacidade do modelo para comprender as posicións relativas.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatena os tensores transformados coseno e seno ao longo do último eixe (indicado por `axis=-1`). A concatenación destes tensores lado a lado duplica efectivamente a dimensionalidade do tensor "freqs", coa primeira metade representando valores transformados en coseno e a segunda metade representando valores transformados en seno para cada posición. A concatenación garante que cada codificación posicional conteña información de seno e coseno, o que permite conservar a información tanto da amplitude como da fase dos sinais posicionais.

- O tensor concatenado `emb` agora contén as incrustacións rotativas completas para as posicións de entrada. A forma de `emb` será a mesma que `freqs` nas súas dúas primeiras dimensións (correspondentes ás posicións da secuencia e ás dimensións de incrustación), pero a súa última dimensión será o dobre, contando os valores de seno e coseno. Estas incorporacións utilízanse para modular as incorporacións de entrada engadindo información posicional de forma rotacionalmente equivalente.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Os primeiros dous puntos `:` significan "seleccionar todos os elementos desta dimensión", que, neste caso, refírese a todas as posicións da secuencia.

2. `None` úsase para engadir unha dimensión adicional, facendo que o tensor sexa tridimensional. Isto adoita facerse para garantir a compatibilidade con determinadas operacións que esperan entradas dun número específico de dimensións. Por exemplo, cando se realiza a multiplicación por elementos con outro tensor tridimensional, as formas deben aliñarse segundo as regras de transmisión.

3. `:self.dim // 2`, selecciona a primeira metade das dimensións no último eixe. Dado que a `embedding_dimension` duplícase para incluír valores de seno e coseno, dividindo por 2 só se seleccionan os compoñentes coseno das incorporacións.

#### Paso 3: Integración cun modelo Keras

Despois de definir o `RotaryEmbeddingLayer`, podes integralo no teu modelo Keras. Esta capa debe aplicarse ás súas incrustacións antes de alimentalas en capas de atención ou en capas de modelos posteriores.

Aquí tes un exemplo simplificado de como integrar as incrustacións rotativas nun modelo:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Transformador mellorado con incorporación de posición rotativa

[Ligazón Arxiv](https://arxiv.org/abs/2403.13799)

20 de marzo de 2024

## A maldición do revés

Grandes modelos lingüísticos (LLM) como [GPT-4](https://arxiv.org/abs/2303.08774) e [Llama-2](https://arxiv.org/abs/2307.09288) demostraron capacidades impresionantes de comprensión. e xerando texto de tipo humano, que abarca unha ampla gama de coñecementos. Non obstante, fallan nunha tarefa aparentemente sinxela: reverter os feitos aprendidos. Esta limitación, denominada "Maldición de reversión", implica que os LLM non poden deducir que "B é unha característica de A" a partir de aprender "A ten unha característica B", unha habilidade básica de razoamento que mesmo os nenos posúen. Este artigo presenta o "Adestramento inverso", un método novedoso para abordar este desafío aproveitando un enfoque de adestramento de dobre dirección para mellorar a comprensión dos feitos do modelo en formatos directos e inversos.

## As orixes da maldición de reversión

O problema xorde do enfoque de formación fundamental dos LLM, que normalmente implica **aprendizaxe autorregresiva, de esquerda a dereita**. Este método non ensina inherentemente aos modelos a comprender ou xerar información na orde inversa. Dada a natureza da distribución de datos seguindo a lei de Zipf, moitos feitos só se mencionan nunha dirección, o que agrava este problema. A "Maldición de reversión" limita a comprensión dos LLM das relacións recíprocas e da equivalencia nas afirmacións, marcando unha deficiencia significativa nas súas capacidades de razoamento.

## Superando a maldición inversa co adestramento inverso

A solución proposta, Reverse Training, duplica os datos de adestramento dispoñibles ao incluír versións orixinais e invertidas das cadeas de adestramento. O proceso de reversión ten coidado de non alterar certas subcadeas, como os nomes de entidades, mantendo a súa secuencia orixinal para preservar o contexto. Este método, semellante á introdución dunha segunda lingua para que o LLM aprenda, mellora significativamente a capacidade do modelo para procesar e xerar información en ambas direccións.

## Probando o método de adestramento inverso

Os autores realizaron os seguintes experimentos para probar o método proposto:

**1- Tarefa inversa simbólica:** Unha proba de ambiente controlado que demostra a capacidade do método para inferir e aplicar relacións inversas.

**2- Tarefa de invertir biografía:** Utilizar un conxunto de datos biográficos para avaliar o rendemento na xeración de nomes de persoas a partir de detalles dados, ao revés.

**3- Inversión do coñecemento do mundo real:** Avaliación da eficacia do método en escenarios do mundo real, incluíndo a reversión de feitos sobre famosos e as súas relacións.

**4- Axuste fino de feitos ficticios:** Proba a capacidade de aprendizaxe do modelo en feitos ficticios invertidos recentemente introducidos.

A través destes experimentos, o adestramento inverso non só mitigou a maldición inversa senón que, nalgúns casos, eliminou por completo. O método resultou particularmente eficaz cando os nomes de entidades se conservaron na súa orde orixinal durante o proceso de reversión, destacando a importancia de manter certas áncoras contextuais.

## Implicacións e direccións futuras

O éxito do Reverse Training para abordar a Reversal Curse abre novas vías para as metodoloxías de formación de LLM. Ao mellorar a comprensión dos modelos das relacións recíprocas e da equivalencia nos enunciados, este enfoque abre a porta a capacidades de razoamento máis sofisticadas. As investigacións futuras poden explorar unha maior optimización do proceso de reversión, o potencial para integrar o adestramento inverso noutras arquitecturas de modelos lingüísticos e aplicacións máis amplas deste método en tarefas de comprensión e xeración da linguaxe natural.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Adestramento inverso para enfermar a maldición inversa

[Ligazón Arxiv](https://arxiv.org/abs/2403.12015)

18 de marzo de 2024

"Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation" presenta un novo enfoque de destilación coñecido como Latent Adversarial Diffusion Distillation (LADD). Este enfoque está deseñado para abordar as limitacións dos [modelos de difusión] existentes (https://en.wikipedia.org/wiki/Diffusion_model), particularmente o desafío da baixa velocidade de inferencia, que dificulta as aplicacións en tempo real. LADD permite a síntese de imaxes de alta resolución e relación de múltiples aspectos ao destilar de forma eficiente grandes [modelos de difusión latente](https://arxiv.org/abs/2112.10752) (LDM), simplificando significativamente o proceso de adestramento e mellorando o rendemento en comparación cos métodos anteriores. .

Resumiremos as principais conclusións deste artigo.

## Introdución

Os modelos de difusión xurdiron como unha poderosa ferramenta para a síntese e edición de imaxes e vídeos, que ofrecen resultados de alta calidade. Non obstante, a súa natureza iterativa, que require numerosas avaliacións de rede para transformar o ruído en imaxes coherentes, limitou a súa funcionalidade para aplicacións en tempo real. Propuxéronse diversas estratexias para acelerar os modelos de difusión. LADD presenta unha nova estratexia, aproveitando as funcións xerativas dos LDM preadestrados, que permite unha síntese eficiente de imaxes de alta resolución nunha fracción dos pasos requiridos polos métodos tradicionais.

## Fondo

O artigo comeza proporcionando unha visión xeral dos modelos de difusión e a súa [destilación](https://en.wikipedia.org/wiki/Knowledge_distillation). Os modelos de difusión tradicionais operan eliminando gradualmente o ruído dunha imaxe a través de moitos pasos iterativos, facendo que o proceso sexa lento e computacionalmente custoso. Os métodos de destilación, incluíndo [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), buscaron axilizar este proceso reducindo o número de pasos necesarios. Non obstante, ADD enfróntase a limitacións como unha resolución de adestramento fixa e a necesidade de decodificar a espazo RGB para destilar modelos de difusión latente, o que pode limitar o adestramento de alta resolución.

## Metodoloxía

LADD soluciona estes problemas **destilando directamente no espazo latente**, **evitando así a necesidade de decodificar a espazo de píxeles** e permitindo adestramento en resolucións máis altas. A diferenza do ADD, que depende dun discriminador preadestrado que opera no espazo de píxeles, LADD utiliza un enfoque novedoso onde o discriminador e o modelo docente están unificados, operando directamente en latentes. Este método non só simplifica o proceso de adestramento, senón que tamén proporciona varias vantaxes, incluíndo a eficiencia, a capacidade de proporcionar comentarios específicos de nivel de ruído e a capacidade de adestramento con relación de aspecto múltiple (MAR).

## Experimentos e resultados

O artigo avalía amplamente LADD a través de varios experimentos, demostrando o seu rendemento superior na síntese de imaxes de alta resolución con só uns poucos pasos. En particular, cando se aplica a [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD dá como resultado un modelo denominado SD3-Turbo, que consegue unha calidade de imaxe comparable á do estado. xeradores de texto a imaxe de última xeración en só catro pasos. Os experimentos tamén exploran o impacto das diferentes distribucións de ruído do profesor, o uso de datos sintéticos, os enfoques de destilación latente e o comportamento de escalado de LADD.

## Comparación co estado da arte

A eficacia de LADD vese aínda máis subliñada por unha comparación cos métodos actuais líderes na síntese de texto a imaxe e imaxe a imaxe. SD3-Turbo non só coincide co rendemento do seu modelo de profesor (SD3) en calidade de imaxe, senón que tamén demostra melloras significativas con respecto a outras liñas de base en termos de velocidade de inferencia e aliñamento imaxe-texto.

## Limitacións e direccións futuras

A pesar dos seus avances, LADD non está exento de limitacións. Os autores sinalan unha compensación entre a capacidade do modelo, o aliñamento rápido e a velocidade de inferencia, o que podería afectar a capacidade do modelo para xestionar certos desafíos de síntese de texto a imaxe. As direccións futuras de investigación inclúen explorar esta compensación máis profundamente e desenvolver estratexias para mellorar o control sobre os puntos fortes da orientación da imaxe e do texto.

## Conclusión

"Síntese rápida de imaxes de alta resolución con destilación de difusión adversa latente" presenta un novo enfoque para a síntese de imaxes/vídeos que acelera significativamente a xeración de imaxes de alta calidade a partir de indicacións de texto. Ao destilar grandes modelos de difusión no espazo latente, LADD abre o camiño para aplicacións en tempo real e establece un novo estándar de eficiencia e rendemento na síntese de imaxes.

Documentos explicados

Por que volver á oficina despois da pandemia pode prexudicar a produtividade: información dun experto empresarial