Especialmente nas empresas de maior dimensão, registou-se um regresso notável à exigência de que os trabalhadores trabalhem a partir do escritório após a pandemia da COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), professor associado de administração de empresas na Joseph M. Katz Graduate School of Business da Universidade de Pittsburgh, e Yuye Ding, um Estudante de doutorado, [investigaram esse padrão](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Analisaram os efeitos sociológicos e económicos do trabalho remoto, bem como a recente iniciativa das empresas para trazer os trabalhadores de volta ao escritório, o que frequentemente irrita os trabalhadores.

Ma afirma em uma [entrevista com Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) que, em uma ambiente de trabalho cada vez mais digital, fazer com que os trabalhadores voltem ao escritório serve apenas para irritá-los e pouco contribui para aumentar a produtividade. Ele admite, porém, que quando realizado voluntariamente e com o apoio da equipe, o trabalho presencial pode ser vantajoso e promover uma melhor coordenação e trabalho em equipe.

Ma sugere que indivíduos de alto desempenho que comprovaram sua eficácia ao trabalhar em casa deveriam poder continuar a fazê-lo, em vez de ter todos no escritório. Ele acredita que, ao manter indivíduos brilhantes que, de outra forma, poderiam procurar trabalho noutro local, esta estratégia acabará por beneficiar tanto empregadores como empregados. Ma também sugere exercícios regulares de formação de equipes presenciais para manter robusta a cultura da empresa, o que é essencial para a geração eficiente de ideias e solução de problemas.

O ápice desta tendência parece ter passado, embora várias empresas tenham exigido que os funcionários regressassem ao escritório após a pandemia. De acordo com pesquisas feitas em 2024, a maioria dos CEOs não dá mais muita importância ao estar no escritório. As empresas aprenderam que os trabalhadores podem ser bastante produtivos quando trabalham remotamente durante a pandemia. Mas outros gestores ainda têm receio de trabalhar remotamente, razão pela qual defendem o regresso ao escritório. O moral dos funcionários pode ser prejudicado como resultado desta falta de confiança, uma vez que transmite aos funcionários que os seus gestores não acreditam neles.

Apesar do facto de o teletrabalho poder reduzir as despesas gerais e os requisitos de espaço, as grandes empresas estão ansiosas pelo regresso dos seus trabalhadores, o que levanta a possibilidade de que o controlo e o poder estejam mais em jogo aqui do que o preço. Ma salienta que muitas empresas implementaram políticas de regresso ao escritório em resposta às quedas nos preços das ações, utilizando convenientemente o trabalho remoto como um bode expiatório útil para o mau desempenho.

Apesar de ainda existir uma grande procura de trabalho remoto – muitos escritórios em grandes cidades como Nova Iorque, São Francisco e Alemanha estão vagos – os gestores continuam a defender a opinião de que ter trabalhadores presenciais melhorará a cooperação e a cultura empresarial. Mas em vez de trabalharem em conjunto com colegas de trabalho, muitos trabalhadores que regressaram ao escritório dizem que passam a maior parte do tempo a trabalhar sozinhos nos seus computadores. A ineficácia de tais mandatos é posta em dúvida pela falta de uma distinção discernível entre escritório e trabalho remoto, bem como pela frustração que os funcionários experimentam quando são obrigados a regressar.

Os trabalhadores estão habituados ao aumento da produtividade e aos benefícios de um equilíbrio entre vida pessoal e profissional que acompanha o trabalho remoto, como a capacidade de integrar melhor o trabalho e a vida familiar e evitar deslocações longas. A insatisfação resulta do rompimento desses acordos por um retorno forçado ao escritório. Além disso, existe a percepção de que faltar ao trabalho pode impedir o crescimento profissional.

No final, Ma pensa que se os trabalhadores fossem forçados a regressar ao local de trabalho de forma permanente, muitos deles começariam a procurar outras profissões e os que permanecessem poderiam ficar menos motivados. Os escritórios domésticos ainda são comuns porque proporcionam um melhor equilíbrio entre vida profissional e pessoal e menores taxas de esgotamento, apesar das suas desvantagens. Não existe nenhuma diferença perceptível de produtividade entre trabalhar remotamente e num escritório, e trabalhar a partir de casa pode ser tão alienante como as distrações dos escritórios de plano aberto, onde os funcionários frequentemente usam auscultadores para se concentrarem. Ma aconselha que as equipes escolham quantos dias desejam trabalhar no escritório e deixem o restante do tempo flexível para que os funcionários possam escolher o ambiente de trabalho de sua preferência, embora os contatos humanos possam ser benéficos para as empresas.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Por que retornar ao escritório pós-pandemia pode prejudicar a produtividade: percepções de um especialista em negócios

[Google AI](https://ai.google/) introduziu recentemente um novo recurso chamado "Revisar" no Gboard, o popular aplicativo de teclado móvel. Com um único toque, esse recurso permite modificações e correções contínuas nos níveis de frase e parágrafo, melhorando a experiência geral de digitação.

## Enfrentando o problema do 'dedo gordo'

O [Gboard](https://support.google.com/gboard/?hl=en) usa decodificação estatística como forma de resolver o problema do "dedo gordo", que é a imprecisão natural da entrada por toque em telas pequenas. A pesquisa mostra que a taxa de erro por letra pode chegar a 8 a 9 por cento sem decodificação. O Gboard vem com vários recursos de correção de erros para tornar a digitação mais fácil e suave. Esses recursos combinam tarefas manuais que envolvem entrada humana com correções proativas e automatizadas.

## Ferramentas abrangentes de correção de erros

A digitação é facilitada coletivamente pelos recursos do Gboard, que incluem preenchimento de palavras, previsões da próxima palavra, correção automática ativa (AC) e correção de chave ativa (KC). Essas ferramentas incluem composição inteligente, correção de erros e candidatos de várias palavras na barra de sugestões ou inline. A pós-correção (PC) também facilita a retificação de erros em palavras já cometidas. Apesar desses recursos, duas restrições principais prejudicam a experiência do usuário.

1. Embora os modelos de correção no dispositivo, como KC, AC e PC, sejam rápidos e compactos, eles têm dificuldade em lidar com erros sofisticados e complexos que precisam de contextos mais longos. Para evitar que esses modelos sejam ativados, os usuários devem digitar de forma lenta e precisa.

2. A velocidade de digitação diminui porque os usuários precisam corrigir manualmente as palavras comprometidas usando corretores gramaticais e ortográficos, o que pode ser mental e visualmente desgastante.

## A necessidade de correção de erros de alto nível

Os digitadores rápidos frequentemente ignoram as palavras que já digitaram e se concentram apenas no teclado. Podem surgir taxas de erro mais elevadas, necessitando do uso de sentenças ou mecanismos de correção de nível superior.

## Apresentando a revisão

O Proofread resolve essas reclamações frequentes, oferecendo aumentos notáveis ​​de produtividade. Ele torna a correção de erros mais simples, fornecendo correções em nível de frase e parágrafo com um toque.

## A tecnologia por trás da revisão

O recurso Revisão é composto de quatro componentes principais: produção de dados, design de métricas, ajustes de modelo e serviço de modelo. Juntos, todos esses componentes garantem eficácia. Para garantir que a distribuição de dados esteja alinhada com o domínio do Gboard, o sistema imita erros frequentes de teclado usando uma arquitetura sintética de erros construída de forma precisa e metódica.

## Métricas Avançadas e Otimização de Modelo

Para avaliar o modelo, os pesquisadores incorporaram uma série de métricas, com ênfase particular nas verificações de presença de erros gramaticais e verificações de significado semelhantes derivadas de grandes modelos de linguagem (LLMs). O ajuste fino supervisionado e o ajuste de aprendizado por reforço (RL) são usados ​​na técnica InstructGPT para melhorar o modelo. O desempenho de revisão do modelo é bastante melhorado por este procedimento.

## Implantação e desempenho

Usando quantização de 8 bits, o LLM PaLM2-XS de tamanho médio é adaptado para caber dentro de um único TPU v5 e serve como base para o recurso de revisão. A otimização reduz o custo de servir. Pesquisas anteriores demonstraram que segmentação, decodificação especulativa e chaves de bucket podem reduzir a latência.

## Impacto no mundo real

Dezenas de milhares de usuários do Pixel 8 se beneficiarão das edições de alta qualidade fornecidas pelo recurso Proofread, que já está disponível. Uma geração completa de dados sintéticos e várias iterações de ajuste fino produziram um modelo que reduz substancialmente os erros gramaticais, como visto por uma diminuição relativa de 5,74% na proporção ruim do modelo PaLM2-XS. Além disso, as otimizações resultaram em uma redução de 39,4% na latência média.

## Perspectivas futuras

[Este estudo](https://arxiv.org/abs/2406.04523) demonstra como os LLMs podem melhorar a experiência do usuário e criar possibilidades intrigantes para investigações futuras. A utilização de dados de utilizadores reais, suporte multilingue, assistência de escrita personalizada e soluções de privacidade de dispositivos são alguns exemplos de áreas que podem levar a novos avanços no setor.

A IA do Google está expandindo as possibilidades da tecnologia de teclado móvel com a introdução do recurso Proofread, melhorando a digitação para pessoas em todo o mundo.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI revela ‘Revisão’: recurso Gboard para correções fáceis de frases e parágrafos

As redes neurais profundas (DNNs) modernas são intrinsecamente opacas, tornando difícil compreender seus processos de tomada de decisão. Esta falta de transparência interfere na implementação extensiva de técnicas de Aprendizado de Máquina em diversos domínios. Em resposta, a AI Explicável (XAI) surgiu com a intenção de melhorar a compreensão humana dos julgamentos de DNN. Ao observar o propósito funcional de cada componente, o XAI agora também se concentra na compreensão do comportamento global das DNNs, em contraste com os métodos de explicação local que empregam mapas de saliência para explicar previsões individuais.

A interpretabilidade mecanística é uma técnica de explicabilidade global que se concentra em identificar as ideias específicas que os neurônios, as unidades computacionais fundamentais de uma rede neural, adquiriram a capacidade de compreender. Podemos explicar o funcionamento das representações latentes de uma rede rotulando os neurônios com descrições que sejam compreensíveis aos humanos. Essas descrições progrediram de rótulos simples para explicações elaboradas, composicionais e de vocabulário aberto. No entanto, a falta de métricas quantitativas padronizadas para avaliar estas descrições de vocabulário aberto tem dificultado comparações completas entre várias abordagens.

Para colmatar esta lacuna, investigadores da ATB Potsdam, da Universidade de Potsdam, da TU Berlin, do Fraunhofer Heinrich-Hertz-Institute e do BIFOLD apresentam o [CoSy](https://arxiv.org/abs/2405.20331), um quadro de avaliação quantitativa pioneiro para avaliar o uso de explicações de vocabulário aberto em modelos de visão computacional (CV). Este método inovador utiliza desenvolvimentos em IA generativa para produzir imagens artificiais que se correlacionam com descrições textuais baseadas em conceitos. aconchegante elimina a necessidade de interação humana, facilitando comparações quantitativas de diferentes abordagens de explicação textual baseadas em conceitos, sintetizando pontos de dados comuns para explicações alvo específicas.

A equipe de pesquisa demonstrou, por meio de uma extensa meta-análise, que Cozy oferece avaliações confiáveis ​​das explicações. O estudo descobriu que os métodos de explicação textual baseados em conceitos funcionam melhor nas camadas superiores das redes neurais, onde são aprendidos conceitos de alto nível. Explicações de neurônios de alta qualidade são produzidas por métodos como INVERT, que cria imagens a partir de representações de redes neurais, e CLIP-Dissect, que examina representações de redes internas. Por outro lado, técnicas como MILAN e FALCON produzem explicações de qualidade inferior, ocasionalmente fornecendo conceitos quase aleatórios, o que pode resultar em conclusões de rede imprecisas.

Uma grande desvantagem do CoSy, como reconhecem os investigadores, é que categorias específicas dos dados de treino podem não ter sido incluídas no modelo generativo, levando a explicações demasiado gerais ou ambíguas, como “objectos brancos”. A precisão gerativa pode ser aumentada resolvendo esse problema examinando conjuntos de dados de pré-treinamento e desempenho do modelo. Mesmo assim, Cozy apresenta muito potencial no campo ainda em desenvolvimento de avaliação de técnicas de explicação não locais.

Olhando para o futuro, a equipe está esperançosa com as aplicações potenciais do CoSy em vários campos. Para avaliar a plausibilidade ou qualidade de uma explicação relativa ao resultado de uma tarefa posterior, o julgamento humano deve ser incluído na definição da qualidade da explicação, que se pretende abordar em trabalhos futuros. Além disso, eles desejam incluir áreas adicionais como processamento de linguagem natural e saúde em seu sistema de avaliação. O uso potencial de aconchegante para avaliar modelos de linguagem grandes, opacos e autointerpretáveis ​​(LLMs) é especialmente interessante. De acordo com os investigadores, a aplicação do Cozy a conjuntos de dados de saúde, onde a qualidade da explicação é importante, pode ser um grande passo em frente. Essas possíveis aplicações futuras do Cosy têm um enorme potencial para o avanço da pesquisa em IA.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Compreendendo redes neurais: estrutura quantitativa do CoSy para avaliação de explicação textual

[Modelos baseados em transformadores](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) são famosos por sua capacidade de analisar e interpretar textos complexos. Eles baseiam-se na compreensão da ordem e do contexto das palavras – tarefas nas quais os métodos tradicionais de codificação posicional mostraram os seus limites. Abordando essa lacuna, o modelo ROFORMER, desenvolvido com **Rotary Position Embedding (RoPE)**, redefine nossa abordagem à codificação posicional.

## Codificação posicional tradicional

Os transformadores tratam o texto como uma série de tokens e permitem o **processamento paralelo de sequências** para maior eficiência. No entanto, esta força trouxe o seu desafio: o **agnosticismo inerente ao modelo em relação à ordem simbólica**. **Codificação posicional** foi a resposta, **fornecendo a cada token uma assinatura única denotando sua posição de sequência**.

### Incorporações de posição absoluta

Inicialmente, modelos como o BERT usavam **incorporações de posição absoluta, atribuindo um vetor fixo a cada posição em uma sequência**. Este método, embora direto, inerentemente **não tem a capacidade de se adaptar às variações de comprimento de sequência ou de enfatizar as distâncias relativas entre os tokens**, essenciais para a compreensão de muitas construções linguísticas.

### Incorporações de posição relativa

Para capturar a natureza dinâmica da linguagem, foram introduzidas incorporações de posição relativa, concentrando-se na distância entre os tokens em vez de em suas posições absolutas. Apesar de sua vantagem conceitual, essas incorporações introduziram **complexidade computacional e não conseguiram se integrar perfeitamente ao mecanismo de autoatenção dos Transformers**, limitando sua eficácia.

## ROFORMER e incorporação de posição rotativa

Reconhecendo as limitações das estratégias de codificação posicional existentes, a ROFORMER apresenta Rotary Position Embedding (RoPE), uma abordagem que combina os benefícios das informações de posição absoluta e relativa sem suas respectivas desvantagens.

### Incorporação de posição rotativa

RoPE codifica informações posicionais usando **matrizes de rotação**, permitindo que o modelo entenda não apenas onde um token está, mas como ele se relaciona com todos os outros tokens em uma sequência.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Ele opera através de lentes geométricas, tratando as posições dos tokens como pontos em um espaço multidimensional que são girados para marcar suas relações sequenciais. Essa rotação permite que o modelo preserve e explore pistas posicionais absolutas e relativas dentro de seu mecanismo de autoatenção.

### Implementando RoPE

A implementação do RoPE envolve codificar a posição de cada token em uma matriz de rotação e aplicar essa matriz dentro do mecanismo de autoatenção do Transformer. Este processo permite uma interpretação flexível e dinâmica de informações posicionais, acomodando comprimentos variados de sequência e capturando a essência dos inter-relacionamentos de tokens sem sobrecarga computacional significativa.

Primeiro, você precisará de uma função para gerar os embeddings rotativos e, em seguida, integrará esses embeddings ao seu modelo. O exemplo abaixo pressupõe que você esteja familiarizado com a criação de camadas personalizadas no Keras.

#### Etapa 1: Definir a função de incorporação rotativa

Esta função gera os embeddings rotativos dado o comprimento máximo da sequência e a dimensionalidade dos embeddings.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Esta linha calcula o inverso das frequências em escala exponencial com base nos índices de posição. Essas frequências são utilizadas na geração de padrões senoidais para incorporações rotativas, o que auxilia na codificação das informações posicionais relativas em sequências. Este mecanismo é particularmente útil em tarefas onde a compreensão da ordem e do posicionamento relativo dos elementos é crucial, como no processamento de linguagem natural ou na análise de séries temporais.

Em detalhes:

- `tf.range(0, dim, 2, dtype=tf.float32)` cria um intervalo de valores começando de 0 até `dim` (exclusivo), avançando em 2. O argumento `dtype=tf.float32` especifica que os elementos deste tensor são números de ponto flutuante de 32 bits. Se `dim` for 8, por exemplo, isso produziria `[0, 2, 4, 6]`.

- O tensor produzido por `tf.range` é então dividido pela dimensionalidade (`dim`) dos embeddings. Esta operação reduz esses índices para um intervalo entre 0 e 1 (exclusivo se `dim` for par, ligeiramente inclusivo se `dim` for ímpar, porque a etapa do intervalo ignora todos os outros valores). Continuando o exemplo com `dim` = 8, dividir por 8 resulta em `[0,0, 0,25, 0,5, 0,75]`.

- A operação `10000 ** (...)` eleva 10.000 à potência de cada elemento no tensor previamente escalado. A base de 10.000 é um tanto arbitrária, mas é escolhida para garantir que as frequências variem em uma ampla faixa, o que ajuda o modelo a diferenciar as diferentes posições de forma mais eficaz. Para `[0,0, 0,25, 0,5, 0,75]`, aplicaria a operação de potência a cada um, resultando em valores muito maiores para elementos mais altos.

- Por fim, a frequência inversa é obtida tomando o recíproco (1/x) dos valores do passo anterior. As frequências inversas são menores para índices mais altos, o que significa que os elementos mais adiante na sequência terão frequências menores, afetando a forma como suas posições são codificadas no modelo. Isso permite que os embeddings sejam dimensionados de forma que as posições relativas possam ser inferidas por meio dos mecanismos de atenção do modelo.

A linha:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

usa a função `tf.einsum` do TensorFlow, uma ferramenta que permite a expressão concisa e eficiente de operações tensorais usando a notação de soma de Einstein.

Esta operação calcula efetivamente o produto externo dos vetores `t` e `inv_freq`, resultando em uma matriz onde cada elemento `(i, j)` é o produto do `i`-ésimo elemento de `t` e o ` j`-ésimo elemento de `inv_freq`. Esta matriz (`freqs`) representa as frequências que são usadas para gerar os padrões senoidais para os embeddings rotativos.

#### Etapa 2: Camada Keras personalizada para incorporações rotativas

Agora, vamos criar uma camada Keras personalizada que aplica incorporações rotativas ao tensor de entrada. Esta camada assume que o tensor de entrada tem a forma `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

A linha `embeddings = self.rotary_embeddings[:seq_len]` seleciona o subconjunto apropriado de embeddings rotativos pré-calculados com base no comprimento da sequência de entrada atual. Como o comprimento das sequências pode variar de um lote para outro, esta operação de fatiamento garante que apenas os embeddings correspondentes ao comprimento real da sequência sejam usados.

A variável `embeddings` agora contém um tensor de forma `(seq_len, embedding_dim)`, onde `seq_len` é o comprimento das sequências no lote atual e `embedding_dim` é a dimensionalidade dos embeddings. Este tensor contém os embeddings posicionais rotativos para cada posição na sequência até `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combina transformações de seno e cosseno de frequências posicionais em um único tensor:

-`tf.cos(freqs)` e `tf.sin(freqs)` aplicam as transformações cosseno e seno, respectivamente, ao tensor `freqs`. O tensor `freqs` contém valores de frequência para cada posição na sequência de entrada e cada dimensão do espaço de incorporação, calculados com base nas posições da sequência e nas frequências inversas das dimensões de incorporação. As funções seno e cosseno são aplicadas elemento a elemento, resultando em dois tensores com a mesma forma de `freqs`. Estas transformações ajudam a codificar a posição de uma forma que capta a natureza cíclica das relações posicionais, facilitando a capacidade do modelo de compreender posições relativas.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatena os tensores transformados cosseno e seno ao longo do último eixo (denotado por `axis=-1`). Concatenar esses tensores lado a lado efetivamente dobra a dimensionalidade do tensor `freqs`, com a primeira metade representando valores transformados em cosseno e a segunda metade representando valores transformados em seno para cada posição. A concatenação garante que cada codificação posicional contenha informações de seno e cosseno, o que permite a preservação de informações sobre a amplitude e a fase dos sinais posicionais.

- O tensor concatenado `emb` agora contém os embeddings rotativos completos para as posições de entrada. A forma de `emb` será a mesma de `freqs` em suas duas primeiras dimensões (correspondendo às posições de sequência e dimensões de incorporação), mas sua última dimensão será duas vezes maior, contabilizando os valores de seno e cosseno. Esses embeddings são usados ​​para modular os embeddings de entrada adicionando informações posicionais de maneira rotacionalmente equivariante.

-`cos_emb = embeddings[:, Nenhum, :self.dim // 2]`:

1. Os primeiros dois pontos `:` significa "selecionar todos os elementos nesta dimensão", que, neste caso, refere-se a todas as posições na sequência.

2. `None` é usado para adicionar uma dimensão adicional, tornando o tensor tridimensional. Isso geralmente é feito para garantir a compatibilidade com determinadas operações que esperam entradas de um número específico de dimensões. Por exemplo, ao realizar a multiplicação elemento a elemento com outro tensor tridimensional, as formas devem se alinhar de acordo com as regras de transmissão.

3. `:self.dim // 2`, seleciona a primeira metade das dimensões no último eixo. Como `embedding_dimension` é duplicado para incluir os valores de seno e cosseno, dividir por 2 seleciona efetivamente apenas os componentes de cosseno dos embeddings.

#### Etapa 3: Integração com um modelo Keras

Depois de definir `RotaryEmbeddingLayer`, você pode integrá-lo ao seu modelo Keras. Esta camada deve ser aplicada aos seus embeddings antes de alimentá-los nas camadas de atenção ou em qualquer camada de modelo subsequente.

Aqui está um exemplo simplificado de como integrar os embeddings rotativos em um modelo:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: TRANSFORMADOR MELHORADO COM INCORPORAÇÃO EM POSIÇÃO ROTATIVA

[Link Arxiv](https://arxiv.org/abs/2403.13799)

20 de março de 2024

## A maldição da reversão

Grandes modelos de linguagem (LLMs) como [GPT-4](https://arxiv.org/abs/2303.08774) e [Llama-2](https://arxiv.org/abs/2307.09288) demonstraram habilidades impressionantes na compreensão e gerar texto semelhante ao humano, abrangendo uma vasta gama de conhecimentos. No entanto, falham numa tarefa aparentemente simples: reverter os factos aprendidos. Esta limitação, denominada "Maldição da Reversão", implica que os LLMs não podem deduzir que "B é uma característica de A" a partir da aprendizagem de que "A tem uma característica B", uma habilidade básica de raciocínio que até as crianças possuem. Este artigo apresenta o "Treinamento Reverso", um novo método para enfrentar esse desafio, aproveitando uma abordagem de treinamento de dupla direção para aprimorar a compreensão dos fatos pelo modelo nos formatos direto e reverso.

## As Origens da Maldição da Reversão

O problema surge da abordagem de treinamento fundamental dos LLMs, que normalmente envolve **aprendizagem autorregressiva, da esquerda para a direita**. Este método não ensina inerentemente os modelos a compreender ou gerar informações na ordem inversa. Dada a natureza da distribuição de dados de acordo com a lei de Zipf, muitos factos são mencionados apenas numa direcção, agravando esta questão. A "Maldição da Reversão" limita a compreensão dos LLMs sobre relações recíprocas e equivalência nas declarações, marcando uma lacuna significativa nas suas capacidades de raciocínio.

## Superando a maldição da reversão com treinamento reverso

A solução proposta, Reverse Training, duplica os dados de treinamento disponíveis, incluindo versões originais e invertidas de strings de treinamento. O processo de reversão toma cuidado para não alterar certas substrings, como nomes de entidades, mantendo sua sequência original para preservar o contexto. Este método, semelhante à introdução de uma segunda linguagem para o LLM aprender, melhora significativamente a capacidade do modelo de processar e gerar informações em ambas as direções.

## Testando o método de treinamento reverso

Os autores conduziram os seguintes experimentos para testar o método proposto:

**1- Tarefa Reversa Simbólica:** Um teste em ambiente controlado que demonstra a capacidade do método de inferir e aplicar relações invertidas.

**2- Tarefa de reversão de biografia:** utilização de um conjunto de dados de biografia para avaliar o desempenho na geração de nomes de pessoas a partir de determinados detalhes, ao contrário.

**3- Reversão de conhecimento do mundo real:** Avaliar a eficácia do método em cenários do mundo real, incluindo a reversão de fatos sobre celebridades e seus relacionamentos.

**4- Ajuste fino de fatos fictícios:** Testar a capacidade de aprendizagem do modelo em fatos fictícios revertidos recentemente introduzidos.

Através desses experimentos, o Treinamento Reverso não apenas mitigou a Maldição da Reversão, mas, em alguns casos, eliminou-a completamente. O método mostrou-se particularmente eficaz quando os nomes das entidades foram preservados na sua ordem original durante o processo de reversão, destacando a importância de manter certas âncoras contextuais.

## Implicações e direções futuras

O sucesso do Treinamento Reverso em abordar a Maldição da Reversão abre novos caminhos para metodologias de treinamento LLM. Ao melhorar a compreensão dos modelos sobre relações recíprocas e equivalência nas declarações, esta abordagem abre a porta para capacidades de raciocínio mais sofisticadas. Pesquisas futuras podem explorar uma maior otimização do processo de reversão, o potencial para integração do treinamento reverso em outras arquiteturas de modelos de linguagem e aplicações mais amplas deste método em tarefas de compreensão e geração de linguagem natural.

---

* Torne-se um profissional de codificação no seu próprio ritmo! Participe do [Bootcamp online de meio período](/) do Code Labs Academy e aprimore suas habilidades em codificação. Adapte o aprendizado à sua programação e comece sua jornada na tecnologia hoje mesmo!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Treinamento reverso para nutrir a maldição da reversão

[Link Arxiv](https://arxiv.org/abs/2403.12015)

18 de março de 2024

"Síntese rápida de imagens de alta resolução com destilação por difusão adversária latente" apresenta uma nova abordagem de destilação conhecida como destilação por difusão adversária latente (LADD). Esta abordagem foi projetada para abordar as limitações dos [modelos de difusão](https://en.wikipedia.org/wiki/Diffusion_model) existentes, particularmente o desafio da velocidade lenta de inferência, que dificulta aplicações em tempo real. O LADD permite a síntese de imagens de alta resolução e múltiplas proporções, destilando eficientemente grandes [modelos de difusão latente](https://arxiv.org/abs/2112.10752) (LDMs), simplificando significativamente o processo de treinamento e melhorando o desempenho em comparação com métodos anteriores .

Resumiremos as principais conclusões deste artigo.

## Introdução

Os modelos de difusão surgiram como uma ferramenta poderosa para síntese e edição de imagens e vídeos, oferecendo resultados de alta qualidade. No entanto, a sua natureza iterativa, exigindo inúmeras avaliações de rede para transformar o ruído em imagens coerentes, limitou a sua praticidade para aplicações em tempo real. Várias estratégias foram propostas para acelerar modelos de difusão. LADD introduz uma nova estratégia, aproveitando recursos generativos de LDMs pré-treinados, permitindo a síntese eficiente de imagens de alta resolução em uma fração das etapas exigidas pelos métodos tradicionais.

## Fundo

O artigo começa fornecendo uma visão geral dos modelos de difusão e sua [destilação](https://en.wikipedia.org/wiki/Knowledge_distillation). Os modelos de difusão tradicionais operam eliminando gradualmente o ruído de uma imagem através de muitas etapas iterativas, tornando o processo lento e computacionalmente caro. Os métodos de destilação, incluindo [Destilação por Difusão Adversarial](https://arxiv.org/abs/2311.17042) (ADD), procuraram agilizar esse processo, reduzindo o número de etapas necessárias. No entanto, o ADD enfrenta limitações como uma resolução fixa de treinamento e a necessidade de decodificação para o espaço RGB para destilar modelos de difusão latente, o que pode limitar o treinamento de alta resolução.

## Metodologia

O LADD resolve esses problemas **destilando diretamente no espaço latente**, **evitando assim a necessidade de decodificação para o espaço de pixel** e permitindo o treinamento em resoluções mais altas. Ao contrário do ADD, que depende de um discriminador pré-treinado operando no espaço de pixels, o LADD utiliza uma nova abordagem onde o discriminador e o modelo do professor são unificados, operando diretamente nos latentes. Este método não apenas simplifica o processo de treinamento, mas também oferece diversas vantagens, incluindo eficiência, a capacidade de fornecer feedback específico do nível de ruído e a capacidade de treinamento de Multi-Aspect Ratio (MAR).

## Experimentos e resultados

O artigo avalia extensivamente o LADD por meio de vários experimentos, demonstrando seu desempenho superior na síntese de imagens de alta resolução em apenas algumas etapas. Notavelmente, quando aplicado a [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), o LADD resulta em um modelo denominado SD3-Turbo, que atinge qualidade de imagem comparável ao estado- geradores de texto para imagem de última geração em apenas quatro etapas. Os experimentos também exploram o impacto de diferentes distribuições de ruído dos professores, o uso de dados sintéticos, abordagens de destilação latente e o comportamento de escala do LADD.

## Comparação com o estado da arte

A eficácia do LADD é ainda sublinhada por uma comparação com os principais métodos atuais de síntese de texto para imagem e de imagem para imagem. O SD3-Turbo não apenas corresponde ao desempenho de seu modelo de professor (SD3) em qualidade de imagem, mas também demonstra melhorias significativas em relação a outras linhas de base em termos de velocidade de inferência e alinhamento imagem-texto.

## Limitações e direções futuras

Apesar de seus avanços, o LADD não está isento de limitações. Os autores observam uma compensação entre a capacidade do modelo, o alinhamento imediato e a velocidade de inferência, o que poderia impactar a capacidade do modelo de lidar com certos desafios de síntese de texto para imagem. As direções de pesquisas futuras incluem explorar esse compromisso mais profundamente e desenvolver estratégias para aumentar o controle sobre os pontos fortes da orientação de imagem e texto.

## Conclusão

"Síntese rápida de imagens de alta resolução com destilação de difusão adversária latente" apresenta uma nova abordagem para síntese de imagem/vídeo que acelera significativamente a geração de imagens de alta qualidade a partir de prompts de texto. Ao destilar grandes modelos de difusão no espaço latente, o LADD abre caminho para aplicações em tempo real e estabelece um novo padrão de eficiência e desempenho na síntese de imagens.

---

*Code Labs Academy: [Bootcamp de codificação on-line](/) com planos de pagamento flexíveis*

Papéis explicados

Por que retornar ao escritório pós-pandemia pode prejudicar a produtividade: percepções de um especialista em negócios