Especialmente en las empresas más grandes, se ha vuelto a exigir a los trabajadores que trabajen desde la oficina tras la pandemia de COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), profesor asociado de administración de empresas en la Escuela de Graduados en Negocios Joseph M. Katz de la Universidad de Pittsburgh, y Yuye Ding, un Estudiante de doctorado, he [investigado este patrón](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Han analizado los efectos sociológicos y económicos del trabajo a distancia, así como la reciente iniciativa de las empresas para que los trabajadores vuelvan a la oficina, lo que con frecuencia irrita a los trabajadores.

Ma sostiene en una [entrevista con Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) que, en un En un entorno de trabajo cada vez más digital, hacer que los trabajadores regresen a la oficina simplemente sirve para irritarlos y no contribuye mucho a aumentar la productividad. Sin embargo, admite que cuando se realiza de forma voluntaria y con el apoyo de un equipo, el trabajo en persona puede ser ventajoso y promover una mejor coordinación y trabajo en equipo.

Ma sugiere que a las personas de alto rendimiento que han demostrado su eficacia trabajando desde casa se les debería permitir continuar haciéndolo, en lugar de tener a todos en la oficina. Él piensa que al mantener a personas brillantes que de otro modo buscarían trabajo en otros lugares, esta estrategia beneficiará en última instancia tanto a los empleadores como a los empleados. Ma también sugiere ejercicios regulares de formación de equipos en persona para mantener sólida la cultura de la empresa, lo cual es esencial para la generación eficiente de ideas y la resolución de problemas.

El punto culminante de esta tendencia parece haber pasado, a pesar de que varias empresas exigieron que sus empleados regresaran a la oficina después de la pandemia. Según encuestas realizadas en 2024, la mayoría de los directores ejecutivos ya no valoran mucho estar en la oficina. Las empresas aprendieron que los trabajadores podrían ser bastante productivos trabajando de forma remota durante la pandemia. Pero otros directivos todavía tienen dudas sobre el trabajo a distancia, por lo que abogan por volver a la oficina. La moral de los empleados puede verse afectada como resultado de esta falta de confianza, ya que les transmite a los miembros del personal que sus gerentes no creen en ellos.

A pesar de que el teletrabajo puede reducir los gastos generales y los requisitos de espacio, las grandes empresas están ansiosas por que sus trabajadores regresen, lo que plantea la posibilidad de que el control y el poder estén en juego más que el precio. Ma señala que muchas empresas implementaron políticas de regreso a la oficina en respuesta a las caídas de los precios de las acciones, utilizando convenientemente el trabajo remoto como un útil chivo expiatorio en caso de un desempeño deficiente.

A pesar de que todavía hay una gran demanda de trabajo remoto (muchos espacios de oficina en las principales ciudades como Nueva York, San Francisco y Alemania están vacíos), los gerentes siguen manteniendo la opinión de que tener trabajadores en persona mejorará la cooperación y la cultura empresarial. Pero en lugar de trabajar junto con sus compañeros de trabajo, muchos trabajadores que han regresado a la oficina dicen que pasan la mayor parte del tiempo trabajando solos en sus computadoras. La ineficacia de tales mandatos se pone en duda por la falta de una distinción discernible entre trabajo en oficina y trabajo remoto, así como por la frustración que experimentan los empleados cuando se ven obligados a regresar.

Los trabajadores están acostumbrados al aumento de la productividad y a los beneficios del equilibrio entre la vida personal y laboral que conlleva el trabajo remoto, como la capacidad de integrar mejor la vida laboral y familiar y evitar largos desplazamientos. La insatisfacción se debe a que estos acuerdos se ven interrumpidos por el regreso forzoso a la oficina. Además, existe la percepción de que faltar al trabajo podría impedir el crecimiento profesional.

Al final, Ma cree que si los trabajadores se ven obligados a regresar al lugar de trabajo de forma permanente, muchos de ellos empezarían a buscar otras profesiones, y los que se quedan podrían estar menos motivados. Las oficinas en casa siguen siendo comunes porque proporcionan un mejor equilibrio entre el trabajo y la vida personal y menores tasas de agotamiento, a pesar de sus inconvenientes. No existe una diferencia de productividad perceptible entre trabajar de forma remota y en una oficina, y trabajar desde casa puede ser tan alienante como las distracciones de las oficinas de planta abierta donde los empleados frecuentemente usan auriculares para concentrarse. Ma aconseja que los equipos elijan cuántos días quieren trabajar en la oficina y dejen el resto del tiempo flexible para que los empleados puedan elegir su entorno de trabajo preferido, aunque los contactos humanos pueden ser beneficiosos para las empresas.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Por qué regresar a la oficina después de una pandemia puede perjudicar la productividad: ideas de un experto en negocios

[Google AI](https://ai.google/) introdujo recientemente una nueva función llamada 'Revisión' en Gboard, la popular aplicación de teclado móvil. Con un solo toque, esta función permite realizar modificaciones y correcciones fluidas a nivel de oración y párrafo, mejorando la experiencia general de escritura.

## Abordar el problema del "dedo gordo"

[Gboard](https://support.google.com/gboard/?hl=en) utiliza la decodificación estadística como una forma de abordar el problema del "dedo gordo", que es la imprecisión natural de la entrada táctil en pantallas pequeñas. Las investigaciones muestran que la tasa de error por letra puede alcanzar del 8 al 9 por ciento sin decodificar. Gboard viene con varias funciones de corrección de errores para que escribir sea más fácil y fluido. Estas características combinan tareas manuales que involucran intervención humana con correcciones proactivas y automatizadas.

## Herramientas integrales de corrección de errores

Escribir se hace más fácil en conjunto gracias a las funciones de Gboard, que incluyen finalización de palabras, predicciones de la siguiente palabra, autocorrección activa (AC) y corrección de clave activa (KC). Estas herramientas incluyen composición inteligente, corrección de errores y candidatos de varias palabras en la barra de sugerencias o en línea. La postcorrección (PC) también facilita la rectificación de errores en palabras que ya se han cometido. A pesar de estas características, dos restricciones clave perjudican la experiencia del usuario.

1. Si bien los modelos de corrección en el dispositivo, como KC, AC y PC, son rápidos y compactos, tienen dificultades para manejar errores sofisticados y complejos que necesitan contextos más largos. Para evitar que estos modelos se activen, los usuarios deben escribir de forma lenta y precisa.

2. La velocidad de escritura disminuye como resultado de que los usuarios tienen que corregir manualmente las palabras comprometidas utilizando correctores gramaticales y ortográficos, lo que puede resultar agotador mental y visualmente.

## La necesidad de una corrección de errores de alto nivel

Las personas que escriben rápido con frecuencia ignoran las palabras que ya han escrito y se concentran únicamente en el teclado. De esto pueden surgir tasas de error más altas, lo que requiere el uso de sentencias o mecanismos de corrección de nivel superior.

## Presentamos la revisión

Proofread resuelve estas quejas frecuentes ofreciendo aumentos notables de productividad. Simplifica la corrección de errores al proporcionar correcciones a nivel de oración y párrafo con un solo toque.

## La tecnología detrás de la revisión

La función Revisión se compone de cuatro componentes principales: producción de datos, diseño de métricas, ajuste de modelos y servicio de modelos. Juntos, todos estos componentes garantizan la eficacia. Para garantizar que la distribución de datos esté en línea con el dominio de Gboard, el sistema imita los errores frecuentes del teclado utilizando una arquitectura sintética de errores construida de manera precisa y metódica.

## Métricas avanzadas y optimización de modelos

Para evaluar el modelo, los investigadores han incorporado una serie de métricas, con especial énfasis en comprobaciones de presencia de errores gramaticales y comprobaciones de significado similares derivadas de modelos de lenguaje grandes (LLM). En la técnica InstructGPT se utilizan el ajuste fino supervisado y el aprendizaje por refuerzo (RL) para mejorar el modelo. Este procedimiento mejora enormemente el rendimiento de revisión del modelo.

## Implementación y rendimiento

Utilizando cuantificación de 8 bits, el LLM PaLM2-XS de tamaño mediano está diseñado para caber dentro de un único TPU v5 y sirve como base para la función Proofread. La optimización reduce el costo de servicio. Investigaciones anteriores han demostrado que la segmentación, la decodificación especulativa y las claves de depósito pueden reducir la latencia.

## Impacto en el mundo real

Decenas de miles de usuarios de Pixel 8 se beneficiarán de las ediciones de alta calidad proporcionadas por la función Corrección, que ya está disponible. Una generación exhaustiva de datos sintéticos y varias iteraciones de ajuste han producido un modelo que reduce sustancialmente los errores gramaticales, como se ve en una disminución relativa del 5,74 por ciento en el índice malo del modelo PaLM2-XS. Además, las optimizaciones han dado como resultado una disminución del 39,4 % en la latencia media.

## Perspectivas de futuro

[Este estudio](https://arxiv.org/abs/2406.04523) demuestra cómo los LLM podrían mejorar la experiencia del usuario y crear posibilidades interesantes para una mayor investigación. El uso de datos de usuarios reales, soporte multilingüe, asistencia de escritura personalizada y soluciones de privacidad de dispositivos son algunos ejemplos de áreas que podrían conducir a mayores avances en el sector.

Google AI está ampliando las posibilidades de la tecnología de teclado móvil con la introducción de la función Corrección, mejorando la escritura para personas de todo el mundo.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI presenta 'Revisión': función Gboard para correcciones de oraciones y párrafos sin esfuerzo

Las redes neuronales profundas (DNN) modernas son intrínsecamente opacas, lo que dificulta la comprensión de sus procesos de toma de decisiones. Esta falta de transparencia interfiere con la implementación extensiva de técnicas de aprendizaje automático en una variedad de dominios. En respuesta, ha surgido la IA explicable (XAI) con la intención de mejorar la comprensión humana de los juicios DNN. Al observar el propósito funcional de cada componente, XAI ahora también se enfoca en comprender el comportamiento global de las DNN, en contraste con los métodos de explicación local que emplean mapas de prominencia para explicar predicciones individuales.

La interpretabilidad mecanicista es una técnica de explicabilidad global que se centra en señalar las ideas particulares que las neuronas, las unidades informáticas fundamentales de una red neuronal, han adquirido la capacidad de comprender. Podemos explicar el funcionamiento de las representaciones latentes de una red etiquetando las neuronas con descripciones que sean comprensibles para los humanos. Estas descripciones han progresado desde etiquetas simples hasta explicaciones elaboradas, compositivas y de vocabulario abierto. Sin embargo, la falta de métricas cuantitativas estandarizadas para evaluar estas descripciones de vocabulario abierto ha dificultado las comparaciones exhaustivas entre varios enfoques.

Para abordar esta brecha, investigadores de ATB Potsdam, la Universidad de Potsdam, TU Berlin, el Instituto Fraunhofer Heinrich-Hertz y BIFOLD presentan [CoSy](https://arxiv.org/abs/2405.20331), un marco de evaluación cuantitativa pionero para Evaluación del uso de explicaciones de vocabulario abierto en modelos de visión por computadora (CV). Este método innovador hace uso de los avances en IA generativa para producir imágenes artificiales que se correlacionan con descripciones textuales basadas en conceptos. Cosy elimina la necesidad de interacción humana al facilitar comparaciones cuantitativas de diferentes enfoques de explicación textual basados ​​en conceptos al sintetizar puntos de datos comunes para explicaciones de objetivos particulares.

El equipo de investigación demostró mediante un extenso metanálisis que cosy ofrece evaluaciones fiables de las explicaciones. El estudio descubrió que los métodos de explicación textual basados ​​en conceptos funcionan mejor en las capas superiores de las redes neuronales, donde se aprenden conceptos de alto nivel. Se producen explicaciones neuronales de alta calidad mediante métodos como INVERT, que crea imágenes a partir de representaciones de redes neuronales, y CLIP-Dissect, que examina representaciones de redes internas. Por el contrario, técnicas como MILAN y FALCON producen explicaciones de calidad inferior, proporcionando en ocasiones conceptos casi aleatorios, lo que puede dar lugar a conclusiones de red inexactas.

Un inconveniente importante de CoSy, como reconocen los investigadores, es que es posible que categorías específicas de los datos de entrenamiento no se hayan incluido en el modelo generativo, lo que lleva a explicaciones demasiado generales o ambiguas, como "objetos blancos". La precisión generativa podría aumentar si se aborda este problema examinando los conjuntos de datos previos al entrenamiento y el rendimiento del modelo. Aún así, cosy exhibe mucho potencial en el campo aún en desarrollo de la evaluación de técnicas de explicación no locales.

De cara al futuro, el equipo tiene esperanzas sobre las posibles aplicaciones de CoSy en múltiples campos. Para evaluar la plausibilidad o calidad de una explicación relativa al resultado de una tarea posterior, se debe incluir el juicio humano en la definición de calidad de la explicación, que se desea abordar en trabajos futuros. Además, quieren incluir campos adicionales como el procesamiento del lenguaje natural y la atención médica en su sistema de evaluación. El uso potencial de cosy para evaluar modelos de lenguaje (LLM) grandes, opacos y autointerpretables es especialmente interesante. Según los investigadores, aplicar acogedor a conjuntos de datos sanitarios, donde la calidad de la explicación es importante, podría ser un gran paso adelante. Estas posibles aplicaciones futuras de cosy tienen un enorme potencial para avanzar en la investigación de la IA.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Comprensión de las redes neuronales: marco cuantitativo de CoSy para la evaluación de explicaciones textuales

Los [modelos basados ​​en transformadores](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) son famosos por su capacidad para analizar e interpretar textos complejos. Se basan en la comprensión del orden y el contexto de las palabras, tareas en las que los métodos tradicionales de codificación posicional han mostrado sus límites. Para abordar esta brecha, el modelo ROFORMER, impulsado por **Rotary Position Embedding (RoPE)**, redefine nuestro enfoque de codificación posicional.

## Codificación posicional tradicional

Los transformadores tratan el texto como una serie de tokens y permiten **procesamiento paralelo de secuencias** para una mayor eficiencia. Sin embargo, esta fortaleza trajo su desafío: el **agnosticismo inherente del modelo al orden simbólico**. **Codificación posicional** fue la respuesta, **proporcionando a cada token una firma única que denota su posición en la secuencia**.

### Incrustaciones de posición absoluta

Inicialmente, modelos como BERT usaban **incrustaciones de posiciones absolutas, asignando un vector fijo a cada posición en una secuencia**. Este método, aunque sencillo, inherentemente **carece de la capacidad de adaptarse a las variaciones en la longitud de la secuencia o de enfatizar las distancias relativas entre tokens**, algo fundamental para comprender muchas construcciones lingüísticas.

### Incrustaciones de posición relativa

Para capturar la naturaleza dinámica del lenguaje, se introdujeron incorporaciones de posiciones relativas, centrándose en la distancia entre tokens en lugar de sus posiciones absolutas. A pesar de su ventaja conceptual, estas incorporaciones introdujeron **complejidad computacional y no lograron integrarse perfectamente en el mecanismo de autoatención de Transformers**, lo que limitó su eficacia.

## ROFORMER e incrustación de posición rotativa

Al reconocer las limitaciones de las estrategias de codificación posicional existentes, ROFORMER presenta la incrustación de posición rotativa (RoPE), un enfoque que combina los beneficios de la información de posición absoluta y relativa sin sus respectivos inconvenientes.

### Incrustación de posición rotativa

RoPE codifica información posicional utilizando **matrices de rotación**, lo que permite que el modelo comprenda no solo dónde está un token, sino también cómo se relaciona con todos los demás tokens en una secuencia.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Opera a través de una lente geométrica, tratando las posiciones de los tokens como puntos en un espacio multidimensional que giran para marcar sus relaciones secuenciales. Esta rotación permite al modelo preservar y explotar señales posicionales tanto absolutas como relativas dentro de su mecanismo de autoatención.

### Implementación de RoPE

La implementación de RoPE implica codificar la posición de cada token en una matriz de rotación y aplicar esta matriz dentro del mecanismo de autoatención del Transformer. Este proceso permite una interpretación flexible y dinámica de la información posicional, acomodando longitudes de secuencia variables y capturando la esencia de las interrelaciones de tokens sin una sobrecarga computacional significativa.

Primero, necesitará una función para generar las incrustaciones rotativas y luego integrará estas incrustaciones en su modelo. El siguiente ejemplo supone que está familiarizado con la creación de capas personalizadas en Keras.

#### Paso 1: Definir la función de incrustación rotativa

Esta función genera las incrustaciones rotativas dada la longitud máxima de secuencia y la dimensionalidad de las incrustaciones.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Esta línea calcula la inversa de las frecuencias escaladas exponencialmente en función de los índices de posición. Estas frecuencias se utilizan para generar patrones sinusoidales para incrustaciones rotativas, lo que ayuda a codificar la información posicional relativa en secuencias. Este mecanismo es particularmente útil en tareas donde la comprensión del orden y la posición relativa de los elementos es crucial, como en el procesamiento del lenguaje natural o el análisis de series temporales.

En detalles:

- `tf.range(0, dim, 2, dtype=tf.float32)` crea un rango de valores desde 0 hasta `dim` (exclusivo), pasando a 2. El argumento `dtype=tf.float32` especifica que los elementos de este tensor son números de punto flotante de 32 bits. Si "dim" es 8, por ejemplo, esto produciría "[0, 2, 4, 6]".

- El tensor producido por `tf.range` se divide luego por la dimensionalidad (`dim`) de las incrustaciones. Esta operación reduce estos índices a un rango entre 0 y 1 (exclusivo si "dim" es par, ligeramente inclusivo si "dim" es impar, porque el paso del rango omite todos los demás valores). Continuando con el ejemplo con `dim` = 8, dividir por 8 produce `[0.0, 0.25, 0.5, 0.75]`.

- La operación `10000**(...)` eleva 10.000 a la potencia de cada elemento en el tensor previamente escalado. La base de 10.000 es algo arbitraria, pero se elige para garantizar que las frecuencias varíen en un amplio rango, lo que ayuda al modelo a diferenciar entre diferentes posiciones de manera más efectiva. Para "[0,0, 0,25, 0,5, 0,75]", aplicaría la operación de potencia a cada uno, lo que daría como resultado valores mucho mayores para elementos superiores.

- Finalmente, la frecuencia inversa se obtiene tomando el recíproco (1/x) de los valores del paso anterior. Las frecuencias inversas son más pequeñas para índices más altos, lo que significa que los elementos más adelante en la secuencia tendrán frecuencias más pequeñas, lo que afecta la forma en que se codifican sus posiciones en el modelo. Esto permite que las incrustaciones se escalen de una manera en la que se puedan inferir posiciones relativas a través de los mecanismos de atención del modelo.

La línea:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

utiliza la función `tf.einsum` de TensorFlow, una herramienta que permite la expresión concisa y eficiente de operaciones tensoriales utilizando la notación de suma de Einstein.

Esta operación calcula efectivamente el producto externo de los vectores `t` e `inv_freq`, lo que da como resultado una matriz donde cada elemento `(i, j)` es el producto del `i`-ésimo elemento de `t` y el ` j`-ésimo elemento de `inv_freq`. Esta matriz ("freqs") representa las frecuencias que se utilizan para generar los patrones sinusoidales para las incrustaciones rotativas.

#### Paso 2: Capa Keras personalizada para incrustaciones rotativas

Ahora, creemos una capa de Keras personalizada que aplique incrustaciones rotativas al tensor de entrada. Esta capa supone que el tensor de entrada tiene la forma `(batch_size, secuencia_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

La línea `embeddings = self.rotary_embeddings[:seq_len]` selecciona el subconjunto apropiado de incrustaciones rotativas precalculadas en función de la longitud de la secuencia de entrada actual. Dado que la longitud de las secuencias puede variar de un lote a otro, esta operación de corte garantiza que solo se utilicen las incrustaciones correspondientes a la longitud real de la secuencia.

La variable `incrustaciones` ahora contiene un tensor de forma `(seq_len, embedding_dim)`, donde `seq_len` es la longitud de las secuencias en el lote actual y `embedding_dim` es la dimensionalidad de las incrustaciones. Este tensor contiene las incrustaciones posicionales rotativas para cada posición en la secuencia hasta `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combina transformaciones de seno y coseno de frecuencias posicionales en un solo tensor:

-`tf.cos(freqs)` y `tf.sin(freqs)` aplican las transformaciones coseno y seno, respectivamente, al tensor `freqs`. El tensor `freqs` contiene valores de frecuencia para cada posición en la secuencia de entrada y cada dimensión del espacio de incrustación, calculados en función de las posiciones de la secuencia y las frecuencias inversas de las dimensiones de incrustación. Las funciones seno y coseno se aplican elemento por elemento, lo que da como resultado dos tensores de la misma forma que "freqs". Estas transformaciones ayudan a codificar la posición de una manera que captura la naturaleza cíclica de las relaciones posicionales, facilitando la capacidad del modelo para comprender posiciones relativas.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatena los tensores transformados en coseno y seno a lo largo del último eje (indicado por `axis=-1`). La concatenación de estos tensores uno al lado del otro duplica efectivamente la dimensionalidad del tensor de "frecuencias": la primera mitad representa valores transformados en coseno y la segunda mitad representa valores transformados en seno para cada posición. La concatenación asegura que cada codificación posicional contenga información tanto de seno como de coseno, lo que permite la preservación de información sobre la amplitud y la fase de las señales posicionales.

- El tensor concatenado `emb` ahora contiene las incrustaciones rotativas completas para las posiciones de entrada. La forma de "emb" será la misma que "freqs" en sus dos primeras dimensiones (correspondientes a posiciones de secuencia y dimensiones de incrustación), pero su última dimensión será dos veces más grande, teniendo en cuenta los valores de seno y coseno. Estas incorporaciones se utilizan para modular las incorporaciones de entrada agregando información posicional de una manera rotacionalmente equivariante.

-`cos_emb = incrustaciones[:, Ninguna, :self.dim // 2]`:

1. Los primeros dos puntos `:` significan "seleccionar todos los elementos en esta dimensión", que, en este caso, se refiere a todas las posiciones en la secuencia.

2. "Ninguno" se utiliza para agregar una dimensión adicional, haciendo que el tensor sea tridimensional. Esto suele hacerse para garantizar la compatibilidad con determinadas operaciones que esperan entradas de un número específico de dimensiones. Por ejemplo, al realizar una multiplicación de elementos con otro tensor tridimensional, las formas deben alinearse de acuerdo con las reglas de transmisión.

3. `:self.dim // 2`, selecciona la primera mitad de las dimensiones en el último eje. Dado que `embedding_dimension` se duplica para incluir valores de seno y coseno, dividir entre 2 selecciona efectivamente solo los componentes coseno de las incrustaciones.

#### Paso 3: Integración con un modelo Keras

Después de definir `RotaryEmbeddingLayer`, puede integrarlo en su modelo de Keras. Esta capa debe aplicarse a sus incrustaciones antes de introducirlas en las capas de atención o en cualquier capa de modelo posterior.

A continuación se muestra un ejemplo simplificado de cómo integrar las incrustaciones rotativas en un modelo:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: TRANSFORMADOR MEJORADO CON EMPOTRAR EN POSICIÓN GIRATORIA

[Enlace Arxiv](https://arxiv.org/abs/2403.13799)

20 de marzo de 2024

## La maldición de la reversión

Los modelos de lenguajes grandes (LLM) como [GPT-4](https://arxiv.org/abs/2303.08774) y [Llama-2](https://arxiv.org/abs/2307.09288) han demostrado impresionantes habilidades de comprensión. y generar texto similar al humano, que abarca una amplia gama de conocimientos. Sin embargo, fracasan en una tarea aparentemente sencilla: revertir los hechos aprendidos. Esta limitación, denominada "maldición de reversión", implica que los LLM no pueden deducir que "B es una característica de A" aprendiendo "A tiene una característica B", una habilidad de razonamiento básica que incluso los niños poseen. Este artículo presenta el "entrenamiento inverso", un método novedoso para abordar este desafío aprovechando un enfoque de entrenamiento de doble dirección para mejorar la comprensión de los hechos por parte del modelo en formatos directo e inverso.

## Los orígenes de la maldición revertida

El problema surge del enfoque de formación fundamental de los LLM, que normalmente implica **aprendizaje autorregresivo de izquierda a derecha**. Este método no enseña inherentemente a los modelos a comprender o generar información en el orden inverso. Dada la naturaleza de la distribución de datos según la ley de Zipf, muchos hechos sólo se mencionan en una dirección, lo que agrava este problema. La "maldición de la reversión" limita la comprensión de los LLM de las relaciones recíprocas y la equivalencia en las declaraciones, lo que marca una deficiencia significativa en sus capacidades de razonamiento.

## Superar la maldición de la inversión con entrenamiento inverso

La solución propuesta, Reverse Training, duplica los datos de entrenamiento disponibles al incluir versiones originales e invertidas de cadenas de entrenamiento. El proceso de inversión tiene cuidado de no alterar ciertas subcadenas, como los nombres de entidades, manteniendo su secuencia original para preservar el contexto. Este método, similar a introducir un segundo idioma para que lo aprenda el LLM, mejora significativamente la capacidad del modelo para procesar y generar información en ambas direcciones.

## Probando el método de entrenamiento inverso

Los autores realizaron los siguientes experimentos para probar el método propuesto:

**1- Tarea inversa simbólica:** Una prueba de entorno controlado que demuestra la capacidad del método para inferir y aplicar relaciones inversas.

**2- Tarea de biografía inversa:** Utilizar un conjunto de datos de biografía para evaluar el desempeño en la generación de nombres de personas a partir de detalles dados, a la inversa.

**3- Inversión del conocimiento del mundo real:** Evaluación de la efectividad del método en escenarios del mundo real, incluida la inversión de hechos sobre celebridades y sus relaciones.

**4- Ajuste de hechos ficticios:** Prueba de la capacidad de aprendizaje del modelo en hechos ficticios invertidos recientemente introducidos.

A través de estos experimentos, el Entrenamiento Inverso no sólo mitigó la Maldición Inversa sino que, en algunos casos, la eliminó por completo. El método resultó particularmente eficaz cuando los nombres de las entidades se conservaron en su orden original durante el proceso de reversión, destacando la importancia de mantener ciertos anclajes contextuales.

## Implicaciones y direcciones futuras

El éxito del entrenamiento inverso al abordar la maldición de la reversión abre nuevas vías para las metodologías de capacitación LLM. Al mejorar la comprensión de los modelos sobre las relaciones recíprocas y la equivalencia en los enunciados, este enfoque abre la puerta a capacidades de razonamiento más sofisticadas. Las investigaciones futuras pueden explorar una mayor optimización del proceso de inversión, el potencial para integrar el entrenamiento inverso en otras arquitecturas de modelos de lenguaje y aplicaciones más amplias de este método en tareas de generación y comprensión del lenguaje natural.

---

*¡Conviértete en un profesional de la codificación a tu propio ritmo! Únase al [Bootcamp en línea a tiempo parcial] de Code Labs Academy (https://codelabsacademy.com/) y mejore sus habilidades en codificación. ¡Ajuste el aprendizaje a su horario y comience su viaje hacia la tecnología hoy!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Entrenamiento inverso para cuidar la maldición de la inversión

[Enlace Arxiv](https://arxiv.org/abs/2403.12015)

18 de marzo de 2024

"Síntesis rápida de imágenes de alta resolución con destilación por difusión adversa latente" presenta un nuevo enfoque de destilación conocido como destilación por difusión adversa latente (LADD). Este enfoque está diseñado para abordar las limitaciones de los [modelos de difusión] existentes (https://en.wikipedia.org/wiki/Diffusion_model), en particular el desafío de la baja velocidad de inferencia, que obstaculiza las aplicaciones en tiempo real. LADD permite la síntesis de imágenes de alta resolución y múltiples relaciones de aspecto al destilar eficientemente grandes [modelos de difusión latente](https://arxiv.org/abs/2112.10752) (LDM), lo que simplifica significativamente el proceso de capacitación y mejora el rendimiento en comparación con métodos anteriores. .

Resumiremos las conclusiones clave de este documento.

## Introducción

Los modelos de difusión se han convertido en una poderosa herramienta para la síntesis y edición de imágenes y vídeos, ofreciendo resultados de alta calidad. Sin embargo, su naturaleza iterativa, que requiere numerosas evaluaciones de red para transformar el ruido en imágenes coherentes, ha limitado su practicidad para aplicaciones en tiempo real. Se han propuesto varias estrategias para acelerar los modelos de difusión. LADD introduce una nueva estrategia, aprovechando las características generativas de LDM previamente entrenados, lo que permite una síntesis eficiente de imágenes de alta resolución en una fracción de los pasos requeridos por los métodos tradicionales.

## Fondo

El artículo comienza brindando una descripción general de los modelos de difusión y su [destilación](https://en.wikipedia.org/wiki/Knowledge_distillation). Los modelos de difusión tradicionales funcionan eliminando gradualmente el ruido de una imagen a través de muchos pasos iterativos, lo que hace que el proceso sea lento y costoso desde el punto de vista computacional. Los métodos de destilación, incluida la [Destilación por difusión adversa](https://arxiv.org/abs/2311.17042) (ADD), han buscado agilizar este proceso reduciendo la cantidad de pasos necesarios. Sin embargo, ADD enfrenta limitaciones como una resolución de entrenamiento fija y la necesidad de decodificar al espacio RGB para destilar modelos de difusión latente, lo que puede limitar el entrenamiento de alta resolución.

## Metodología

LADD aborda estos problemas **destilando directamente en el espacio latente**, **evitando así la necesidad de decodificar al espacio de píxeles** y permitiendo el entrenamiento en resoluciones más altas. A diferencia de ADD, que se basa en un discriminador previamente entrenado que opera en el espacio de píxeles, LADD utiliza un enfoque novedoso en el que el modelo de discriminador y maestro están unificados y operan directamente sobre los latentes. Este método no solo simplifica el proceso de capacitación, sino que también proporciona varias ventajas, incluida la eficiencia, la capacidad de proporcionar retroalimentación específica del nivel de ruido y la capacidad de capacitación en relación de aspecto múltiple (MAR).

## Experimentos y resultados

El artículo evalúa exhaustivamente LADD a través de varios experimentos, demostrando su rendimiento superior en la síntesis de imágenes de alta resolución con solo unos pocos pasos. En particular, cuando se aplica a [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD da como resultado un modelo denominado SD3-Turbo, que logra una calidad de imagen comparable a la del estado. generadores de texto a imagen de última generación en sólo cuatro pasos. Los experimentos también exploran el impacto de diferentes distribuciones de ruido de los profesores, el uso de datos sintéticos, enfoques de destilación latente y el comportamiento de escala de LADD.

## Comparación con lo último en tecnología

La eficacia de LADD se destaca aún más mediante una comparación con los principales métodos actuales en síntesis de texto a imagen e imagen a imagen. SD3-Turbo no sólo iguala el rendimiento de su modelo docente (SD3) en calidad de imagen, sino que también demuestra mejoras significativas con respecto a otras líneas de base en términos de velocidad de inferencia y alineación imagen-texto.

## Limitaciones y direcciones futuras

A pesar de sus avances, LADD no está exento de limitaciones. Los autores señalan un equilibrio entre la capacidad del modelo, la alineación rápida y la velocidad de inferencia, lo que podría afectar la capacidad del modelo para manejar ciertos desafíos de síntesis de texto a imagen. Las direcciones de investigación futuras incluyen explorar esta compensación más profundamente y desarrollar estrategias para mejorar el control sobre las fortalezas de la guía de imágenes y texto.

## Conclusión

"Síntesis rápida de imágenes de alta resolución con destilación por difusión adversa latente" presenta un nuevo enfoque para la síntesis de imágenes/vídeo que acelera significativamente la generación de imágenes de alta calidad a partir de indicaciones de texto. Al destilar grandes modelos de difusión en el espacio latente, LADD allana el camino para aplicaciones en tiempo real y establece un nuevo estándar de eficiencia y rendimiento en la síntesis de imágenes.

---

*Code Labs Academy: [Bootcamp de codificación en línea](/) con planes de pago flexibles*

Artículos explicados

Por qué regresar a la oficina después de una pandemia puede perjudicar la productividad: ideas de un experto en negocios