Особливо у великих компаніях після пандемії COVID-19 відбулося помітне повернення до вимоги до роботи в офісі. [Марк Ма](https://business.pitt.edu/professors/mark-ma/), ад’юнкт-професор ділового адміністрування Вищої школи бізнесу Джозефа М. Каца при Піттсбурзькому університеті, і Ює Дін, Аспірант [досліджував цю модель](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Вони розглянули соціологічні та економічні наслідки віддаленої роботи, а також нещодавню ініціативу компаній повернути працівників в офіс, що часто дратує працівників.

Ма стверджує в [інтерв’ю з Хайсе](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html), що в все більше цифрове робоче середовище змушує працівників повертатися в офіс лише дратує їх і мало сприяє підвищенню продуктивності. Однак він визнає, що, якщо вона виконується добровільно та за підтримки команди, особиста робота може бути корисною та сприяти покращенню координації та командної роботи.

Ма пропонує дозволити високоефективним людям, які довели свою ефективність під час роботи вдома, продовжувати це робити, а не залишати всіх в офісі. Він вважає, що, утримуючи блискучих людей, які інакше могли б шукати роботу в іншому місці, ця стратегія зрештою принесе користь як роботодавцям, так і працівникам. Ма також пропонує регулярні особисті вправи з формування команди, щоб підтримувати міцну культуру компанії, що важливо для ефективного формування ідей і вирішення проблем.

Вершина цієї тенденції, здається, минула, навіть незважаючи на те, що кілька компаній вимагали від своїх співробітників повернутися в офіс після пандемії. Згідно з опитуваннями, проведеними в 2024 році, більшість генеральних директорів більше не надають великого значення роботі в офісі. Компанії дізналися, що працівники можуть бути досить продуктивними, працюючи віддалено під час пандемії. Але інші керівники все ще мають сумніви щодо віддаленої роботи, тому вони виступають за повернення в офіс. Моральний дух співробітників може постраждати в результаті такої недовіри, оскільки це передає співробітникам, що їхні керівники не вірять у них.

Незважаючи на те, що дистанційна робота може зменшити накладні витрати та потреби в просторі, великі компанії прагнуть повернути своїх працівників, що підвищує ймовірність того, що контроль і влада тут важливіші, ніж ціна. Ма зазначає, що багато компаній запровадили політику повернення в офіс у відповідь на падіння цін на акції, зручно використовуючи віддалену роботу як зручного цапа відпущення за низьку продуктивність.

Незважаючи на те, що все ще існує високий попит на віддалену роботу — багато офісних приміщень у великих містах, таких як Нью-Йорк, Сан-Франциско та Німеччина, вільні, — менеджери продовжують дотримуватись думки, що особисті працівники покращать співпрацю та бізнес-культуру. Але замість того, щоб працювати разом з колегами, багато працівників, які повернулися в офіс, кажуть, що проводять більшу частину часу, працюючи наодинці за комп’ютерами. Неефективність таких повноважень викликає сумнів через відсутність чіткої різниці між офісною та дистанційною роботою, а також через розчарування, яке відчувають працівники, коли їх змушують повернутися.

Працівники звикли до підвищення продуктивності та переваг балансу між роботою та особистим життям, які приходять із віддаленою роботою, наприклад, можливість краще поєднувати роботу та сімейне життя та уникати тривалих поїздок. Невдоволення виникає внаслідок зриву цих угод через примусове повернення в офіс. Крім того, існує думка, що відсутність роботи може перешкодити професійному росту.

Зрештою, Ма вважає, що якщо працівники будуть змушені повернутися на робоче місце на постійній основі, багато з них почнуть шукати інші професії, а ті, що залишаться, можуть стати менш мотивованими. Домашні офіси все ще поширені, оскільки вони забезпечують кращий баланс між роботою та особистим життям і нижчий рівень вигорання, незважаючи на їхні недоліки. Немає помітної різниці в продуктивності між віддаленою роботою та роботою в офісі, і робота вдома може бути такою ж відчуженою, як і відволікання офісів відкритого планування, де співробітники часто носять навушники, щоб зосередитися. Ма радить, щоб команди вибирали, скільки днів вони хочуть працювати в офісі, а решту часу залишали гнучким, щоб співробітники могли вибрати робоче середовище, яке їм подобається, навіть якщо людські контакти можуть бути корисними для компаній.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Чому повернення в офіс після пандемії може вплинути на продуктивність: думки бізнес-експерта

[Google AI](https://ai.google/) нещодавно представив нову функцію під назвою «Коригування» для Gboard, популярної мобільної програми для клавіатури. Одним дотиком ця функція дозволяє безперебійно вносити зміни та виправлення на рівні речень і абзаців, покращуючи загальний досвід друку.

## Вирішення проблеми «жирного пальця».

[Gboard](https://support.google.com/gboard/?hl=en) використовує статистичне декодування як засіб вирішення проблеми «жирного пальця», яка є природною неточністю сенсорного введення на маленьких екранах. Дослідження показують, що рівень помилок на лист може досягати 8-9 відсотків без декодування. Gboard має кілька функцій виправлення помилок, які спрощують і роблять введення тексту зручнішим. Ці функції поєднують завдання, виконані вручну за участю людини, із проактивними автоматизованими виправленнями.

## Комплексні засоби виправлення помилок

Функції Gboard, які включають завершення слів, передбачення наступного слова, активне автовиправлення (AC) і активне виправлення клавіш (KC), спрощують введення тексту. Ці інструменти включають інтелектуальну композицію, виправлення помилок і кілька слів-кандидатів на панелі пропозицій або вбудованих. Посткорекція (ПК) також полегшує виправлення помилок у словах, які вже були допущені. Незважаючи на ці функції, два ключові обмеження погіршують взаємодію з користувачем.

1. Хоча моделі корекції на пристрої, такі як KC, AC і PC, швидкі та компактні, вони мають труднощі з обробкою складних і складних помилок, які потребують більш тривалого контексту. Щоб запобігти активації цих моделей, користувачі повинні друкувати повільно й точно.

2. Швидкість набору тексту зменшується внаслідок того, що користувачам доводиться вручну виправляти введені слова за допомогою граматики та перевірки орфографії, що може бути важким для розуму та зору.

## Необхідність виправлення помилок високого рівня

Люди, які швидко друкують, часто ігнорують слова, які вони вже набрали, і зосереджуються лише на клавіатурі. Через це може виникнути більш високий рівень помилок, що потребуватиме використання речень або механізмів виправлення вищого рівня.

## Представляємо Коректуру

Коректура вирішує ці часті скарги, пропонуючи помітне підвищення продуктивності. Це спрощує виправлення помилок, надаючи виправлення на рівні речень і абзаців одним дотиком.

## Технологія коректури

Функція перевірки складається з чотирьох основних компонентів: створення даних, проектування показників, налаштування моделі та обслуговування моделі. Разом усі ці компоненти гарантують ефективність. Щоб гарантувати, що розподіл даних відповідає домену Gboard, система імітує часті помилки клавіатури за допомогою точної та методично побудованої синтетичної архітектури помилок.

## Розширені показники та оптимізація моделі

Щоб оцінити модель, дослідники включили ряд показників, з особливим наголосом на перевірці наявності граматичних помилок і подібних перевірках значення, отриманих з великих мовних моделей (LLM). Для покращення моделі в техніці InstructGPT використовуються контрольоване точне налаштування та налаштування навчання з підкріпленням (RL). Завдяки цій процедурі ефективність перевірки моделі значно покращується.

## Розгортання та продуктивність

Використовуючи 8-бітове квантування, LLM PaLM2-XS середнього розміру розроблено для розміщення в одному TPU v5 і служить основою для функції перевірки. Оптимізація знижує вартість обслуговування. Попередні дослідження показали, що сегментація, спекулятивне декодування та ключі сегментів можуть зменшити затримку.

## Реальний вплив

Десятки тисяч користувачів Pixel 8 отримають вигоду від високоякісних редагувань, що надаються функцією Proofread, яка тепер доступна. Ретельна генерація синтетичних даних і кілька ітерацій тонкого налаштування створили модель, яка істотно знижує кількість граматичних помилок, про що свідчить відносне зниження на 5,74 відсотка коефіцієнта Bad моделі PaLM2-XS. Крім того, оптимізація призвела до зменшення середньої затримки на 39,4%.

## Майбутні перспективи

[Це дослідження](https://arxiv.org/abs/2406.04523) демонструє, як магістерські програми можуть покращити роботу користувачів і створити інтригуючі можливості для подальшого дослідження. Використання даних реального користувача, багатомовна підтримка, індивідуальна допомога при написанні та рішення щодо конфіденційності пристроїв є кількома прикладами областей, які можуть сприяти подальшому прогресу в секторі.

Google AI розширює можливості технології мобільної клавіатури за допомогою функції Proofread, що покращує набір тексту для людей у ​​всьому світі.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI представляє «Коректуру»: функція Gboard для легкого виправлення речень і абзаців

Сучасні глибокі нейронні мережі (DNN) за своєю суттю непрозорі, що ускладнює розуміння процесів прийняття рішень у них. Цей брак прозорості заважає широкому впровадженню методів машинного навчання в різних областях. У відповідь на це з’явився Explainable AI (XAI), який має намір покращити розуміння людиною суджень DNN. Розглядаючи функціональне призначення кожного компонента, XAI тепер також зосереджується на розумінні глобальної поведінки DNN, на відміну від локальних методів пояснення, які використовують карти помітності для пояснення окремих прогнозів.

Механічна інтерпретованість — це глобальна техніка пояснюваності, яка зосереджена на визначенні конкретних ідей, які нейрони, фундаментальні обчислювальні одиниці нейронної мережі, набули здатності зрозуміти. Ми можемо пояснити роботу прихованих уявлень мережі, позначаючи нейрони описами, зрозумілими людям. Ці описи прогресували від простих міток до складних, композиційних і відкритих словникових пояснень. Тим не менш, відсутність стандартизованих кількісних показників для оцінки цих відкритих словникових описів перешкоджає ретельним порівнянням різних підходів.

Щоб усунути цю прогалину, дослідники з ATB Potsdam, Потсдамського університету, TU Berlin, Fraunhofer Heinrich-Hertz-Institute і BIFOLD представляють [CoSy](https://arxiv.org/abs/2405.20331), новаторську систему кількісного оцінювання для оцінка використання відкритих словникових пояснень у моделях комп’ютерного зору (CV). Цей інноваційний метод використовує розробки Generative AI для створення штучних зображень, які співвідносяться з концептуальними текстовими описами. cozy усуває потребу у людській взаємодії, полегшуючи кількісні порівняння різних підходів до текстових пояснень, заснованих на концепції, шляхом синтезу точок даних, загальних для конкретних цільових пояснень.

Дослідницька група продемонструвала за допомогою обширного мета-аналізу, що cosy пропонує надійні оцінки пояснень. Дослідження виявило, що методи текстового пояснення на основі понять найкраще працюють на верхніх рівнях нейронних мереж, де вивчаються поняття високого рівня. Високоякісні пояснення нейронів створюються за допомогою таких методів, як INVERT, який створює візуальні ефекти з уявлень нейронної мережі, і CLIP-Dissect, який досліджує уявлення внутрішньої мережі. Навпаки, такі методи, як MILAN і FALCON, дають пояснення нижчої якості, іноді надаючи майже випадкові концепції, що може призвести до неточних висновків мережі.

Головним недоліком CoSy, як визнають дослідники, є те, що певні категорії з навчальних даних могли не бути включені в генеративну модель, що призводило до надто загальних або неоднозначних пояснень, таких як «білі об’єкти». Генеративну точність можна підвищити, якщо вирішити цю проблему шляхом вивчення наборів даних перед навчанням і продуктивності моделі. Незважаючи на це, cozy демонструє великий потенціал у галузі оцінки нелокальних методів пояснення, яка все ще розвивається.

Заглядаючи вперед, команда сподівається на потенційні можливості застосування CoSy у багатьох сферах. Щоб оцінити правдоподібність або якість пояснення щодо результату подальшого завдання, людське судження повинно бути включене у визначення якості пояснення, яке вони хочуть розглянути в майбутній роботі. Крім того, вони хочуть включити в свою систему оцінювання додаткові сфери, як-от обробка природної мови та охорона здоров’я. Потенційне використання cosy для оцінки великих, непрозорих, автоінтерпретованих мовних моделей (LLM) особливо захоплююче. На думку дослідників, застосування cozy до наборів даних охорони здоров’я, де важлива якість пояснення, може стати великим кроком вперед. Ці потенційні майбутні застосування cosy мають величезний потенціал для просування досліджень ШІ.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Розуміння нейронних мереж: кількісна структура CoSy для оцінки текстових пояснень

[Моделі на основі трансформаторів](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) відомі своєю здатністю аналізувати та інтерпретувати складний текст. Вони покладаються на розуміння порядку та контексту слів - завдання, у яких традиційні методи позиційного кодування показали свої межі. Усуваючи цю прогалину, модель ROFORMER на базі **Rotary Position Embedding (RoPE)** переосмислює наш підхід до позиційного кодування.

## Традиційне позиційне кодування

Transformers розглядають текст як серію токенів і дозволяють **паралельну обробку послідовностей** для більшої ефективності. Однак ця перевага принесла свій виклик: **притаманний моделі агностицизм до символічного порядку**. **Позиційне кодування** було відповіддю, **забезпечуючи кожному маркеру унікальний підпис, що позначає його позицію в послідовності**.

### Вбудовування абсолютної позиції

Спочатку такі моделі, як BERT, використовували **вбудовування абсолютної позиції, призначаючи фіксований вектор для кожної позиції в послідовності**. Цей метод, хоч і простий, за своєю суттю **не має можливості адаптуватися до варіацій довжини послідовності або підкреслювати відносні відстані між лексемами**, критичні для розуміння багатьох лінгвістичних конструкцій.

### Вбудовування відносної позиції

Щоб відобразити динамічну природу мови, було запроваджено вбудовування відносної позиції, зосереджуючись на відстані між лексемами, а не на їхній абсолютній позиції. Незважаючи на свою концептуальну перевагу, ці вбудовування створили **обчислювальну складність і не змогли бездоганно інтегруватися в механізм самоуважності Трансформерів**, обмежуючи їхню ефективність.

## ROFORMER і поворотне положення

Визнаючи обмеження існуючих стратегій позиційного кодування, ROFORMER представляє Rotary Position Embedding (RoPE), підхід, який поєднує в собі переваги абсолютної та відносної інформації про позицію без відповідних недоліків.

### Вбудовування поворотної позиції

RoPE кодує позиційну інформацію за допомогою **матриць обертання**, що дає змогу моделі зрозуміти не лише те, де знаходиться маркер, а й те, як він пов’язаний з усіма іншими маркерами в послідовності.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Він діє через геометричну лінзу, розглядаючи позиції токенів як точки в багатовимірному просторі, які обертаються, щоб позначити їхні послідовні відносини. Це обертання дозволяє моделі зберігати та використовувати як абсолютні, так і відносні позиційні ознаки в рамках механізму самоуважності.

### Впровадження RoPE

Реалізація RoPE передбачає кодування позиції кожного маркера в матрицю обертання та застосування цієї матриці в механізмі самоуважності Transformer. Цей процес забезпечує гнучку, динамічну інтерпретацію позиційної інформації, враховуючи різну довжину послідовності та фіксуючи суть взаємозв’язків маркерів без значних обчислювальних витрат.

По-перше, вам знадобиться функція для генерації поворотних вбудовань, а потім ви інтегруєте ці вбудовані елементи у свою модель. У прикладі нижче передбачається, що ви знайомі зі створенням власних шарів у Keras.

#### Крок 1: Визначте функцію поворотного вбудовування

Ця функція генерує поворотні вбудовування з урахуванням максимальної довжини послідовності та розмірності вбудовування.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Цей рядок обчислює зворотну величину експоненціально масштабованих частот на основі індексів позиції. Ці частоти використовуються для генерації синусоїдальних шаблонів для поворотних вставок, що допомагає кодувати відносну позиційну інформацію в послідовностях. Цей механізм особливо корисний у завданнях, де розуміння порядку та відносного розташування елементів має вирішальне значення, наприклад, при обробці природної мови або аналізі часових рядів.

Детальніше:

- `tf.range(0, dim, 2, dtype=tf.float32)` створює діапазон значень, починаючи від 0 до `dim` (виключно), з кроком 2. Аргумент `dtype=tf.float32` визначає що елементи цього тензора є 32-розрядними числами з плаваючою комою. Наприклад, якщо `dim` дорівнює 8, це створить `[0, 2, 4, 6]`.

- Тензор, створений `tf.range`, потім ділиться на розмірність (`dim`) вкладень. Ця операція масштабує ці індекси до діапазону від 0 до 1 (за винятком, якщо `dim` є парним, трохи включає, якщо `dim` є непарним, оскільки крок діапазону пропускає кожне інше значення). Продовжуючи приклад із «dim» = 8, ділення на 8 дає «[0.0, 0.25, 0.5, 0.75]».

- Операція `10000 ** (...)` підносить 10 000 до степеня кожного елемента в попередньо масштабованому тензорі. База 10 000 є дещо довільною, але вибрана для того, щоб гарантувати, що частоти змінюються в широкому діапазоні, що допомагає моделі ефективніше розрізняти різні позиції. Для `[0.0, 0.25, 0.5, 0.75]` буде застосовано операцію ступеня до кожного, що призведе до значно більших значень для вищих елементів.

- Нарешті, обернену частоту отримують, беручи зворотне значення (1/x) значень із попереднього кроку. Зворотні частоти менші для вищих індексів, тобто елементи, які знаходяться далі в послідовності, матимуть менші частоти, що впливає на те, як їхні позиції кодуються в моделі. Це дозволяє масштабувати вкладення таким чином, щоб відносні позиції можна було визначити через механізми уваги моделі.

Лінія:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

використовує функцію TensorFlow `tf.einsum`, інструмент, який дозволяє стисле та ефективне вираження тензорних операцій за допомогою нотації підсумовування Ейнштейна.

Ця операція фактично обчислює зовнішній добуток векторів `t` і `inv_freq`, у результаті чого отримується матриця, де кожен елемент `(i, j)` є добутком `i`-го елемента `t` і ` j`-й елемент `inv_freq`. Ця матриця (`freqs`) представляє частоти, які використовуються для генерації синусоїдальних візерунків для поворотних вставок.

#### Крок 2: Користувацький шар Keras для поворотних вставок

Тепер давайте створимо спеціальний шар Keras, який застосовує поворотні вбудовування до вхідного тензора. Цей рівень передбачає, що вхідний тензор має форму `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Рядок `embeddings = self.rotary_embeddings[:seq_len]` вибирає відповідну підмножину попередньо обчислених поворотних вбудовань на основі поточної довжини вхідної послідовності. Оскільки довжина послідовностей може змінюватися від однієї партії до іншої, ця операція нарізки гарантує, що використовуються лише вбудовування, які відповідають фактичній довжині послідовності.

Змінна `embeddings` тепер містить тензор форми `(seq_len, embedding_dim)`, де `seq_len` — довжина послідовностей у поточному пакеті, а `embedding_dim` — розмірність вбудовувань. Цей тензор містить поворотні позиційні вкладення для кожної позиції в послідовності до `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` поєднує перетворення синусів і косинусів позиційних частот в один тензор:

-`tf.cos(freqs)` і `tf.sin(freqs)` застосовують перетворення косинуса та синуса відповідно до тензора `freqs`. Тензор "freqs" містить значення частоти для кожної позиції у вхідній послідовності та кожного виміру простору вбудовування, обчислені на основі позицій послідовності та зворотних частот вимірів вбудовування. Функції синус і косинус застосовуються поелементно, у результаті чого утворюються два тензори такої самої форми, як і `freqs`. Ці перетворення допомагають кодувати позицію таким чином, щоб відобразити циклічний характер позиційних зв’язків, сприяючи здатності моделі розуміти відносні позиції.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` об’єднує перетворені косинус і синус тензори вздовж останньої осі (позначається `axis=-1`). Об’єднання цих тензорів пліч-о-пліч ефективно подвоює розмірність тензора «freqs», причому перша половина представляє значення, перетворені в косинус, а друга половина — значення, перетворені в синус для кожної позиції. Конкатенація гарантує, що кожне позиційне кодування містить як синусну, так і косинусну інформацію, що дозволяє зберегти інформацію як про амплітуду, так і про фазу позиційних сигналів.

— Конкатенований тензор `emb` тепер містить повні поворотні вкладення для вхідних позицій. Форма `emb` буде такою самою, як `freqs`, у своїх перших двох вимірах (що відповідають позиціям послідовності та розмірам вбудовування), але його останній вимір буде вдвічі більшим, враховуючи як значення синуса, так і косинуса. Ці вбудовування використовуються для модуляції вхідних вбудовувань шляхом додавання позиційної інформації ротаційно-еквіваріантним способом.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Перша двокрапка `:` означає «вибрати всі елементи в цьому вимірі», що в даному випадку відноситься до всіх позицій у послідовності.

2. `None` використовується для додавання додаткового виміру, що робить тензор тривимірним. Це часто робиться для забезпечення сумісності з певними операціями, які очікують введення певної кількості розмірів. Наприклад, під час виконання поелементного множення з іншим тривимірним тензором фігури мають вирівнюватися відповідно до правил трансляції.

3. `:self.dim // 2`, вибирає першу половину розмірів на останній осі. Оскільки `embedding_dimension` подвоюється, щоб включати як значення синуса, так і косинуса, ділення на 2 ефективно вибирає лише компоненти косинуса вкладень.

#### Крок 3: Інтеграція з моделлю Keras

Після визначення `RotaryEmbeddingLayer` ви можете інтегрувати його у свою модель Keras. Цей шар слід застосувати до ваших вставок перед тим, як подавати їх у шари уваги або будь-які наступні шари моделі.

Ось спрощений приклад того, як інтегрувати поворотні вбудовування в модель:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: удосконалений трансформатор із вбудованим поворотним положенням

[Посилання на Arxiv](https://arxiv.org/abs/2403.13799)

20 березня 2024 р

## Скасування прокляття

Великі мовні моделі (LLM), такі як [GPT-4](https://arxiv.org/abs/2303.08774) і [Llama-2](https://arxiv.org/abs/2307.09288), продемонстрували вражаючі можливості розуміння і створення тексту, схожого на людину, що охоплює широкий спектр знань. Однак їм не вдається виконати, здавалося б, просте завдання: перевернути вивчені факти. Це обмеження, яке називається «Прокляттям зворотного зв’язку», передбачає, що магістратури не можуть зробити висновок про те, що «B є ознакою A» із вивчення «A має властивість B», базової навички міркування, якою володіють навіть діти. У цьому документі представлено «Зворотне навчання», новий метод для вирішення цієї проблеми шляхом використання підходу двоспрямованого навчання для покращення розуміння моделлю фактів у прямому та зворотному форматах.

## Походження прокляття скасування

Проблема виникає через фундаментальний підхід до підготовки магістра, який зазвичай передбачає **авторегресивне навчання зліва направо**. Цей метод за своєю суттю не навчає моделі розуміти або генерувати інформацію у зворотному порядку. Враховуючи характер розподілу даних згідно із законом Ціпфа, багато фактів згадуються лише в одному напрямку, що загострює цю проблему. «Зворотне прокляття» обмежує розуміння LLM взаємних зв’язків та еквівалентності у висловлюваннях, відзначаючи значний недолік у їхніх здібностях міркувати.

## Подолання зворотного прокляття за допомогою зворотного навчання

Запропоноване рішення, Reverse Training, подвоює доступні навчальні дані, включаючи оригінальні та зворотні версії навчальних рядків. Процес реверсування обережний, щоб не змінювати певні підрядки, наприклад імена об’єктів, зберігаючи їх оригінальну послідовність для збереження контексту. Цей метод, подібний до введення другої мови для вивчення LLM, значно покращує здатність моделі обробляти та генерувати інформацію в обох напрямках.

## Тестування методу зворотного навчання

Автори провели такі експерименти, щоб перевірити запропонований ними метод:

**1- Символічне зворотне завдання:** Перевірка в контрольованому середовищі, що демонструє здатність методу виводити та застосовувати зворотні зв’язки.

**2- Завдання реверсування біографії:** Використання набору даних біографії для оцінки ефективності генерування імен людей із заданих деталей у зворотному порядку.

**3- Перевертання знань у реальному світі:** Оцінка ефективності методу в сценаріях реального світу, включаючи перевернення фактів про знаменитостей та їхні стосунки.

**4- Точне налаштування вигаданих фактів:** Перевірка здатності моделі до навчання на нещодавно представлених, перевернутих вигаданих фактах.

У ході цих експериментів Зворотне навчання не лише пом’якшило Скасування Прокляття, але в деяких випадках повністю його знищило. Метод виявився особливо ефективним, коли назви об’єктів зберігалися в їх початковому порядку під час процесу розвороту, підкреслюючи важливість підтримки певних контекстних прив’язок.

## Наслідки та майбутні напрямки

Успіх Зворотного навчання у боротьбі з Прокляттям Скасування відкриває нові шляхи для методологій навчання LLM. Покращуючи розуміння моделями взаємних зв’язків і еквівалентності у висловлюваннях, цей підхід відкриває двері для більш складних можливостей міркування. Майбутні дослідження можуть вивчити подальшу оптимізацію процесу реверсування, потенціал для інтеграції зворотного навчання в інші архітектури мовної моделі та ширші застосування цього методу в задачах розуміння природної мови та генерації.

---

* Станьте професіоналом кодування у своєму власному темпі! Приєднуйтеся до Code Labs Academy [Online Part-Time Bootcamp](/) та вдосконалюйте навички програмування. Пристосуйте навчання до свого розкладу та розпочніть свою подорож у технологію вже сьогодні!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Зворотне навчання догляду за прокляттям

[Посилання на Arxiv](https://arxiv.org/abs/2403.12015)

18 березня 2024 р

«Швидкий синтез зображень високої роздільної здатності з прихованою протилежною дифузійною дистиляцією» представляє новий підхід дистиляції, відомий як прихована змагальна дифузійна дистиляція (LADD). Цей підхід розроблено для усунення обмежень існуючих [дифузійних моделей](https://en.wikipedia.org/wiki/Diffusion_model), зокрема проблеми низької швидкості висновку, яка перешкоджає додаткам у реальному часі. LADD дає змогу синтезувати зображення з високою роздільною здатністю та багатоаспектним співвідношенням шляхом ефективної дистиляції великих [моделей латентної дифузії](https://arxiv.org/abs/2112.10752) (LDM), значно спрощуючи процес навчання та підвищуючи продуктивність порівняно з попередніми методами .

Ми підсумуємо ключові висновки з цієї статті.

## Вступ

Дифузійні моделі стали потужним інструментом для синтезу та редагування зображень і відео, що забезпечує високоякісні результати. Однак їхня ітераційна природа, яка потребує численних мережевих оцінок для перетворення шуму в когерентні зображення, обмежує їх практичність для програм реального часу. Були запропоновані різні стратегії для прискорення дифузійних моделей. LADD представляє нову стратегію, яка використовує генеративні функції попередньо навчених LDM, що дозволяє ефективно синтезувати зображення з високою роздільною здатністю за частку кроків, необхідних традиційним методам.

## Фон

Стаття починається з огляду моделей дифузії та їх [дистиляції](https://en.wikipedia.org/wiki/Knowledge_distillation). Традиційні дифузійні моделі працюють шляхом поступового зменшення шуму зображення через багато ітераційних кроків, що робить процес повільним і обчислювально дорогим. Методи дистиляції, включно з [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), спрямовані на оптимізацію цього процесу шляхом зменшення кількості необхідних етапів. Однак ADD стикається з обмеженнями, такими як фіксована роздільна здатність навчання та необхідність декодування в простір RGB для дистиляції моделей прихованої дифузії, що може обмежити навчання високої роздільної здатності.

## Методика

LADD вирішує ці проблеми шляхом **дистиляції безпосередньо в латентному просторі**, тим самим **уникаючи необхідності декодувати в простір пікселів** і дозволяючи навчання з вищою роздільною здатністю. На відміну від ADD, який покладається на попередньо навчений дискримінатор, що працює в піксельному просторі, LADD використовує новий підхід, коли дискримінатор і модель викладача об’єднані, діючи безпосередньо на латентах. Цей метод не тільки спрощує процес навчання, але також забезпечує кілька переваг, включаючи ефективність, здатність забезпечувати специфічний зворотний зв’язок за рівнем шуму та можливість навчання Multi-Aspect Ratio (MAR).

## Експерименти та результати

У документі детально оцінюється LADD за допомогою різноманітних експериментів, демонструючи його чудову продуктивність у синтезі зображень високої роздільної здатності лише за кілька кроків. Примітно, що при застосуванні до [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) LADD призводить до моделі під назвою SD3-Turbo, яка забезпечує якість зображення, порівнянну зі станом найсучасніші генератори тексту в зображення всього за чотири кроки. Експерименти також досліджують вплив різних розподілів шуму вчителя, використання синтетичних даних, підходи прихованої дистиляції та поведінку масштабування LADD.

## Порівняння з найсучаснішим

Ефективність LADD ще більше підкреслюється порівнянням із поточними провідними методами синтезу тексту в зображення та зображення в зображення. SD3-Turbo не тільки відповідає продуктивності моделі викладача (SD3) за якістю зображення, але також демонструє значні покращення порівняно з іншими базовими рівнями щодо швидкості логічного висновку та вирівнювання зображення та тексту.

## Обмеження та майбутні напрямки

Незважаючи на свій прогрес, LADD не позбавлений обмежень. Автори відзначають компроміс між ємністю моделі, оперативним вирівнюванням і швидкістю висновку, що може вплинути на здатність моделі справлятися з певними проблемами синтезу тексту в зображення. Майбутні напрямки досліджень включають більш глибоке вивчення цього компромісу та розробку стратегій для посилення контролю над сильними сторонами вказівок із зображеннями та текстом.

## Висновок

«Швидкий синтез зображень високої роздільної здатності з дистиляцією прихованої протилежної дифузії» представляє новий підхід до синтезу зображень/відео, який значно прискорює створення високоякісних зображень із текстових підказок. Розміщуючи моделі великої дифузії в латентному просторі, LADD прокладає шлях для додатків у реальному часі та встановлює новий стандарт ефективності та продуктивності синтезу зображень.

---

*Code Labs Academy: [Онлайн-навчальний курс із кодування](/) із гнучкими планами оплати*

Документи пояснені

Чому повернення в офіс після пандемії може вплинути на продуктивність: думки бізнес-експерта