Szczególnie w większych firmach po pandemii Covid-19 zauważalny jest powrót do wymagania od pracowników pracy w biurze. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), profesor nadzwyczajny administracji biznesowej w Joseph M. Katz Graduate School of Business na Uniwersytecie w Pittsburghu, oraz Yuye Ding, Doktorant, [przeanalizowałem ten wzór](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Przyjrzeli się socjologicznym i ekonomicznym skutkom pracy zdalnej, a także niedawnej inicjatywie przedsiębiorstw mającej na celu przywrócenie pracowników do biur, co często ich irytuje.

W [wywiadzie z Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) Ma twierdzi, że w coraz bardziej cyfrowe środowisko pracy, zmuszanie pracowników do powrotu do biura jedynie ich irytuje i w niewielkim stopniu zwiększa produktywność. Przyznaje jednak, że praca osobista, wykonywana dobrowolnie i przy wsparciu zespołowym, może być korzystna i sprzyjać lepszej koordynacji i pracy zespołowej.

Ma sugeruje, że osobom osiągającym wysokie wyniki, które udowodniły swoją skuteczność w pracy z domu, należy pozwolić na jej kontynuację, a nie na zatrudnianie wszystkich w biurze. Uważa on, że strategia ta, zatrzymując w firmie błyskotliwe osoby, które w przeciwnym razie mogłyby szukać pracy gdzie indziej, ostatecznie przyniesie korzyści zarówno pracodawcom, jak i pracownikom. Ma sugeruje również regularne osobiste ćwiczenia budowania zespołu, aby utrzymać solidną kulturę firmy, co jest niezbędne do skutecznego generowania pomysłów i rozwiązywania problemów.

Wydaje się, że apogeum tej tendencji minęło, mimo że po pandemii kilka firm wymagało od pracowników powrotu do biur. Według badań przeprowadzonych w 2024 r. większość dyrektorów generalnych nie przywiązuje już dużej wagi do przebywania w biurze. Firmy dowiedziały się, że podczas pandemii pracownicy mogą być dość produktywni, pracując zdalnie. Jednak inni menedżerowie nadal mają wątpliwości co do pracy zdalnej, dlatego opowiadają się za powrotem do biura. Na skutek braku zaufania może ucierpieć morale pracowników, ponieważ daje im to do zrozumienia, że ​​ich przełożeni w nich nie wierzą.

Pomimo faktu, że telepraca może obniżyć koszty ogólne i zapotrzebowanie na przestrzeń, duże firmy chętnie chcą powrotu swoich pracowników, co zwiększa prawdopodobieństwo, że w tym przypadku ważniejsza jest kontrola i władza niż cena. Ma wskazuje, że wiele firm wdrożyło zasady powrotu do biura w odpowiedzi na spadki cen akcji, w wygodny sposób wykorzystując pracę zdalną jako kozła ofiarnego za słabą wydajność.

Pomimo faktu, że nadal istnieje duże zapotrzebowanie na pracę zdalną – wiele powierzchni biurowych w dużych miastach, takich jak Nowy Jork, San Francisco i Niemcy, pozostaje wolnych, menedżerowie w dalszym ciągu uważają, że osobista obecność pracowników poprawi współpracę i kulturę biznesową. Jednak zamiast współpracować ze współpracownikami, wielu pracowników, którzy wrócili do biura, twierdzi, że większość czasu spędzają samotnie, pracując na swoich komputerach. Nieskuteczność takich mandatów poddaje w wątpliwość brak wyraźnego rozróżnienia między pracą biurową a pracą zdalną, a także frustrację, jakiej doświadczają pracownicy, gdy są zmuszeni do powrotu.

Pracownicy są przyzwyczajeni do zwiększonej produktywności i korzyści płynących z równowagi między życiem zawodowym a prywatnym, jakie wiążą się z pracą zdalną, takich jak możliwość lepszego integrowania życia zawodowego i rodzinnego oraz unikania długich dojazdów do pracy. Niezadowolenie wynika z zerwania tych porozumień przez przymusowy powrót do biura. Ponadto panuje przekonanie, że brak pracy może utrudniać rozwój zawodowy.

Ostatecznie Ma uważa, że ​​jeśli pracownicy będą zmuszeni do powrotu do pracy na stałe, wielu z nich zacznie szukać innego zawodu, a ci, którzy pozostaną, mogą stracić motywację. Biura domowe są nadal popularne, ponieważ zapewniają lepszą równowagę między życiem zawodowym a prywatnym i niższy wskaźnik wypalenia zawodowego, pomimo ich wad. Nie ma zauważalnej różnicy w produktywności pomiędzy pracą zdalną a pracą w biurze, a praca w domu może być równie wyobcowana, jak rozpraszacze w biurach na planie otwartym, gdzie pracownicy często noszą słuchawki, aby się skupić. Ma radzi, aby zespoły wybierały, ile dni chcą pracować w biurze, a resztę czasu pozostawiały elastyczne, aby pracownicy mogli wybrać preferowane środowisko pracy, mimo że kontakty międzyludzkie mogą być korzystne dla firm.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Dlaczego powrót do biura po pandemii może zaszkodzić produktywności: spostrzeżenia eksperta biznesowego

[Google AI](https://ai.google/) niedawno wprowadziło nową funkcję o nazwie „Korekta” w Gboard, popularnej aplikacji na klawiaturę mobilną. Funkcja ta umożliwia płynne wprowadzanie modyfikacji i poprawek na poziomie zdań i akapitów jednym dotknięciem, poprawiając ogólną wygodę pisania.

## Rozwiązanie problemu „grubego palca”.

[Gboard](https://support.google.com/gboard/?hl=en) wykorzystuje dekodowanie statystyczne, aby rozwiązać problem „grubego palca”, czyli naturalnej niedokładności wprowadzania dotykowego na małych ekranach. Badania pokazują, że bez dekodowania wskaźnik błędów na literę może sięgać od 8 do 9 procent. Gboard jest wyposażony w kilka funkcji korygujących błędy, dzięki którym pisanie jest łatwiejsze i płynniejsze. Funkcje te łączą ręczne zadania wymagające udziału człowieka z proaktywnymi, zautomatyzowanymi poprawkami.

## Kompleksowe narzędzia do korekcji błędów

Pisanie jest łatwiejsze dzięki funkcjom Gboard, które obejmują uzupełnianie słów, przewidywanie następnego słowa, aktywną autokorektę (AC) i aktywną korektę klawiszy (KC). Narzędzia te obejmują inteligentną kompozycję, korekcję błędów i propozycje wielu słów na pasku sugestii lub w tekście. Postkorekta (PC) ułatwia także sprostowanie błędów w słowach, które już zostały popełnione. Pomimo tych funkcji, dwa kluczowe ograniczenia pogarszają wygodę użytkownika.

1. Chociaż modele korekcji na urządzeniu, takie jak KC, AC i PC, są szybkie i kompaktowe, mają trudności z obsługą wyrafinowanych i złożonych błędów, które wymagają dłuższych kontekstów. Aby zapobiec aktywacji tych modeli, użytkownicy muszą pisać powoli i precyzyjnie.

2. Szybkość pisania spada, ponieważ użytkownicy muszą ręcznie poprawiać wprowadzone słowa za pomocą modułów sprawdzania gramatyki i pisowni, co może być obciążające psychicznie i wizualnie.

## Potrzeba korekcji błędów wysokiego poziomu

Osoby szybko piszące często ignorują słowa, które już napisały i koncentrują się wyłącznie na klawiaturze. Może to wynikać z wyższych poziomów błędów, co wymaga zastosowania mechanizmów korekcji zdań lub wyższego poziomu.

## Przedstawiamy korektę

Korekta rozwiązuje te częste skargi, oferując znaczny wzrost produktywności. Ułatwia korekcję błędów, zapewniając poprawki na poziomie zdania i akapitu jednym dotknięciem.

## Technologia korekty

Funkcja korekty składa się z czterech głównych komponentów: tworzenia danych, projektowania metryk, poprawiania modelu i udostępniania modelu. Wszystkie te składniki razem gwarantują skuteczność. Aby zapewnić zgodność dystrybucji danych z domeną Gboard, system naśladuje częste błędy klawiatury, korzystając z precyzyjnie i metodycznie zbudowanej architektury syntetycznej błędów.

## Zaawansowane metryki i optymalizacja modelu

Aby ocenić model, badacze włączyli szereg wskaźników, ze szczególnym uwzględnieniem kontroli obecności błędów gramatycznych i podobnych kontroli znaczenia pochodzących z dużych modeli językowych (LLM). W technice InstructGPT stosuje się nadzorowane dostrajanie precyzyjne i dostrajanie poprzez uczenie się przez wzmacnianie (RL) w celu ulepszenia modelu. Ta procedura znacznie poprawia wydajność korekty modelu.

## Wdrożenie i wydajność

Wykorzystując 8-bitową kwantyzację, średniej wielkości LLM PaLM2-XS jest dostosowany tak, aby zmieścił się w pojedynczym TPU v5 i służy jako podstawa funkcji Korekty. Optymalizacja obniża koszt obsługi. Wcześniejsze badania wykazały, że segmentacja, dekodowanie spekulatywne i klucze segmentowe mogą zmniejszyć opóźnienia.

## Wpływ na świat rzeczywisty

Dziesiątki tysięcy użytkowników Pixela 8 skorzystają z wysokiej jakości edycji zapewnianych przez dostępną już funkcję Korekta. Dokładne generowanie danych syntetycznych i kilka iteracji dostrajania pozwoliło uzyskać model, który znacznie zmniejsza liczbę błędów gramatycznych, co widać po względnym zmniejszeniu współczynnika Bad modelu PaLM2-XS o 5,74%. Dodatkowo optymalizacje spowodowały zmniejszenie średniego opóźnienia o 39,4%.

## Perspektywy na przyszłość

[To badanie](https://arxiv.org/abs/2406.04523) pokazuje, jak LLM mogą poprawić doświadczenia użytkowników i stworzyć intrygujące możliwości dalszych badań. Wykorzystanie danych rzeczywistych użytkowników, wsparcie wielojęzyczne, dostosowana pomoc w pisaniu i rozwiązania w zakresie prywatności urządzenia to tylko kilka przykładów obszarów, które mogą prowadzić do dalszego postępu w branży.

Google AI poszerza możliwości technologii klawiatur mobilnych, wprowadzając funkcję Korekty, usprawniając pisanie dla ludzi na całym świecie.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI przedstawia „Korektę”: funkcję Gboard ułatwiającą poprawianie zdań i akapitów

Nowoczesne głębokie sieci neuronowe (DNN) są z natury nieprzejrzyste, co utrudnia zrozumienie ich procesów decyzyjnych. Ten brak przejrzystości utrudnia szerokie wdrażanie technik uczenia maszynowego w różnych dziedzinach. W odpowiedzi na powierzchnię pojawiła się wyjaśnialna sztuczna inteligencja (XAI), której celem jest poprawa ludzkiego zrozumienia orzeczeń DNN. Przyglądając się funkcjonalnemu celowi każdego komponentu, XAI koncentruje się teraz również na zrozumieniu globalnego zachowania DNN, w przeciwieństwie do lokalnych metod wyjaśniania, które wykorzystują mapy istotności do wyjaśniania indywidualnych przewidywań.

Interpretowalność mechanistyczna to technika wyjaśnialności globalnej, która koncentruje się na wskazywaniu konkretnych idei, które neurony, podstawowe jednostki obliczeniowe sieci neuronowej, nabyły zdolność rozumienia. Możemy wyjaśnić działanie ukrytych reprezentacji sieci, oznaczając neurony opisami zrozumiałymi dla człowieka. Opisy te ewoluowały od prostych etykiet do rozbudowanych wyjaśnień dotyczących składu i otwartego słownictwa. Niemniej jednak brak standardowych wskaźników ilościowych do oceny opisów opartych na otwartym słownictwie utrudnia dokładne porównania różnych podejść.

Aby wypełnić tę lukę, badacze z ATB Potsdam, Uniwersytetu w Poczdamie, TU Berlin, Fraunhofer Heinrich-Hertz-Institute i BIFOLD wprowadzają [CoSy](https://arxiv.org/abs/2405.20331), pionierskie ramy oceny ilościowej dla ocena wykorzystania wyjaśnień opartych na otwartym słownictwie w modelach widzenia komputerowego (CV). Ta innowacyjna metoda wykorzystuje rozwój generatywnej sztucznej inteligencji do tworzenia sztucznych obrazów, które odpowiadają opisom tekstowym opartym na koncepcjach. Cosy eliminuje potrzebę interakcji międzyludzkiej, ułatwiając porównania ilościowe różnych podejść do wyjaśniania tekstu opartego na koncepcjach poprzez syntezę punktów danych wspólnych dla poszczególnych wyjaśnień docelowych.

Zespół badawczy wykazał w obszernej metaanalizie, że Cosy zapewnia wiarygodną ocenę wyjaśnień. W badaniu odkryto, że metody wyjaśniania tekstu oparte na pojęciach najlepiej sprawdzają się w wyższych warstwach sieci neuronowych, gdzie uczą się pojęć wysokiego poziomu. Wysokiej jakości wyjaśnienia neuronów są tworzone przy użyciu metod takich jak INVERT, który tworzy wizualizacje na podstawie reprezentacji sieci neuronowych, oraz CLIP-Dissect, który bada reprezentacje sieci wewnętrznej. Z drugiej strony techniki takie jak MILAN i FALCON dają wyjaśnienia gorszej jakości, czasami dostarczając niemal przypadkowych koncepcji, co może skutkować niedokładnymi wnioskami sieciowymi.

Naukowcy przyznają, że główną wadą CoSy jest to, że określone kategorie z danych uczących mogły nie zostać uwzględnione w modelu generatywnym, co prowadziło do zbyt ogólnych lub niejednoznacznych wyjaśnień, takich jak „białe obiekty”. Dokładność generacyjną można zwiększyć, rozwiązując ten problem, sprawdzając zbiory danych przed uczeniem i wydajność modelu. Mimo to, Cosy wykazuje duży potencjał w wciąż rozwijającej się dziedzinie oceny nielokalnych technik wyjaśniania.

Patrząc w przyszłość, zespół z nadzieją patrzy w potencjalne zastosowania CoSy w wielu dziedzinach. Aby ocenić wiarygodność lub jakość wyjaśnienia dotyczącego wyniku dalszego zadania, w definicji jakości wyjaśnienia należy uwzględnić ludzki osąd, którym chcą się zająć w przyszłych pracach. Ponadto chcą uwzględnić w swoim systemie oceny dodatkowe dziedziny, takie jak przetwarzanie języka naturalnego i opieka zdrowotna. Szczególnie ekscytujące jest potencjalne wykorzystanie języka przytulnego do oceny dużych, nieprzejrzystych, autointerpretowalnych modeli językowych (LLM). Zdaniem naukowców zastosowanie przytulnych zbiorów danych dotyczących opieki zdrowotnej, gdzie ważna jest jakość wyjaśnień, mogłoby być dużym krokiem naprzód. Te potencjalne przyszłe zastosowania Cosy mają ogromny potencjał w zakresie rozwoju badań nad sztuczną inteligencją.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Zrozumienie sieci neuronowych: ramy ilościowe CoSy do oceny wyjaśnień tekstowych

[Modele oparte na transformatorach](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) słyną z możliwości analizowania i interpretowania złożonego tekstu. Polegają na zrozumieniu kolejności i kontekstu słów – zadań, w przypadku których tradycyjne metody kodowania pozycyjnego pokazały swoje ograniczenia. Wypełniając tę ​​lukę, model ROFORMER, wyposażony w **Rotary Position Embedding (RoPE)**, na nowo definiuje nasze podejście do kodowania pozycyjnego.

## Tradycyjne kodowanie pozycyjne

Transformatory traktują tekst jako serię tokenów i umożliwiają **równoległe przetwarzanie sekwencji** dla większej wydajności. Jednak ta siła niosła ze sobą wyzwanie: **wrodzony agnostycyzm modelu w stosunku do symbolicznego porządku**. Odpowiedzią było **kodowanie pozycyjne**, **zapewniające każdemu tokenowi unikalny podpis określający jego pozycję w sekwencji**.

### Osadzanie pozycji bezwzględnej

Początkowo modele takie jak BERT stosowały **osadzanie pozycji bezwzględnych, przypisując stały wektor do każdej pozycji w sekwencji**. Ta metoda, choć prosta, z natury **nie ma możliwości dostosowania się do zmian długości sekwencji ani podkreślenia względnych odległości między tokenami**, co jest krytyczne dla zrozumienia wielu konstrukcji językowych.

### Osadzenia w pozycji względnej

Aby uchwycić dynamiczną naturę języka, wprowadzono osadzanie pozycji względnych, koncentrując się na odległości między tokenami, a nie na ich pozycjach bezwzględnych. Pomimo przewagi koncepcyjnej, te osadzania wprowadziły **złożoność obliczeniową i nie udało się płynnie zintegrować z mechanizmem samouważności Transformatorów**, ograniczając ich skuteczność.

## ROFORMER i osadzanie w pozycji obrotowej

Uznając ograniczenia istniejących strategii kodowania pozycyjnego, ROFORMER wprowadza Rotary Position Embedding (RoPE), podejście, które łączy zalety informacji o pozycji bezwzględnej i względnej bez ich wad.

### Osadzanie w pozycji obrotowej

RoPE koduje informacje o pozycji za pomocą **macierzy rotacji**, umożliwiając modelowi zrozumienie nie tylko tego, gdzie znajduje się token, ale także jego powiązania z każdym innym tokenem w sekwencji.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Działa poprzez soczewkę geometryczną, traktując pozycje żetonów jako punkty w wielowymiarowej przestrzeni, które są obracane w celu zaznaczenia ich sekwencyjnych relacji. Rotacja ta pozwala modelowi zachować i wykorzystać zarówno bezwzględne, jak i względne wskazówki pozycyjne w ramach mechanizmu samouważności.

### Wdrażanie RoPE

Wdrożenie RoPE polega na zakodowaniu pozycji każdego tokena w macierzy rotacji i zastosowaniu tej macierzy w ramach mechanizmu samouważności Transformatora. Proces ten pozwala na elastyczną, dynamiczną interpretację informacji o położeniu, dostosowując się do różnych długości sekwencji i przechwytując istotę wzajemnych powiązań tokenów bez znacznych narzutów obliczeniowych.

Najpierw będziesz potrzebować funkcji do generowania osadzania obrotowego, a następnie zintegrujesz te osady ze swoim modelem. W poniższym przykładzie założono, że znasz tworzenie niestandardowych warstw w Keras.

#### Krok 1: Zdefiniuj funkcję osadzania obrotowego

Ta funkcja generuje osadzania obrotowe, biorąc pod uwagę maksymalną długość sekwencji i wymiarowość osadzania.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Linia ta oblicza odwrotność częstotliwości skalowanych wykładniczo na podstawie wskaźników położenia. Częstotliwości te są wykorzystywane do generowania wzorów sinusoidalnych dla osadzania obrotowego, co pomaga w kodowaniu informacji o względnym położeniu w sekwencjach. Mechanizm ten jest szczególnie przydatny w zadaniach, w których kluczowe jest zrozumienie kolejności i względnego rozmieszczenia elementów, np. w przetwarzaniu języka naturalnego lub analizie szeregów czasowych.

W szczegółach:

- `tf.range(0, dim, 2, dtype=tf.float32)` tworzy zakres wartości począwszy od 0 do `dim` (wyłącznie), z krokiem 2. Argument `dtype=tf.float32` określa że elementy tego tensora są 32-bitowymi liczbami zmiennoprzecinkowymi. Jeśli na przykład „dim” wynosi 8, wyświetli się „[0, 2, 4, 6]”.

- Tensor utworzony przez „tf.range” jest następnie dzielony przez wymiarowość („dim”) osadzania. Ta operacja skaluje te indeksy w dół do zakresu od 0 do 1 (wyłącznie, jeśli „dim” jest parzyste, nieznacznie włączając, jeśli „dim” jest nieparzyste, ponieważ krok zakresu pomija każdą inną wartość). Kontynuując przykład z `dim` = 8, podzielenie przez 8 daje `[0,0, 0,25, 0,5, 0,75]`.

- Operacja `10000 ** (...)` podnosi 10 000 do potęgi każdego elementu w poprzednio skalowanym tensorze. Podstawa wynosząca 10 000 jest nieco dowolna, ale została wybrana w celu zapewnienia, że ​​częstotliwości różnią się w szerokim zakresie, co pomaga modelowi skuteczniej różnicować różne pozycje. W przypadku „[0,0, 0,25, 0,5, 0,75]” do każdego z nich zastosowano operację potęgową, co dałoby znacznie większe wartości dla wyższych elementów.

- Na koniec częstotliwość odwrotną uzyskuje się poprzez odwrotność (1/x) wartości z poprzedniego kroku. Odwrotne częstotliwości są mniejsze w przypadku wyższych indeksów, co oznacza, że ​​elementy znajdujące się dalej w sekwencji będą miały mniejsze częstotliwości, co wpływa na sposób kodowania ich pozycji w modelu. Umożliwia to skalowanie osadzania w sposób umożliwiający wywnioskowanie względnych pozycji na podstawie mechanizmów uwagi modelu.

Linia:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

wykorzystuje funkcję `tf.einsum` TensorFlow, narzędzie pozwalające na zwięzłe i wydajne wyrażanie operacji tensorowych przy użyciu notacji sumowania Einsteina.

Ta operacja skutecznie oblicza iloczyn zewnętrzny wektorów `t` i `inv_freq`, dając w wyniku macierz, w której każdy element `(i, j)` jest iloczynem `i`-tego elementu `t` i ` j`-ty element `inv_freq`. Ta macierz („częstotliwości”) reprezentuje częstotliwości używane do generowania wzorów sinusoidalnych dla osadzania obrotowego.

#### Krok 2: Niestandardowa warstwa Keras do osadzania obrotowego

Utwórzmy teraz niestandardową warstwę Keras, która zastosuje osadzanie obrotowe do tensora wejściowego. W warstwie tej zakłada się, że tensor wejściowy ma kształt `(rozmiar_wsadu, długość_sekwencji, wymiar_osadzania)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Linia `embeddings = self.rotary_embeddings[:seq_len]` wybiera odpowiedni podzbiór wstępnie obliczonych osadzań obrotowych w oparciu o bieżącą długość sekwencji wejściowej. Ponieważ długość sekwencji może różnić się w zależności od partii, ta operacja krojenia zapewnia, że ​​użyte zostaną tylko osadzania odpowiadające rzeczywistej długości sekwencji.

Zmienna „embeddings” zawiera teraz tensor kształtu „(seq_len, embedding_dim)”, gdzie „seq_len” to długość sekwencji w bieżącej partii, a „embedding_dim” to wymiarowość osadzania. Tensor ten zawiera obrotowe osadzania pozycyjne dla każdej pozycji w sekwencji aż do „seq_len”.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), oś=-1)` łączy transformacje sinus i cosinus częstotliwości pozycyjnych w jeden tensor:

-`tf.cos(freqs)` i `tf.sin(freqs)` stosują odpowiednio transformacje cosinus i sinus do tensora `freqs`. Tensor „częstotliwości” zawiera wartości częstotliwości dla każdej pozycji w sekwencji wejściowej i każdego wymiaru przestrzeni osadzania, obliczone na podstawie pozycji sekwencji i odwrotnych częstotliwości wymiarów osadzania. Funkcje sinus i cosinus stosuje się elementarnie, w wyniku czego powstają dwa tensory o tym samym kształcie co „częstości”. Transformacje te pomagają w kodowaniu pozycji w sposób, który oddaje cykliczną naturę relacji pozycyjnych, ułatwiając modelowi zrozumienie pozycji względnych.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), oś=-1)` łączy tensory przekształcone cosinus i sinus wzdłuż ostatniej osi (oznaczonej jako `oś=-1`). Łączenie tych tensorów obok siebie skutecznie podwaja wymiarowość tensora „częstotliwości”, przy czym pierwsza połowa reprezentuje wartości przekształcone cosinus, a druga połowa reprezentuje wartości przekształcone sinusoidalnie dla każdej pozycji. Konkatenacja zapewnia, że ​​każde kodowanie pozycyjne zawiera zarówno informację sinusową, jak i cosinusową, co pozwala na zachowanie informacji zarówno o amplitudzie, jak i fazie sygnałów pozycyjnych.

- Połączony „emb” tensora zawiera teraz pełne osadzania obrotowe dla pozycji wejściowych. Kształt „emb” będzie taki sam jak „freqs” w pierwszych dwóch wymiarach (odpowiadających pozycjom sekwencji i wymiarom osadzania), ale jego ostatni wymiar będzie dwukrotnie większy, uwzględniając zarówno wartości sinus, jak i cosinus. Te osadzania są używane do modulowania osadzania wejściowego poprzez dodawanie informacji o położeniu w sposób rotacyjnie równoważny.

-`cos_emb = osadzania[:, Brak, :self.dim // 2]`:

1. Pierwszy dwukropek `:` oznacza „wybierz wszystkie elementy w tym wymiarze”, co w tym przypadku odnosi się do wszystkich pozycji w sekwencji.

2. „Brak” służy do dodania dodatkowego wymiaru, dzięki czemu tensor jest trójwymiarowy. Robi się to często, aby zapewnić zgodność z określonymi operacjami, które wymagają danych wejściowych o określonej liczbie wymiarów. Na przykład podczas wykonywania mnożenia elementowego z innym tensorem, który jest trójwymiarowy, kształty muszą być wyrównane zgodnie z regułami nadawania.

3. `:self.dim // 2`, wybiera pierwszą połowę wymiarów na ostatniej osi. Ponieważ „wymiar_osadzenia” jest podwojony, aby uwzględnić zarówno wartości sinus, jak i cosinus, dzielenie przez 2 skutecznie powoduje wybranie tylko cosinusowych składowych osadzania.

#### Krok 3: Integracja z modelem Keras

Po zdefiniowaniu `RotaryEmbeddingLayer` możesz zintegrować ją ze swoim modelem Keras. Warstwę tę należy nałożyć na elementy osadzone przed wprowadzeniem ich do warstw uwagi lub kolejnych warstw modelu.

Oto uproszczony przykład integracji osadzania obrotowego z modelem:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: Ulepszony transformator z osadzeniem w pozycji obrotowej

[Link do Arxiv](https://arxiv.org/abs/2403.13799)

20 marca 2024 r

## Klątwa odwrócenia

Modele dużego języka (LLM), takie jak [GPT-4](https://arxiv.org/abs/2303.08774) i [Llama-2](https://arxiv.org/abs/2307.09288), wykazały imponujące zdolności w zakresie rozumienia i generowanie tekstu podobnego do ludzkiego, obejmującego szeroki zakres wiedzy. Jednak nie udaje im się wykonać pozornie prostego zadania: odwrócenia wyuczonych faktów. To ograniczenie, zwane „Klątwą Odwrócenia”, oznacza, że ​​osoby uczące się LLM nie mogą wywnioskować, że „B jest cechą A” z uczenia się, że „A ma cechę B”, czyli podstawowej umiejętności rozumowania, którą posiadają nawet dzieci. W artykule przedstawiono „szkolenie odwrotne”, nowatorską metodę mającą na celu sprostanie temu wyzwaniu poprzez wykorzystanie dwukierunkowego podejścia do uczenia w celu lepszego zrozumienia faktów przez model zarówno w formacie postępowym, jak i odwrotnym.

## Pochodzenie klątwy odwracającej

Problem wynika z podstawowego podejścia szkoleniowego w LLM, które zazwyczaj obejmuje **autoregresywne uczenie się od lewej do prawej**. Ta metoda z natury nie uczy modeli rozumienia ani generowania informacji w odwrotnej kolejności. Biorąc pod uwagę charakter dystrybucji danych zgodny z prawem Zipfa, wiele faktów jest wymienianych tylko w jednym kierunku, co zaostrza tę kwestię. „Klątwa odwrócenia” ogranicza zrozumienie przez LLM wzajemnych relacji i równoważności w wypowiedziach, co oznacza znaczące niedociągnięcie w ich zdolnościach rozumowania.

## Pokonanie klątwy odwracającej za pomocą treningu odwrotnego

Proponowane rozwiązanie, Reverse Training, podwaja dostępne dane szkoleniowe poprzez uwzględnienie zarówno oryginalnych, jak i odwróconych wersji ciągów uczących. W procesie odwracania należy zachować ostrożność, aby nie zmienić niektórych podciągów, takich jak nazwy jednostek, zachowując ich pierwotną sekwencję w celu zachowania kontekstu. Metoda ta, podobna do wprowadzenia drugiego języka do nauki LLM, znacznie poprawia zdolność modelu do przetwarzania i generowania informacji w obu kierunkach.

## Testowanie metody uczenia odwrotnego

Autorzy przeprowadzili następujące eksperymenty, aby przetestować proponowaną metodę:

**1- Symboliczne zadanie odwrotne:** Test środowiska kontrolowanego demonstrujący zdolność metody do wnioskowania i stosowania odwróconych relacji.

**2- Odwrócenie biografii Zadanie:** Wykorzystanie zbioru danych biograficznych do oceny wydajności w generowaniu imion osób na podstawie podanych szczegółów, odwrotnie.

**3- Odwrócenie wiedzy w świecie rzeczywistym:** Ocena skuteczności metody w scenariuszach ze świata rzeczywistego, w tym odwracanie faktów na temat celebrytów i ich związków.

**4- Dostrajanie fikcyjnych faktów:** Testowanie zdolności uczenia się modelu na nowo wprowadzonych, odwróconych fikcyjnych faktach.

W ramach tych eksperymentów Trening Odwrotny nie tylko złagodził Klątwę Odwracającą, ale w niektórych przypadkach całkowicie ją wyeliminował. Metoda okazała się szczególnie skuteczna, gdy podczas procesu odwracania nazwy jednostek zostały zachowane w pierwotnej kolejności, co podkreśliło znaczenie zachowania pewnych zakotwiczeń kontekstowych.

## Implikacje i przyszłe kierunki

Sukces szkolenia odwrotnego w walce z klątwą odwracającą otwiera nowe możliwości metodologii szkolenia LLM. Zwiększając zrozumienie przez modele wzajemnych relacji i równoważności stwierdzeń, podejście to otwiera drzwi do bardziej wyrafinowanych możliwości rozumowania. Przyszłe badania mogą zbadać dalszą optymalizację procesu odwracania, potencjał integracji uczenia odwrotnego z innymi architekturami modeli językowych oraz szersze zastosowania tej metody w zadaniach rozumienia i generowania języka naturalnego.

---

*Zostań profesjonalistą w kodowaniu we własnym tempie! Dołącz do Code Labs Academy [Online Bootcamp w niepełnym wymiarze godzin](/) i podnoś umiejętności kodowania. Dopasuj naukę do swojego harmonogramu i rozpocznij swoją podróż do technologii już dziś!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Trening odwrotny, aby pielęgnować klątwę odwracającą

[Link do Arxiv](https://arxiv.org/abs/2403.12015)

18 marca 2024 r

„Szybka synteza obrazu o wysokiej rozdzielczości z utajoną przeciwstawną destylacją dyfuzyjną” przedstawia nowatorskie podejście do destylacji znane jako utajona przeciwstawna destylacja dyfuzyjna (LADD). Podejście to ma na celu uwzględnienie ograniczeń istniejących [modeli dyfuzji](https://en.wikipedia.org/wiki/Diffusion_model), w szczególności problemu związanego z małą szybkością wnioskowania, co utrudnia zastosowania w czasie rzeczywistym. LADD umożliwia syntezę obrazu o wysokiej rozdzielczości i wielu proporcjach poprzez wydajną destylację dużych [modeli dyfuzji ukrytej](https://arxiv.org/abs/2112.10752) (LDM), co znacznie upraszcza proces uczenia i zwiększa wydajność w porównaniu z poprzednimi metodami .

Podsumujemy najważniejsze wnioski z tego artykułu.

## Wstęp

Modele dyfuzyjne stały się potężnym narzędziem do syntezy i edycji obrazów i wideo, oferującym wysokiej jakości wyniki. Jednak ich iteracyjny charakter, wymagający licznych ocen sieci w celu przekształcenia szumu w spójne obrazy, ogranicza ich praktyczność w zastosowaniach czasu rzeczywistego. Zaproponowano różne strategie przyspieszania modeli dyfuzji. LADD wprowadza nową strategię, wykorzystując funkcje generatywne z wstępnie wytrenowanych LDM, umożliwiając wydajną syntezę obrazu o wysokiej rozdzielczości w ułamku kroków wymaganych w przypadku tradycyjnych metod.

## Tło

Artykuł rozpoczyna się od przeglądu modeli dyfuzji i ich [destylacji](https://en.wikipedia.org/wiki/Knowledge_destillation). Tradycyjne modele dyfuzji działają na zasadzie stopniowego odszumiania obrazu w wielu iteracyjnych etapach, co sprawia, że ​​proces jest powolny i kosztowny obliczeniowo. Metody destylacji, w tym [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD), miały na celu usprawnienie tego procesu poprzez zmniejszenie liczby niezbędnych etapów. Jednak ADD napotyka ograniczenia, takie jak stała rozdzielczość uczenia i konieczność dekodowania do przestrzeni RGB w celu destylacji ukrytych modeli dyfuzji, co może ograniczać szkolenie w wysokiej rozdzielczości.

## Metodologia

LADD rozwiązuje te problemy, **destylując bezpośrednio w przestrzeni utajonej**, **eliminując w ten sposób potrzebę dekodowania do przestrzeni pikseli** i umożliwiając szkolenie w wyższych rozdzielczościach. W przeciwieństwie do ADD, który opiera się na wstępnie wytrenowanym dyskryminatorze działającym w przestrzeni pikseli, LADD wykorzystuje nowatorskie podejście, w którym dyskryminator i model nauczyciela są ujednolicone, działając bezpośrednio na utajonych. Metoda ta nie tylko upraszcza proces uczenia, ale także zapewnia szereg korzyści, w tym wydajność, możliwość zapewnienia informacji zwrotnej specyficznej dla poziomu hałasu oraz możliwość szkolenia Multi-Aspect Ratio (MAR).

## Eksperymenty i wyniki

W artykule szczegółowo oceniano LADD na podstawie różnych eksperymentów, wykazując jego doskonałą wydajność w syntezowaniu obrazów o wysokiej rozdzielczości w zaledwie kilku krokach. Warto zauważyć, że po zastosowaniu do [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) LADD daje model nazwany SD3-Turbo, który zapewnia jakość obrazu porównywalną do stanu- najnowocześniejszych generatorów zamiany tekstu na obraz w zaledwie czterech krokach. W eksperymentach bada się także wpływ różnych rozkładów szumu nauczycieli, wykorzystanie danych syntetycznych, metody destylacji utajonej i zachowanie LADD przy skalowaniu.

## Porównanie ze stanem techniki

Skuteczność LADD została dodatkowo podkreślona przez porównanie z obecnie wiodącymi metodami syntezy tekstu na obraz i obrazu na obraz. SD3-Turbo nie tylko dorównuje wydajnością swojemu modelowi nauczyciela (SD3) pod względem jakości obrazu, ale także wykazuje znaczną poprawę w porównaniu z innymi modelami bazowymi pod względem szybkości wnioskowania i dopasowania obrazu do tekstu.

## Ograniczenia i przyszłe kierunki

Pomimo swoich udoskonaleń, LADD nie jest pozbawiony ograniczeń. Autorzy zauważają kompromis między wydajnością modelu, szybkim dopasowaniem i szybkością wnioskowania, co może mieć wpływ na zdolność modelu do radzenia sobie z pewnymi wyzwaniami związanymi z syntezą tekstu na obraz. Przyszłe kierunki badań obejmują głębsze zbadanie tego kompromisu i opracowanie strategii zwiększających kontrolę nad mocnymi stronami wskazówek obrazowych i tekstowych.

## Wniosek

„Szybka synteza obrazu o wysokiej rozdzielczości z utajoną przeciwstawną destylacją dyfuzyjną” wprowadza nowe podejście do syntezy obrazu/wideo, które znacznie przyspiesza generowanie wysokiej jakości obrazów z komunikatów tekstowych. Destylując duże modele dyfuzji w przestrzeni utajonej, LADD toruje drogę aplikacjom w czasie rzeczywistym i wyznacza nowy standard wydajności i wydajności w syntezie obrazu.

---

*Code Labs Academy: [Obóz programowania online](/) z elastycznymi planami płatności*

Wyjaśnienie dokumentów

Dlaczego powrót do biura po pandemii może zaszkodzić produktywności: spostrzeżenia eksperta biznesowego