Khususnya di perusahaan-perusahaan besar, terdapat kembalinya kewajiban pekerja untuk bekerja dari kantor setelah pandemi COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), seorang profesor administrasi bisnis di Joseph M. Katz Graduate School of Business di University of Pittsburgh, dan Yuye Ding, seorang Mahasiswa PhD, telah[menyelidiki pola ini](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Mereka telah melihat dampak sosiologis dan ekonomi dari bekerja jarak jauh serta inisiatif baru-baru ini yang dilakukan oleh perusahaan untuk mengembalikan pekerja ke kantor, yang sering kali membuat para pekerja kesal.

Ma berpendapat dalam [wawancara dengan Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) bahwa, dalam sebuah lingkungan kerja yang semakin digital, membuat pekerja kembali ke kantor hanya akan membuat mereka kesal dan tidak banyak meningkatkan produktivitas. Namun ia mengakui bahwa jika dilakukan secara sukarela dan dengan dukungan tim, kerja tatap muka dapat bermanfaat dan mendorong peningkatan koordinasi dan kerja tim.

Ma menyarankan agar individu berkinerja tinggi yang telah membuktikan kemanjurannya ketika bekerja dari rumah sebaiknya dibiarkan terus melakukannya, dibandingkan membiarkan semua orang berada di kantor. Ia berpendapat bahwa dengan mempertahankan individu-individu brilian yang mungkin mencari pekerjaan di tempat lain, strategi ini pada akhirnya akan menguntungkan pengusaha dan karyawan. Ma juga menyarankan latihan membangun tim secara tatap muka secara rutin untuk menjaga budaya perusahaan tetap kuat, yang penting untuk menghasilkan ide dan memecahkan masalah secara efisien.

Puncak dari kecenderungan ini tampaknya telah berlalu, meskipun beberapa bisnis mengharuskan karyawannya kembali ke kantor setelah pandemi ini. Berdasarkan survei yang dilakukan pada tahun 2024, mayoritas CEO tidak lagi menganggap penting berada di kantor. Dunia usaha menyadari bahwa para pekerja mungkin akan cukup produktif ketika bekerja dari jarak jauh selama pandemi ini. Namun manajer lain masih ragu untuk bekerja jarak jauh, itulah sebabnya mereka menganjurkan untuk kembali ke kantor. Semangat kerja karyawan mungkin menurun akibat kurangnya kepercayaan ini karena hal ini menunjukkan kepada anggota staf bahwa manajer mereka tidak mempercayai mereka.

Meskipun terdapat kenyataan bahwa telecommuting dapat menurunkan biaya overhead dan kebutuhan ruang, perusahaan-perusahaan besar sangat ingin pekerjanya kembali bekerja, sehingga meningkatkan kemungkinan bahwa kendali dan kekuasaan lebih berperan dalam hal ini dibandingkan harga. Ma menunjukkan bahwa banyak perusahaan menerapkan kebijakan kembali ke kantor sebagai respons terhadap penurunan harga saham, dan dengan mudah memanfaatkan kerja jarak jauh sebagai kambing hitam atas kinerja yang buruk.

Terlepas dari kenyataan bahwa masih ada permintaan yang tinggi untuk pekerjaan jarak jauh—banyak ruang kantor di kota-kota besar seperti New York, San Francisco, dan Jerman kosong—para manajer tetap berpandangan bahwa memiliki pekerja secara langsung akan meningkatkan kerja sama dan budaya bisnis. Namun alih-alih bekerja bersama rekan kerja, banyak pekerja yang kembali ke kantor mengatakan bahwa mereka menghabiskan sebagian besar waktunya bekerja sendirian di depan komputer. Ketidakefektifan mandat tersebut diragukan karena tidak adanya perbedaan yang jelas antara kerja kantor dan kerja jarak jauh, serta rasa frustrasi yang dialami karyawan ketika terpaksa kembali bekerja.

Pekerja terbiasa dengan peningkatan produktivitas dan manfaat keseimbangan kehidupan kerja yang didapat dari bekerja jarak jauh, seperti kemampuan untuk lebih mengintegrasikan pekerjaan dan kehidupan keluarga serta menghindari perjalanan jauh. Ketidakpuasan diakibatkan oleh terganggunya perjanjian ini karena dipaksanya kembali ke kantor. Selain itu, ada persepsi bahwa kehilangan pekerjaan dapat menghambat pertumbuhan profesional.

Pada akhirnya, Ma berpikir bahwa jika para pekerja dipaksa untuk kembali bekerja secara permanen, banyak dari mereka akan mulai mencari profesi lain, dan mereka yang tetap bekerja mungkin akan menjadi kurang termotivasi. Kantor rumahan masih umum digunakan karena memberikan keseimbangan kehidupan kerja yang lebih baik dan tingkat kelelahan yang lebih rendah, meskipun ada kekurangannya. Tidak ada perbedaan produktivitas yang nyata antara bekerja jarak jauh dan di kantor, dan bekerja dari rumah bisa sama asingnya dengan gangguan di kantor terbuka di mana karyawan sering memakai headphone untuk fokus. Ma menyarankan agar tim memilih berapa hari mereka ingin bekerja di kantor dan memberikan sisa waktu yang fleksibel sehingga karyawan dapat memilih lingkungan kerja yang mereka sukai, meskipun kontak antarmanusia dapat bermanfaat bagi perusahaan.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Mengapa Kembali ke Kantor Pasca-Pandemi Dapat Merugikan Produktivitas: Wawasan dari Pakar Bisnis

[Google AI](https://ai.google/) baru-baru ini memperkenalkan fitur baru yang disebut 'Proofread' pada Gboard, aplikasi keyboard seluler yang populer. Dengan satu ketukan, fitur ini memungkinkan modifikasi dan koreksi tanpa hambatan pada tingkat kalimat dan paragraf, sehingga meningkatkan pengalaman mengetik secara keseluruhan.

## Mengatasi Masalah 'Jari Gemuk'

[Gboard](https://support.google.com/gboard/?hl=en) menggunakan penguraian kode statistik sebagai cara untuk mengatasi masalah "jari gemuk", yang merupakan ketidakakuratan alami input sentuhan di layar kecil. Penelitian menunjukkan bahwa tingkat kesalahan per huruf bisa mencapai 8 hingga 9 persen tanpa decoding. Gboard hadir dengan beberapa fitur koreksi kesalahan untuk membuat pengetikan lebih mudah dan lancar. Fitur-fitur ini menggabungkan tugas manual yang melibatkan masukan manusia dengan koreksi otomatis dan proaktif.

## Alat Koreksi Kesalahan Komprehensif

Pengetikan menjadi lebih mudah secara kolektif dengan fitur Gboard, yang mencakup penyelesaian kata, prediksi kata berikutnya, koreksi otomatis aktif (AC), dan koreksi kunci aktif (KC). Alat-alat ini mencakup komposisi cerdas, koreksi kesalahan, dan kandidat beberapa kata di bilah saran atau sebaris. Pasca koreksi (PC) juga memfasilitasi perbaikan kesalahan kata yang telah dilakukan. Terlepas dari fitur-fitur ini, ada dua batasan utama yang mengganggu pengalaman pengguna.

1. Meskipun model koreksi pada perangkat seperti KC, AC, dan PC cepat dan ringkas, model tersebut mengalami kesulitan dalam menangani kesalahan yang canggih dan kompleks yang memerlukan konteks yang lebih panjang. Untuk mencegah pengaktifan model tersebut, pengguna harus mengetik dengan lambat dan tepat.

2. Kecepatan mengetik menurun karena pengguna harus mengoreksi kata-kata yang diucapkan secara manual menggunakan pemeriksa tata bahasa dan ejaan, yang dapat melelahkan secara mental dan visual.

## Perlunya Koreksi Kesalahan Tingkat Tinggi

Pengetik cepat sering kali mengabaikan kata-kata yang telah mereka ketik dan hanya berkonsentrasi pada keyboard. Tingkat kesalahan yang lebih tinggi mungkin timbul dari hal ini, sehingga memerlukan penggunaan kalimat atau mekanisme koreksi tingkat yang lebih tinggi.

## Memperkenalkan Koreksi

Proofread menyelesaikan keluhan yang sering terjadi ini dengan menawarkan peningkatan produktivitas yang signifikan. Itu membuat koreksi kesalahan lebih sederhana dengan menyediakan koreksi tingkat kalimat dan paragraf dengan satu ketukan.

## Teknologi di Balik Proofread

Fitur Proofread terdiri dari empat komponen utama: produksi data, desain metrik, penyesuaian model, dan penyajian model. Bersama-sama, semua komponen ini menjamin efektivitas. Untuk memastikan bahwa distribusi data sejalan dengan domain Gboard, sistem meniru kesalahan keyboard yang sering terjadi menggunakan arsitektur sintetis kesalahan yang dibuat secara tepat dan metodis.

## Metrik Tingkat Lanjut dan Pengoptimalan Model

Untuk menilai model tersebut, para peneliti telah memasukkan sejumlah metrik, dengan penekanan khusus pada pemeriksaan keberadaan kesalahan tata bahasa dan pemeriksaan makna serupa yang berasal dari model bahasa besar (LLM). Penyetelan halus yang diawasi dan penyetelan Reinforcement Learning (RL) digunakan dalam teknik InstructGPT untuk menyempurnakan model. Kinerja pengoreksian model sangat ditingkatkan dengan prosedur ini.

## Penerapan dan Performa

Menggunakan kuantisasi 8-bit, LLM PaLM2-XS berukuran sedang disesuaikan agar muat di dalam satu TPU v5 dan berfungsi sebagai fondasi untuk fitur Proofread. Pengoptimalan menurunkan biaya penyajian. Penelitian sebelumnya telah menunjukkan bahwa segmentasi, decoding spekulatif, dan kunci bucket dapat mengurangi latensi.

## Dampak Dunia Nyata

Puluhan ribu pengguna Pixel 8 akan mendapatkan keuntungan dari pengeditan berkualitas tinggi yang disediakan oleh fitur Proofread, yang kini tersedia. Pembuatan data sintetik secara menyeluruh dan beberapa kali penyesuaian telah menghasilkan model yang secara signifikan menurunkan kesalahan tata bahasa, seperti terlihat pada penurunan relatif sebesar 5,74 persen pada rasio Buruk model PaLM2-XS. Selain itu, pengoptimalan telah menghasilkan penurunan latensi median sebesar 39,4%.

## Prospek Masa Depan

[Studi ini](https://arxiv.org/abs/2406.04523) menunjukkan bagaimana LLM dapat meningkatkan pengalaman pengguna dan menciptakan kemungkinan menarik untuk penyelidikan lebih lanjut. Penggunaan data pengguna sebenarnya, dukungan multibahasa, bantuan penulisan yang disesuaikan, dan solusi privasi perangkat adalah beberapa contoh bidang yang dapat membawa kemajuan lebih lanjut dalam sektor ini.

Google AI memperluas kemungkinan teknologi papan ketik seluler dengan diperkenalkannya fitur Proofread, sehingga meningkatkan pengetikan untuk orang-orang di seluruh dunia.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI Meluncurkan 'Koreksi': Fitur Gboard untuk Koreksi Kalimat dan Paragraf yang Mudah

Deep Neural Networks (DNN) modern pada dasarnya tidak jelas, sehingga sulit untuk memahami proses pengambilan keputusannya. Kurangnya transparansi ini mengganggu penerapan teknik Machine Learning secara ekstensif di berbagai domain. Sebagai tanggapan, AI yang Dapat Dijelaskan (XAI) muncul dengan tujuan untuk meningkatkan pemahaman manusia terhadap penilaian DNN. Dengan melihat tujuan fungsional setiap komponen, XAI kini juga berfokus pada pemahaman perilaku global DNN, berbeda dengan metode penjelasan lokal yang menggunakan peta arti-penting untuk menjelaskan prediksi individu.

Interpretabilitas mekanistik adalah teknik penjelasan global yang berfokus pada menunjukkan dengan tepat ide-ide tertentu yang dimiliki neuron, unit komputasi dasar jaringan saraf, yang telah memperoleh kemampuan untuk memahaminya. Kita dapat menjelaskan pengoperasian representasi laten jaringan dengan memberi label pada neuron dengan deskripsi yang dapat dipahami manusia. Deskripsi ini telah berkembang dari label sederhana menjadi penjelasan yang rumit, komposisional, dan kosakata terbuka. Namun demikian, kurangnya metrik kuantitatif yang terstandarisasi untuk menilai deskripsi kosakata terbuka ini telah menghambat perbandingan menyeluruh di berbagai pendekatan.

Untuk mengatasi kesenjangan ini, para peneliti dari ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute, dan BIFOLD memperkenalkan [CoSy](https://arxiv.org/abs/2405.20331), sebuah kerangka evaluasi kuantitatif perintis untuk menilai penggunaan penjelasan kosakata terbuka dalam model computer vision (CV). Metode inovatif ini memanfaatkan pengembangan AI Generatif untuk menghasilkan gambar buatan yang berkorelasi dengan deskripsi tekstual berbasis konsep. nyaman menghilangkan kebutuhan akan interaksi manusia dengan memfasilitasi perbandingan kuantitatif dari pendekatan penjelasan tekstual berbasis konsep yang berbeda dengan mensintesis poin data yang umum untuk penjelasan target tertentu.

Tim peneliti menunjukkan melalui meta-analisis ekstensif yang dengan mudah menawarkan evaluasi penjelasan yang andal. Studi ini menemukan bahwa metode penjelasan tekstual berbasis konsep berfungsi paling baik di lapisan atas jaringan saraf, tempat konsep tingkat tinggi dipelajari. Penjelasan neuron berkualitas tinggi dihasilkan oleh metode seperti INVERT, yang menciptakan visual dari representasi jaringan saraf, dan CLIP-Dissect, yang memeriksa representasi jaringan internal. Sebaliknya, teknik seperti MILAN dan FALCON menghasilkan penjelasan dengan kualitas yang lebih rendah, kadang-kadang memberikan konsep yang hampir acak, yang dapat mengakibatkan kesimpulan jaringan yang tidak akurat.

Kelemahan utama CoSy, seperti yang diketahui para peneliti, adalah bahwa kategori tertentu dari data pelatihan mungkin tidak dimasukkan dalam model generatif, sehingga menghasilkan penjelasan yang terlalu umum atau ambigu, seperti "benda putih". Akurasi generatif dapat ditingkatkan dengan mengatasi masalah ini dengan memeriksa kumpulan data pra-pelatihan dan performa model. Meski begitu, kenyamanan menunjukkan banyak potensi dalam bidang penilaian teknik penjelasan non-lokal yang masih berkembang.

Ke depannya, tim berharap mengenai potensi penerapan CoSy di berbagai bidang. Untuk mengevaluasi masuk akal atau kualitas penjelasan mengenai hasil tugas hilir, penilaian manusia harus dimasukkan dalam definisi kualitas penjelasan, yang ingin mereka atasi dalam pekerjaan di masa depan. Selain itu, mereka ingin memasukkan bidang tambahan seperti pemrosesan bahasa alami dan layanan kesehatan dalam sistem evaluasi mereka. Potensi penggunaan nyaman untuk menilai model bahasa (LLM) yang besar, buram, dan dapat diinterpretasikan secara otomatis sangatlah menarik. Menurut para peneliti, menerapkan kenyamanan pada kumpulan data layanan kesehatan, yang mengutamakan kualitas penjelasan, bisa menjadi langkah maju yang besar. Potensi penerapan kenyamanan di masa depan ini memiliki potensi besar untuk memajukan penelitian AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Memahami Jaringan Neural: Kerangka Kuantitatif CoSy untuk Evaluasi Penjelasan Tekstual

[Model berbasis transformator](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) terkenal karena kemampuannya mengurai dan menafsirkan teks yang kompleks. Mereka mengandalkan pemahaman urutan dan konteks kata - tugas di mana metode pengkodean posisi tradisional telah menunjukkan batasnya. Untuk mengatasi kesenjangan ini, model ROFORMER, yang didukung oleh **Rotary Position Embedding (RoPE)**, mendefinisikan ulang pendekatan kami terhadap pengkodean posisi.

## Pengkodean Posisi Tradisional

Transformer memperlakukan teks sebagai rangkaian token, dan memungkinkan **pemrosesan rangkaian secara paralel** untuk efisiensi yang lebih besar. Namun, kekuatan ini membawa tantangan tersendiri: **agnostisisme yang melekat pada model terhadap tatanan token**. **Pengkodean posisi** adalah jawabannya, **memberikan setiap token tanda tangan unik yang menunjukkan posisi urutannya**.

### Penyematan Posisi Absolut

Awalnya, model seperti BERT menggunakan **penyematan posisi absolut, menetapkan vektor tetap ke setiap posisi secara berurutan**. Metode ini, meskipun sederhana, pada dasarnya **tidak memiliki kemampuan untuk beradaptasi dengan variasi panjang urutan, atau untuk menekankan jarak relatif antar token**, yang penting untuk memahami banyak konstruksi linguistik.

### Penyematan Posisi Relatif

Untuk menangkap sifat dinamis bahasa, penyematan posisi relatif diperkenalkan, dengan fokus pada jarak antar token, bukan pada posisi absolutnya. Terlepas dari keunggulan konseptualnya, penyematan ini menimbulkan **kompleksitas komputasi, dan gagal diintegrasikan secara mulus ke dalam mekanisme perhatian mandiri Transformers**, sehingga membatasi kemanjurannya.

## ROFORMER dan Penyematan Posisi Putar

Menyadari keterbatasan strategi pengkodean posisi yang ada, ROFORMER memperkenalkan Rotary Position Embedding (RoPE), sebuah pendekatan yang menggabungkan keunggulan informasi posisi absolut dan relatif tanpa kekurangannya masing-masing.

### Penyematan Posisi Putar

RoPE mengkodekan informasi posisi menggunakan **matriks rotasi**, memungkinkan model untuk memahami tidak hanya di mana sebuah token berada, tetapi juga bagaimana kaitannya dengan setiap token lain secara berurutan.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Ini beroperasi melalui lensa geometris, memperlakukan posisi token sebagai titik dalam ruang multidimensi yang diputar untuk menandai hubungan berurutannya. Rotasi ini memungkinkan model untuk mempertahankan dan mengeksploitasi isyarat posisi absolut dan relatif dalam mekanisme perhatian dirinya.

### Menerapkan Tali

Penerapan RoPE melibatkan pengkodean posisi setiap token ke dalam matriks rotasi, dan penerapan matriks ini dalam mekanisme perhatian mandiri Transformer. Proses ini memungkinkan interpretasi informasi posisi yang fleksibel dan dinamis, mengakomodasi panjang urutan yang bervariasi dan menangkap esensi keterkaitan token tanpa overhead komputasi yang signifikan.

Pertama, Anda memerlukan fungsi untuk menghasilkan penyematan putar, lalu Anda akan mengintegrasikan penyematan ini ke dalam model Anda. Contoh di bawah ini mengasumsikan Anda sudah terbiasa membuat lapisan khusus di Keras.

#### Langkah 1: Tentukan Fungsi Penyematan Putar

Fungsi ini menghasilkan penyematan putar berdasarkan panjang urutan maksimum, dan dimensi penyematan.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Garis ini menghitung kebalikan dari frekuensi berskala eksponensial berdasarkan indeks posisi. Frekuensi ini digunakan dalam menghasilkan pola sinusoidal untuk penyematan putar, yang membantu dalam mengkodekan informasi posisi relatif secara berurutan. Mekanisme ini sangat berguna dalam tugas-tugas yang memerlukan pemahaman urutan dan posisi relatif elemen, seperti dalam pemrosesan bahasa alami atau analisis deret waktu.

Secara detail:

- `tf.range(0, dim, 2, dtype=tf.float32)` membuat rentang nilai mulai dari 0 hingga `dim` (eksklusif), dilangkahi 2. Argumen `dtype=tf.float32` menentukan bahwa elemen tensor ini adalah bilangan floating-point 32-bit. Jika `dim` adalah 8, misalnya, ini akan menghasilkan `[0, 2, 4, 6]`.

- Tensor yang dihasilkan oleh `tf.range` kemudian dibagi dengan dimensi (`dim`) dari embeddings. Operasi ini menurunkan skala indeks ke rentang antara 0 dan 1 (eksklusif jika `dim` genap, sedikit inklusif jika `dim` ganjil, karena langkah rentang melewati setiap nilai lainnya). Melanjutkan contoh dengan `dim` = 8, membaginya dengan 8 akan menghasilkan `[0.0, 0.25, 0.5, 0.75]`.

- Operasi `10000 ** (...)` menaikkan 10.000 pangkat setiap elemen dalam tensor yang diskalakan sebelumnya. Basis 10.000 agak sewenang-wenang, namun dipilih untuk memastikan bahwa frekuensinya bervariasi dalam rentang yang luas, yang membantu model membedakan berbagai posisi dengan lebih efektif. Untuk `[0.0, 0.25, 0.5, 0.75]`, operasi daya akan diterapkan pada masing-masing elemen, sehingga menghasilkan nilai yang jauh lebih besar untuk elemen yang lebih tinggi.

- Terakhir, frekuensi invers diperoleh dengan mengambil nilai kebalikan (1/x) dari langkah sebelumnya. Frekuensi inversnya lebih kecil untuk indeks yang lebih tinggi, yang berarti elemen yang berada lebih jauh dalam urutan akan memiliki frekuensi yang lebih kecil, sehingga memengaruhi cara posisinya dikodekan ke dalam model. Hal ini memungkinkan penyematan untuk diskalakan sedemikian rupa sehingga posisi relatif dapat disimpulkan melalui mekanisme perhatian model.

Garis:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

menggunakan fungsi `tf.einsum` TensorFlow, alat yang memungkinkan ekspresi operasi tensor yang ringkas dan efisien menggunakan notasi penjumlahan Einstein.

Operasi ini secara efektif menghitung hasil kali luar dari vektor `t` dan `inv_freq`, menghasilkan matriks dengan setiap elemen `(i, j)` adalah hasil kali elemen ke-`i` dari `t` dan ` elemen ke-j` dari `inv_freq`. Matriks ini (`freqs`) mewakili frekuensi yang digunakan untuk menghasilkan pola sinusoidal untuk penyematan putar.

#### Langkah 2: Lapisan Keras Kustom untuk Penyematan Putar

Sekarang, mari buat lapisan Keras khusus yang menerapkan penyematan putar ke tensor masukan. Lapisan ini mengasumsikan bahwa tensor masukan berbentuk `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Baris `embeddings = self.rotary_embeddings[:seq_len]` memilih subset yang sesuai dari penyematan putar yang telah dihitung sebelumnya berdasarkan panjang urutan masukan saat ini. Karena panjang urutan dapat bervariasi dari satu kumpulan ke kumpulan lainnya, operasi pemotongan ini memastikan bahwa hanya penyematan yang sesuai dengan panjang urutan sebenarnya yang digunakan.

Variabel `embeddings` sekarang memiliki tensor bentuk `(seq_len, embedding_dim)`, dengan `seq_len` adalah panjang urutan dalam kumpulan saat ini, dan `embedding_dim` adalah dimensi embeddings. Tensor ini berisi penyematan posisi putar untuk setiap posisi dalam urutan hingga `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` menggabungkan transformasi sinus dan kosinus dari frekuensi posisi menjadi tensor tunggal:

-`tf.cos(freqs)` dan `tf.sin(freqs)` masing-masing menerapkan transformasi kosinus dan sinus ke tensor `freqs`. Tensor `freqs` berisi nilai frekuensi untuk setiap posisi dalam urutan masukan dan setiap dimensi ruang penyematan, dihitung berdasarkan posisi urutan dan frekuensi kebalikan dari dimensi penyematan. Fungsi sinus dan kosinus diterapkan berdasarkan elemen, menghasilkan dua tensor dengan bentuk yang sama seperti `freq`. Transformasi ini membantu mengkodekan posisi dengan cara yang menangkap sifat siklus hubungan posisi, memfasilitasi kemampuan model untuk memahami posisi relatif.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` menggabungkan tensor transformasi kosinus dan sinus di sepanjang sumbu terakhir (dilambangkan dengan `axis=-1`). Menggabungkan tensor-tensor ini secara berdampingan secara efektif menggandakan dimensi tensor `freqs`, dengan paruh pertama mewakili nilai-nilai transformasi kosinus dan paruh kedua mewakili nilai-nilai transformasi sinus untuk setiap posisi. Penggabungan memastikan bahwa setiap pengkodean posisi berisi informasi sinus dan kosinus, yang memungkinkan pelestarian informasi tentang amplitudo dan fase sinyal posisi.

- `emb` tensor gabungan kini menampung penyematan putar lengkap untuk posisi masukan. Bentuk `emb` akan sama dengan `freqs` dalam dua dimensi pertamanya (sesuai dengan posisi urutan dan dimensi penyematan), namun dimensi terakhirnya akan dua kali lebih besar, memperhitungkan nilai sinus dan kosinus. Penyematan ini digunakan untuk memodulasi penyematan masukan dengan menambahkan informasi posisi secara rotasi ekuivalen.

-`cos_emb = penyematan[:, Tidak ada, :self.dim // 2]`:

1. Titik dua pertama `:` berarti "pilih semua elemen dalam dimensi ini", yang dalam hal ini mengacu pada semua posisi dalam urutan.

2. `None` digunakan untuk menambahkan dimensi tambahan, sehingga tensor menjadi 3 dimensi. Hal ini sering dilakukan untuk memastikan kompatibilitas dengan operasi tertentu yang mengharapkan masukan sejumlah dimensi tertentu. Misalnya, saat melakukan perkalian berdasarkan elemen dengan tensor lain yang berbentuk 3 dimensi, bentuknya harus sejajar sesuai dengan aturan penyiaran.

3. `:self.dim // 2`, memilih paruh pertama dimensi pada sumbu terakhir. Karena `embedding_dimension` digandakan untuk menyertakan nilai sinus dan cosinus, membagi dengan 2 secara efektif hanya akan memilih komponen cosinus dari embeddings.

#### Langkah 3: Integrasi dengan Model Keras

Setelah mendefinisikan `RotaryEmbeddingLayer`, Anda dapat mengintegrasikannya ke dalam model Keras Anda. Lapisan ini harus diterapkan pada embeddings Anda sebelum memasukkannya ke dalam lapisan perhatian atau lapisan model berikutnya.

Berikut adalah contoh sederhana tentang cara mengintegrasikan penyematan putar ke dalam model:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Transformator yang Ditingkatkan Dengan Penyematan Posisi Putar

[Tautan Arxiv](https://arxiv.org/abs/2403.13799)

20 Maret 2024

## Kutukan Pembalikan

Model Bahasa Besar (LLM) seperti [GPT-4](https://arxiv.org/abs/2303.08774) dan [Llama-2](https://arxiv.org/abs/2307.09288) telah menunjukkan kemampuan yang mengesankan dalam pemahaman dan menghasilkan teks mirip manusia, yang mencakup beragam pengetahuan. Namun, mereka gagal dalam tugas yang tampaknya mudah: membalikkan fakta yang telah dipelajari. Keterbatasan ini, yang disebut "Kutukan Pembalikan," menyiratkan bahwa LLM tidak dapat menyimpulkan bahwa "B adalah fitur A" dari pembelajaran "A memiliki fitur B," sebuah keterampilan penalaran dasar yang bahkan dimiliki oleh anak-anak. Makalah ini memperkenalkan "Pelatihan Terbalik", sebuah metode baru untuk mengatasi tantangan ini dengan memanfaatkan pendekatan pelatihan dua arah untuk meningkatkan pemahaman model tentang fakta dalam format maju dan mundur.

## Asal Usul Pembalikan Kutukan

Masalah muncul dari pendekatan pelatihan mendasar LLM, yang biasanya melibatkan **pembelajaran autoregresif, dari kiri ke kanan**. Metode ini pada dasarnya tidak mengajarkan model untuk memahami atau menghasilkan informasi dalam urutan terbalik. Mengingat sifat distribusi data yang mengikuti hukum Zipf, banyak fakta yang hanya disebutkan dalam satu arah, sehingga memperburuk masalah ini. "Kutukan Pembalikan" membatasi pemahaman LLM tentang hubungan timbal balik dan kesetaraan dalam pernyataan, menandai kekurangan yang signifikan dalam kemampuan penalaran mereka.

## Mengatasi Kutukan Pembalikan dengan Pelatihan Terbalik

Solusi yang diusulkan, Reverse Training, menggandakan data pelatihan yang tersedia dengan menyertakan versi string pelatihan asli dan terbalik. Proses pembalikan dilakukan dengan hati-hati agar tidak mengubah substring tertentu, seperti nama entitas, dan mempertahankan urutan aslinya untuk mempertahankan konteks. Metode ini, mirip dengan memperkenalkan bahasa kedua untuk dipelajari LLM, secara signifikan meningkatkan kemampuan model untuk memproses dan menghasilkan informasi dalam dua arah.

## Menguji Metode Pelatihan Terbalik

Penulis melakukan percobaan berikut untuk menguji metode yang mereka usulkan:

**1- Tugas Pembalikan Simbolik:** Uji lingkungan terkontrol yang menunjukkan kemampuan metode untuk menyimpulkan dan menerapkan hubungan terbalik.

**2- Membalikkan Tugas Biografi:** Memanfaatkan kumpulan data biografi untuk menilai kinerja dalam menghasilkan nama orang dari detail yang diberikan, secara terbalik.

**3- Pembalikan Pengetahuan Dunia Nyata:** Mengevaluasi efektivitas metode dalam skenario dunia nyata, termasuk membalikkan fakta tentang selebriti dan hubungan mereka.

**4- Penyempurnaan Fakta Fiktif:** Menguji kemampuan pembelajaran model pada fakta fiktif yang baru diperkenalkan dan dibalik.

Melalui eksperimen ini, Pelatihan Terbalik tidak hanya mengurangi Kutukan Pembalikan namun, dalam beberapa kasus, menghilangkannya sepenuhnya. Metode ini terbukti sangat efektif ketika nama entitas dipertahankan dalam urutan aslinya selama proses pembalikan, yang menyoroti pentingnya mempertahankan jangkar kontekstual tertentu.

## Implikasi dan Arah Masa Depan

Keberhasilan Pelatihan Terbalik dalam mengatasi Kutukan Pembalikan membuka jalan baru bagi metodologi pelatihan LLM. Dengan meningkatkan pemahaman model tentang hubungan timbal balik dan kesetaraan dalam pernyataan, pendekatan ini membuka pintu menuju kemampuan penalaran yang lebih canggih. Penelitian di masa depan dapat mengeksplorasi optimalisasi lebih lanjut dari proses pembalikan, potensi untuk mengintegrasikan pelatihan terbalik dalam arsitektur model bahasa lain, dan penerapan yang lebih luas dari metode ini dalam tugas pemahaman dan pembangkitan bahasa alami.

---

*Jadilah Ahli Coding Sesuai Kecepatan Anda Sendiri! Bergabunglah dengan [Kamp Pelatihan Paruh Waktu Online](/) dan tingkatkan keterampilan dalam coding. Sesuaikan pembelajaran dengan jadwal Anda dan mulailah perjalanan Anda ke dunia teknologi hari ini!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Pelatihan Terbalik untuk Merawat Kutukan Pembalikan

[Tautan Arxiv](https://arxiv.org/abs/2403.12015)

18 Maret 2024

"Sintesis Gambar Resolusi Tinggi Cepat dengan Distilasi Difusi Adversarial Laten" menghadirkan pendekatan distilasi baru yang dikenal sebagai Distilasi Difusi Adversarial Laten (LADD). Pendekatan ini dirancang untuk mengatasi keterbatasan [model difusi](https://en.wikipedia.org/wiki/Diffusion_model) yang ada, khususnya tantangan kecepatan inferensi yang lambat, yang menghambat aplikasi real-time. LADD memungkinkan sintesis gambar multi-rasio resolusi tinggi dengan menyaring secara efisien [model difusi laten](https://arxiv.org/abs/2112.10752) (LDM), yang secara signifikan menyederhanakan proses pelatihan dan meningkatkan kinerja dibandingkan metode sebelumnya .

Kami akan merangkum poin-poin penting dari makalah ini.

## Perkenalan

Model difusi telah muncul sebagai alat yang ampuh untuk sintesis dan pengeditan gambar dan video, yang menawarkan hasil berkualitas tinggi. Namun, sifat iteratifnya, yang memerlukan banyak evaluasi jaringan untuk mengubah noise menjadi gambar yang koheren, telah membatasi kepraktisannya untuk aplikasi real-time. Berbagai strategi telah diusulkan untuk mempercepat model difusi. LADD memperkenalkan strategi baru, memanfaatkan fitur generatif dari LDM yang telah dilatih sebelumnya, memungkinkan sintesis gambar resolusi tinggi yang efisien dalam beberapa langkah yang diperlukan oleh metode tradisional.

## Latar belakang

Makalah ini dimulai dengan memberikan gambaran umum tentang model difusi dan [distilasinya](https://en.wikipedia.org/wiki/Knowledge_distillation). Model difusi tradisional beroperasi dengan menghilangkan noise pada gambar secara bertahap melalui banyak langkah berulang, sehingga prosesnya menjadi lambat dan mahal secara komputasi. Metode distilasi, termasuk [Distilasi Difusi Adversarial](https://arxiv.org/abs/2311.17042) (ADD), berupaya menyederhanakan proses ini dengan mengurangi jumlah langkah yang diperlukan. Namun, ADD menghadapi keterbatasan seperti resolusi pelatihan yang tetap, dan perlunya decoding ke ruang RGB untuk menyaring model difusi laten, yang dapat membatasi pelatihan resolusi tinggi.

## Metodologi

LADD mengatasi masalah ini dengan **menyaring secara langsung dalam ruang laten**, sehingga **menghindari kebutuhan untuk mendekode ke ruang piksel**, dan memungkinkan pelatihan pada resolusi yang lebih tinggi. Tidak seperti ADD, yang mengandalkan diskriminator terlatih yang beroperasi dalam ruang piksel, LADD menggunakan pendekatan baru yang menyatukan diskriminator dan model guru, yang beroperasi secara langsung pada ruang laten. Metode ini tidak hanya menyederhanakan proses pelatihan, namun juga memberikan beberapa keuntungan, antara lain efisiensi, kemampuan memberikan umpan balik spesifik tingkat kebisingan, dan kapasitas pelatihan Rasio Multi-Aspek (MAR).

## Eksperimen dan Hasil

Makalah ini mengevaluasi LADD secara ekstensif melalui berbagai eksperimen, menunjukkan kinerja unggulnya dalam mensintesis gambar resolusi tinggi hanya dengan beberapa langkah. Khususnya, ketika diterapkan pada [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD menghasilkan model yang dijuluki SD3-Turbo, yang menghasilkan kualitas gambar yang sebanding dengan model yang ada di negara bagian tersebut. generator teks-ke-gambar canggih hanya dalam empat langkah. Eksperimen ini juga mengeksplorasi dampak dari distribusi kebisingan guru yang berbeda, penggunaan data sintetik, pendekatan distilasi laten, dan perilaku penskalaan LADD.

## Perbandingan dengan yang Tercanggih

Efektivitas LADD semakin ditegaskan melalui perbandingan dengan metode terkemuka saat ini dalam sintesis teks-ke-gambar dan gambar-ke-gambar. SD3-Turbo tidak hanya menyamai performa model pengajarnya (SD3) dalam kualitas gambar, namun juga menunjukkan peningkatan yang signifikan dibandingkan baseline lainnya dalam hal kecepatan inferensi dan penyelarasan gambar-teks.

## Keterbatasan dan Arah Masa Depan

Meskipun terdapat kemajuan, LADD bukannya tanpa keterbatasan. Para penulis mencatat adanya trade-off antara kapasitas model, penyelarasan cepat, dan kecepatan inferensi, yang dapat berdampak pada kemampuan model untuk menangani tantangan sintesis teks-ke-gambar tertentu. Arah penelitian di masa depan mencakup mengeksplorasi trade-off ini lebih dalam dan mengembangkan strategi untuk meningkatkan kontrol atas kekuatan panduan gambar dan teks.

## Kesimpulan

"Sintesis Gambar Resolusi Tinggi Cepat dengan Distilasi Difusi Adversarial Laten" memperkenalkan pendekatan baru pada sintesis gambar/video yang secara signifikan mempercepat pembuatan gambar berkualitas tinggi dari perintah teks. Dengan menyaring model difusi besar dalam ruang laten, LADD membuka jalan bagi aplikasi real-time dan menetapkan standar baru untuk efisiensi dan kinerja dalam sintesis gambar.

Makalah Dijelaskan

Mengapa Kembali ke Kantor Pasca-Pandemi Dapat Merugikan Produktivitas: Wawasan dari Pakar Bisnis