Özellikle büyük şirketlerde, COVID-19 salgınının ardından çalışanların ofisten çalışması zorunluluğuna gözle görülür bir geri dönüş yaşandı. Pittsburgh Üniversitesi Joseph M. Katz İşletme Fakültesi'nde işletme alanında doçent olan [Mark Ma](https://business.pitt.edu/professors/mark-ma/) ve Yuye Ding, Doktora öğrencisi,[bu modeli incelediniz](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Uzaktan çalışmanın sosyolojik ve ekonomik etkilerinin yanı sıra işletmelerin işçileri ofise geri döndürmeye yönelik son zamanlardaki girişimlerini de incelediler; bu da çalışanları sıklıkla rahatsız ediyor.

Ma, [Heise ile yaptığı bir röportajda](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) şunu iddia ediyor: Giderek dijitalleşen çalışma ortamı, çalışanların ofise geri dönmesini sağlamak yalnızca onları sinirlendirmeye hizmet ediyor ve üretkenliği artırmaya çok az katkıda bulunuyor. Ancak gönüllü olarak ve ekip desteğiyle yapıldığında, kişisel çalışmanın avantajlı olabileceğini ve gelişmiş koordinasyon ve ekip çalışmasını teşvik edebileceğini kabul ediyor.

Ma, herkesin ofiste olması yerine, evden çalışırken etkinliğini kanıtlamış yüksek performanslı bireylerin bunu yapmaya devam etmelerine izin verilmesi gerektiğini öne sürüyor. Aksi halde başka yerde iş arayabilecek parlak bireyleri bünyemizde tutmanın, bu stratejinin sonuçta hem işverenlere hem de çalışanlara fayda sağlayacağını düşünüyor. Ma ayrıca, verimli fikir üretimi ve problem çözme için gerekli olan şirket kültürünü sağlam tutmak için düzenli olarak yüz yüze ekip oluşturma egzersizleri öneriyor.

Her ne kadar birçok işletme, pandeminin ardından çalışanların ofise dönmesini talep etse de, bu eğilimin zirvesi geride kalmış gibi görünüyor. 2024'te yapılan anketlere göre CEO'ların çoğunluğu artık ofiste olmaya pek değer vermiyor. İşletmeler, pandemi sırasında işçilerin uzaktan çalışırken oldukça üretken olabileceğini öğrendi. Ancak diğer yöneticilerin hâlâ uzaktan çalışma konusunda şüpheleri var ve bu yüzden ofise geri dönmeyi savunuyorlar. Bu güven eksikliğinin bir sonucu olarak çalışanların morali bozulabilir, çünkü bu durum çalışanlara yöneticilerinin kendilerine inanmadığı izlenimini verir.

Uzaktan çalışmanın genel giderleri ve alan gereksinimlerini azaltabilmesine rağmen, büyük şirketler çalışanlarının geri dönmesini istiyor, bu da burada fiyattan ziyade kontrolün ve gücün söz konusu olması ihtimalini artırıyor. Ma, birçok işletmenin hisse senedi fiyatlarındaki düşüşlere yanıt olarak ofise dönüş politikaları uyguladığına ve uzaktan çalışmayı düşük performans için kullanışlı bir günah keçisi olarak rahatlıkla kullandığına dikkat çekiyor.

Uzaktan çalışmaya yönelik talebin hâlâ yüksek olmasına rağmen (New York, San Francisco ve Almanya gibi büyük şehirlerdeki birçok ofis alanı boş) yöneticiler, çalışanların bizzat bulunmasının işbirliğini ve iş kültürünü geliştireceği görüşünü savunmaya devam ediyor. Ancak ofise dönen birçok çalışan, iş arkadaşlarıyla birlikte çalışmak yerine, zamanlarının çoğunu bilgisayar başında yalnız çalışarak geçirdiklerini söylüyor. Bu tür talimatların etkisizliği, ofis ile uzaktan çalışma arasında fark edilebilir bir ayrımın bulunmaması ve çalışanların geri dönmek zorunda kaldıklarında yaşadıkları hayal kırıklığı nedeniyle şüphe uyandırıyor.

Çalışanlar, iş ve aile yaşamını daha iyi entegre etme ve uzun işe gidip gelmelerden kaçınma yeteneği gibi, uzaktan çalışmanın getirdiği artan üretkenliğe ve iş-yaşam dengesinin faydalarına alışkındır. Memnuniyetsizlik, ofise zorla geri dönüş nedeniyle bu anlaşmaların bozulmasından kaynaklanmaktadır. Ek olarak, işi kaçırmanın mesleki gelişimi engelleyebileceğine dair bir algı var.

Sonuçta Ma, işçilerin kalıcı olarak işyerine dönmeye zorlanması durumunda çoğunun başka meslekler aramaya başlayacağını ve kalanların motivasyonunun azalabileceğini düşünüyor. Ev ofisleri hala yaygın çünkü dezavantajlarına rağmen daha iyi bir iş-yaşam dengesi ve daha düşük tükenmişlik oranları sağlıyorlar. Uzaktan çalışmak ile ofiste çalışmak arasında gözle görülür bir üretkenlik farkı yoktur ve evden çalışmak, çalışanların odaklanmak için sıklıkla kulaklık taktığı açık planlı ofislerdeki dikkat dağıtıcı unsurlar kadar yabancılaştırıcı olabilir. Ma, ekiplerin ofiste kaç gün çalışmak istediklerini seçmelerini ve geri kalan zamanı esnek bırakmalarını, böylece çalışanların tercih ettikleri çalışma ortamını seçebilmelerini tavsiye ediyor; ancak insani temaslar şirketler için faydalı olabilir.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Pandemi Sonrası Ofise Dönüş Neden Üretkenliğe Zarar Verebilir: Bir İş Uzmanından Görüşler

[Google AI](https://ai.google/) yakın zamanda popüler mobil klavye uygulaması Gboard'a 'Düzeltme' adı verilen yeni bir özelliği tanıttı. Bu özellik, tek bir dokunuşla cümle ve paragraf düzeylerinde kusursuz değişiklik ve düzeltmeler yapılmasını sağlayarak genel yazma deneyimini iyileştirir.

## 'Şişman Parmak' Problemini Çözmek

[Gboard](https://support.google.com/gboard/?hl=en), küçük ekranlarda dokunmatik girişin doğal yanlışlığı olan "şişman parmak" sorununu çözmek için istatistiksel kod çözmeyi kullanır. Araştırmalar, kod çözmeden harf başına hata oranının yüzde 8 ila 9'a ulaşabildiğini gösteriyor. Gboard, yazmayı daha kolay ve sorunsuz hale getirmek için çeşitli hata düzeltme özellikleriyle birlikte gelir. Bu özellikler, insan girdisini içeren manuel görevleri proaktif, otomatik düzeltmelerle birleştirir.

## Kapsamlı Hata Düzeltme Araçları

Yazma, Gboard'un kelime tamamlama, sonraki kelime tahminleri, aktif otomatik düzeltme (AC) ve aktif anahtar düzeltmeyi (KC) içeren özellikleri sayesinde toplu olarak daha kolay hale gelir. Bu araçlar arasında akıllı kompozisyon, hata düzeltme ve öneri çubuğunda veya satır içinde birden fazla kelime içeren adaylar bulunur. Düzeltme sonrası (PC), daha önce yapılmış kelimelerdeki hataların düzeltilmesini de kolaylaştırır. Bu özelliklere rağmen iki temel kısıtlama kullanıcı deneyimini olumsuz etkiliyor.

1. KC, AC ve PC gibi cihaz içi düzeltme modelleri hızlı ve kompakt olmasına rağmen, daha uzun bağlamlar gerektiren karmaşık ve karmaşık hataların üstesinden gelmekte zorluk çekerler. Bu modellerin etkinleştirilmesini önlemek için kullanıcıların yavaş ve hassas bir şekilde yazması gerekir.

2. Kullanıcıların, yazılan sözcükleri dilbilgisi ve yazım denetleyicileri kullanarak manuel olarak düzeltmek zorunda kalması sonucunda yazma hızı düşer; bu, zihinsel ve görsel olarak yorucu olabilir.

## Üst Düzeyde Hata Düzeltme İhtiyacı

Hızlı yazanlar sıklıkla daha önce yazdıkları kelimeleri göz ardı eder ve yalnızca klavyeye odaklanırlar. Bundan daha yüksek hata oranları ortaya çıkabilir ve bu da ceza veya daha üst düzey düzeltme mekanizmalarının kullanılmasını gerektirebilir.

## Proofread'e Giriş

Proofread, kayda değer üretkenlik artışları sunarak bu sık karşılaşılan şikayetleri çözmektedir. Tek dokunuşla cümle ve paragraf düzeyinde düzeltmeler sağlayarak hata düzeltmeyi kolaylaştırır.

## Düzeltmenin Arkasındaki Teknoloji

Proofread özelliği dört ana bileşenden oluşur: veri üretimi, ölçüm tasarımı, model ayarlaması ve model sunumu. Bu bileşenlerin tümü birlikte etkinliği garanti eder. Veri dağıtımının Gboard alanıyla uyumlu olmasını sağlamak için sistem, hassas ve düzenli bir şekilde oluşturulmuş hata sentetik mimarisini kullanarak sık karşılaşılan klavye hatalarını taklit eder.

## Gelişmiş Metrikler ve Model Optimizasyonu

Modeli değerlendirmek için araştırmacılar, dilbilgisi hatalarının varlığı kontrollerine ve büyük dil modellerinden (LLM'ler) türetilen benzer anlam kontrollerine özellikle vurgu yaparak bir dizi ölçümü birleştirdiler. Modeli geliştirmek için InstructGPT tekniğinde denetimli ince ayar ve Güçlendirme Öğrenme (RL) ayarı kullanılır. Modelin düzeltme performansı bu prosedürle büyük ölçüde geliştirildi.

## Dağıtım ve Performans

8 bit niceleme kullanan orta boyutlu LLM PaLM2-XS, tek bir TPU v5'e sığacak şekilde tasarlandı ve Proofread özelliğinin temelini oluşturuyor. Optimizasyon, sunum maliyetini düşürür. Önceki araştırmalar, segmentasyonun, spekülatif kod çözmenin ve paket anahtarlarının gecikmeyi azaltabileceğini göstermiştir.

## Gerçek Dünya Etkisi

On binlerce Pixel 8 kullanıcısı, artık mevcut olan Proofread özelliğinin sağladığı yüksek kaliteli düzenlemelerden yararlanacak. Kapsamlı bir sentetik veri üretimi ve birkaç ince ayar yinelemesi, PaLM2-XS modelinin Kötü oranındaki yüzde 5,74'lük göreceli azalmayla görüldüğü gibi, dilbilgisi hatalarını önemli ölçüde azaltan bir model üretti. Ayrıca optimizasyonlar ortalama gecikmede %39,4'lük bir azalmaya yol açtı.

## Gelecek Beklentileri

[Bu çalışma](https://arxiv.org/abs/2406.04523), Yüksek Lisans'ların kullanıcı deneyimini nasıl geliştirebileceğini ve daha ileri araştırmalar için ilgi çekici olanaklar yaratabileceğini göstermektedir. Gerçek kullanıcı verilerinin kullanımı, çok dilli destek, kişiye özel yazma yardımı ve cihaz gizliliği çözümleri, sektörde daha fazla ilerlemeye yol açabilecek alanlara birkaç örnektir.

Google AI, Proofread özelliğinin sunulmasıyla mobil klavye teknolojisinin olanaklarını genişletiyor ve dünyanın her yerindeki insanlar için yazmayı geliştiriyor.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google Yapay Zeka, Zahmetsiz Cümle ve Paragraf Düzeltmeleri için Gboard Özelliği olan 'Düzeltme'yi Tanıtıyor

Modern Derin Sinir Ağları (DNN'ler) doğası gereği opaktır ve karar verme süreçlerini kavramayı zorlaştırır. Bu şeffaflık eksikliği, Makine Öğrenimi tekniklerinin çeşitli alanlarda kapsamlı bir şekilde uygulanmasına engel olmaktadır. Buna yanıt olarak, Açıklanabilir Yapay Zeka (XAI), insanların DNN kararlarını kavramasını iyileştirmeyi amaçlayan bir şekilde ortaya çıktı. Her bileşenin işlevsel amacına bakarak XAI, bireysel tahminleri açıklamak için belirginlik haritaları kullanan yerel açıklama yöntemlerinin aksine artık DNN'lerin küresel davranışını anlamaya da odaklanıyor.

Mekanistik yorumlanabilirlik, bir sinir ağının temel bilgi işlem birimleri olan nöronların anlama yeteneği kazandığı belirli fikirlerin belirlenmesine odaklanan küresel bir açıklanabilirlik tekniğidir. Bir ağın gizli temsillerinin işleyişini, nöronları insanların anlayabileceği açıklamalarla etiketleyerek açıklayabiliriz. Bu açıklamalar basit etiketlerden ayrıntılı, kompozisyona dayalı ve açık sözlü açıklamalara doğru ilerlemiştir. Bununla birlikte, bu açık kelime tanımlarını değerlendirmek için standartlaştırılmış niceliksel ölçümlerin eksikliği, çeşitli yaklaşımlar arasında kapsamlı karşılaştırmalar yapılmasını engellemiştir.

Bu boşluğu gidermek için ATB Potsdam, Potsdam Üniversitesi, TU Berlin, Fraunhofer Heinrich-Hertz-Institute ve BIFOLD'dan araştırmacılar, öncü bir niceliksel değerlendirme çerçevesi olan [CoSy](https://arxiv.org/abs/2405.20331)'yi tanıtıyor. Bilgisayarla görme (CV) modellerinde açık kelime açıklamalarının kullanımının değerlendirilmesi. Bu yenilikçi yöntem, kavram temelli metinsel açıklamalarla ilişkilendirilen yapay görüntüler üretmek için Üretken Yapay Zeka'daki gelişmelerden yararlanıyor. cosy, belirli hedef açıklamalar için ortak veri noktalarını sentezleyerek farklı kavram temelli metinsel açıklama yaklaşımlarının niceliksel karşılaştırmasını kolaylaştırarak insan etkileşimi ihtiyacını ortadan kaldırır.

Araştırma ekibi, kapsamlı bir meta-analiz yoluyla, açıklamaların güvenilir değerlendirmelerini sunduğunu gösterdi. Çalışma, kavram temelli metinsel açıklama yöntemlerinin, üst düzey kavramların öğrenildiği sinir ağlarının üst katmanlarında en iyi şekilde çalıştığını keşfetti. Sinir ağı temsillerinden görseller oluşturan INVERT ve iç ağ temsillerini inceleyen CLIP-Dissect gibi yöntemlerle yüksek kaliteli nöron açıklamaları üretilir. Tersine, MILAN ve FALCON gibi teknikler daha düşük kalitede açıklamalar üretir, bazen neredeyse rastgele kavramlar sağlar ve bu da hatalı ağ sonuçlarına yol açabilir.

Araştırmacıların da kabul ettiği gibi, CoSy'nin en büyük dezavantajı, eğitim verilerinden belirli kategorilerin üretken modele dahil edilmemiş olması ve bunun da "beyaz nesneler" gibi çok genel veya belirsiz açıklamalara yol açması olabilir. Eğitim öncesi veri kümeleri ve model performansı incelenerek bu sorun çözülerek üretken doğruluk artırılabilir. Yine de, cosy, halen gelişmekte olan yerel olmayan açıklama tekniklerinin değerlendirilmesi alanında büyük bir potansiyel sergilemektedir.

Geleceğe baktığımızda ekip, CoSy'nin birçok alandaki potansiyel uygulamaları konusunda umutlu. Bir alt görevin sonucuna ilişkin bir açıklamanın inandırıcılığını veya kalitesini değerlendirmek için, gelecekteki çalışmalarda ele almak istedikleri açıklama kalitesi tanımına insan yargısının dahil edilmesi gerekir. Ayrıca doğal dil işleme ve sağlık gibi ek alanları da değerlendirme sistemlerine dahil etmek istiyorlar. Büyük, opak, otomatik yorumlanabilir dil modellerini (LLM'ler) değerlendirmek için rahatın potansiyel kullanımı özellikle heyecan vericidir. Araştırmacılara göre, açıklama kalitesinin önemli olduğu sağlık veri setlerine rahat uygulamak ileriye doğru büyük bir adım olabilir. Rahatlığın gelecekteki bu potansiyel uygulamaları, yapay zeka araştırmalarını ilerletmek için muazzam bir potansiyele sahiptir.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Sinir Ağlarını Anlamak: CoSy'nin Metinsel Açıklama Değerlendirmesine İlişkin Nicel Çerçevesi

[Transformer tabanlı modeller](https://blogs.nvidia.com/blog/what-is-a-transformer-model/), karmaşık metinleri ayrıştırma ve yorumlama yetenekleriyle ünlüdür. Geleneksel konumsal kodlama yöntemlerinin sınırlarını gösterdiği görevler olan kelimelerin sırasını ve bağlamını anlamaya dayanırlar. Bu boşluğa hitap eden, **Döner Konum Gömme (RoPE)** tarafından desteklenen ROFORMER modeli, konumsal kodlamaya yaklaşımımızı yeniden tanımlıyor.

## Geleneksel Konumsal Kodlama

Transformatörler, metni bir dizi simge olarak ele alır ve daha fazla verimlilik için **dizilerin paralel işlenmesine** olanak tanır. Ancak bu güç, kendi zorluklarını da beraberinde getirdi: **modelin sembolik düzene içkin agnostisizmi**. Yanıt **Konumsal kodlama**ydı; **her jetona sıra konumunu belirten benzersiz bir imza sağlıyordu**.

### Mutlak Konum Gömmeleri

Başlangıçta, BERT gibi modeller **mutlak konum yerleştirmeleri, bir dizideki her konuma sabit bir vektör atayarak** kullanıyordu. Bu yöntem, basit olmasına rağmen, doğası gereği **dizi uzunluğu değişikliklerine uyum sağlama veya belirteçler arasındaki göreli mesafeleri vurgulama yeteneğinden yoksundur**, bu da pek çok dilsel yapıyı anlamak için kritik öneme sahiptir.

### Göreceli Konum Yerleştirmeleri

Dilin dinamik doğasını yakalamak için, belirteçlerin mutlak konumları yerine aralarındaki mesafeye odaklanan göreceli konum yerleştirmeleri tanıtıldı. Kavramsal avantajlarına rağmen, bu yerleştirmeler **hesaplama karmaşıklığı getirdi ve Transformers'ın öz-dikkat mekanizmasına** sorunsuz bir şekilde entegre olmayı başaramadı ve bu da onların etkinliğini sınırladı.

## ROFORMER ve Döner Pozisyon Gömme

Mevcut konumsal kodlama stratejilerinin sınırlamalarının farkında olan ROFORMER, mutlak ve göreceli konum bilgilerinin faydalarını ilgili dezavantajları olmadan birleştiren bir yaklaşım olan Döner Konum Gömmeyi (RoPE) sunar.

### Döner Pozisyon Gömme

RoPE, konum bilgisini **dönme matrislerini** kullanarak kodlayarak modelin yalnızca bir tokenın nerede olduğunu değil aynı zamanda bir dizideki diğer tokenlarla nasıl ilişkili olduğunu anlamasını sağlar.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Jeton konumlarını, sıralı ilişkilerini işaretlemek için döndürülen çok boyutlu bir uzaydaki noktalar olarak ele alan geometrik bir mercek aracılığıyla çalışır. Bu rotasyon, modelin kendi kendine dikkat mekanizması içerisinde hem mutlak hem de göreceli konumsal ipuçlarını korumasına ve kullanmasına olanak tanır.

### RoPE'nin Uygulanması

RoPE'nin uygulanması, her jetonun konumunun bir rotasyon matrisine kodlanmasını ve bu matrisin Transformer'ın öz-dikkat mekanizması içinde uygulanmasını içerir. Bu süreç, konumsal bilgilerin esnek, dinamik bir şekilde yorumlanmasına, değişen dizi uzunluklarına uyum sağlanmasına ve önemli bir hesaplama yükü olmadan belirteç ilişkilerinin özünün yakalanmasına olanak tanır.

Öncelikle döner yerleştirmeleri oluşturmak için bir fonksiyona ihtiyacınız olacak, ardından bu yerleştirmeleri modelinize entegre edeceksiniz. Aşağıdaki örnekte Keras'ta özel katmanlar oluşturmaya aşina olduğunuz varsayılmaktadır.

#### Adım 1: Döner Gömme İşlevini Tanımlayın

Bu işlev, maksimum dizi uzunluğu ve yerleştirmelerin boyutluluğu göz önüne alındığında döner yerleştirmeleri oluşturur.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Bu çizgi, konum endekslerine dayalı olarak üstel olarak ölçeklendirilmiş frekansların tersini hesaplar. Bu frekanslar, döner yerleştirmeler için sinüzoidal desenlerin oluşturulmasında kullanılır ve bu, dizilerdeki göreceli konum bilgilerinin kodlanmasına yardımcı olur. Bu mekanizma, doğal dil işleme veya zaman serisi analizi gibi öğelerin sırasını ve göreceli konumunu anlamanın çok önemli olduğu görevlerde özellikle faydalıdır.

Ayrıntılı olarak:

- `tf.range(0, dim, 2, dtype=tf.float32)`, 0'dan başlayarak `dim'e (hariç) kadar, 2'şer adım adım ilerleyen bir değer aralığı oluşturur. 'dtype=tf.float32' bağımsız değişkeni şunu belirtir: bu tensörün elemanlarının 32 bitlik kayan noktalı sayılar olduğu. Örneğin "dim" 8 ise bu, "[0, 2, 4, 6]" sonucunu verir.

- Daha sonra "tf.range" tarafından üretilen tensör, yerleştirmelerin boyutluluğuna ("dim") bölünür. Bu işlem, bu endeksleri 0 ile 1 arasındaki bir aralığa ölçeklendirir ("dim" çift ise hariçtir, "dim" tek ise biraz kapsayıcıdır, çünkü aralık adımı tüm diğer değerleri atlar). Örneğe "dim" = 8 ile devam edersek, 8'e bölmek "[0,0, 0,25, 0,5, 0,75]" sonucunu verir.

- '10000 ** (...)' işlemi, daha önce ölçeklenen tensördeki her öğenin üssünü 10.000 artırır. 10.000 tabanı biraz keyfidir ancak frekansların geniş bir aralıkta değişmesini sağlamak için seçilmiştir, bu da modelin farklı konumlar arasında daha etkili bir şekilde ayrım yapmasına yardımcı olur. "[0.0, 0.25, 0.5, 0.75]" için, her birine güç işlemi uygulanır ve daha yüksek öğeler için çok daha büyük değerler elde edilir.

- Son olarak bir önceki adımdaki değerlerin tersi (1/x) alınarak ters frekans elde edilir. Ters frekanslar daha yüksek endeksler için daha küçüktür; bu, dizideki daha ilerideki öğelerin daha küçük frekanslara sahip olacağı anlamına gelir ve bu da konumlarının modele nasıl kodlanacağını etkiler. Bu, yerleştirmelerin, modelin dikkat mekanizmaları aracılığıyla göreceli konumların çıkarılabileceği şekilde ölçeklendirilmesine olanak tanır.

Satır:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

TensorFlow'un, Einstein toplama gösterimini kullanarak tensör işlemlerinin kısa ve etkili bir şekilde ifade edilmesine olanak tanıyan bir araç olan "tf.einsum" fonksiyonunu kullanır.

Bu işlem, 't' ve 'inv_freq' vektörlerinin dış çarpımını etkili bir şekilde hesaplar ve sonuçta her bir öğenin '(i, j)', 't'nin 'i'inci öğesinin ve ''nin çarpımı olduğu bir matris elde edilir. 'inv_freq'in j'-th öğesi. Bu matris ("frekanslar"), döner gömmeler için sinüzoidal desenleri oluşturmak için kullanılan frekansları temsil eder.

#### Adım 2: Döner Gömmeler için Özel Keras Katmanı

Şimdi giriş tensörüne döner yerleştirmeler uygulayan özel bir Keras katmanı oluşturalım. Bu katman, giriş tensörünün '(toplu_boyut, sıra_uzunluğu, yerleştirme_dim)' şeklinde olduğunu varsayar.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

'Embddings = self.rotary_embeddings[:seq_len]' satırı, geçerli giriş dizisi uzunluğuna dayalı olarak önceden hesaplanmış döner yerleştirmelerin uygun alt kümesini seçer. Dizilerin uzunluğu bir partiden diğerine değişebildiğinden, bu dilimleme işlemi yalnızca gerçek dizi uzunluğuna karşılık gelen yerleştirmelerin kullanılmasını sağlar.

"Gömmeler" değişkeni artık "(seq_len, embedding_dim)" şeklinde bir tensör barındırıyor; burada "seq_len" geçerli toplu işteki dizilerin uzunluğu ve "embedding_dim" yerleştirmelerin boyutluluğudur. Bu tensör, "seq_len"e kadar dizideki her konum için döner konumsal yerleştirmeleri içerir.

'emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)' konumsal frekansların sinüs ve kosinüs dönüşümlerini tek bir tensörde birleştirir:

-`tf.cos(freqs)` ve `tf.sin(freqs)`, kosinüs ve sinüs dönüşümlerini sırasıyla 'freqs' tensörüne uygular. "Frekanslar" tensörü, giriş dizisindeki her konum ve gömme alanının her boyutu için, dizi konumları ve gömme boyutlarının ters frekanslarına göre hesaplanan frekans değerlerini içerir. Sinüs ve kosinüs fonksiyonları eleman bazında uygulanarak "frekler" ile aynı şekle sahip iki tensör elde edilir. Bu dönüşümler, konumun konumsal ilişkilerin döngüsel doğasını yakalayacak şekilde kodlanmasına yardımcı olarak modelin göreceli konumları anlama yeteneğini kolaylaştırır.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kosinüs ve sinüs dönüştürülmüş tensörleri son eksen boyunca ('axis=-1' ile gösterilir) birleştirir. Bu tensörlerin yan yana birleştirilmesi, "frekans" tensörünün boyutsallığını etkili bir şekilde iki katına çıkarır; ilk yarı, her konum için kosinüsle dönüştürülmüş değerleri ve ikinci yarı, sinüsle dönüştürülmüş değerleri temsil eder. Birleştirme, her konumsal kodlamanın hem sinüs hem de kosinüs bilgilerini içermesini sağlar; bu da konumsal sinyallerin hem genliği hem de fazı hakkındaki bilgilerin korunmasına olanak tanır.

- Birleştirilmiş tensör 'yerleştirme' artık giriş konumları için tüm döner yerleştirmeleri barındırıyor. 'Göm'ün şekli, ilk iki boyutunda (sıra konumlarına ve gömme boyutlarına karşılık gelen) 'frekler' ile aynı olacaktır, ancak son boyutu, hem sinüs hem de kosinüs değerlerini hesaba katarak iki kat daha büyük olacaktır. Bu yerleştirmeler, konumsal bilgiyi rotasyonel olarak eşit bir şekilde ekleyerek giriş yerleştirmelerini modüle etmek için kullanılır.

-`cos_emb = yerleştirmeler[:, Yok, :self.dim // 2]`:

1. İlk iki nokta üst üste `:` "bu boyuttaki tüm öğeleri seç" anlamına gelir; bu durumda bu, dizideki tüm konumları ifade eder.

2. Tensörü 3 boyutlu hale getiren ek bir boyut eklemek için 'Yok' kullanılır. Bu genellikle belirli sayıda boyutta girdi bekleyen belirli işlemlerle uyumluluğu sağlamak için yapılır. Örneğin 3 boyutlu başka bir tensörle eleman bazında çarpma işlemi yapılırken şekillerin yayın kurallarına göre hizalanması gerekir.

3. `:self.dim // 2`, son eksendeki boyutların ilk yarısını seçer. "Gömme_boyutu" hem sinüs hem de kosinüs değerlerini içerecek şekilde iki katına çıkarıldığından, 2'ye bölmek, yerleştirmelerin yalnızca kosinüs bileşenlerini etkili bir şekilde seçer.

#### Adım 3: Keras Modeli ile Entegrasyon

'RotaryEmbeddingLayer'ı tanımladıktan sonra Keras modelinize entegre edebilirsiniz. Bu katman, yerleştirmelerinize dikkat katmanlarına veya sonraki model katmanlarına beslenmeden önce uygulanmalıdır.

Döner yerleştirmelerin bir modele nasıl entegre edileceğine dair basitleştirilmiş bir örnek:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Döner Pozisyon Gömmeli Gelişmiş Transformatör

[Arxiv Bağlantısı](https://arxiv.org/abs/2403.13799)

20 Mart 2024

## Ters Lanet

[GPT-4](https://arxiv.org/abs/2303.08774) ve [Llama-2](https://arxiv.org/abs/2307.09288) gibi Büyük Dil Modelleri (LLM'ler) anlama konusunda etkileyici yetenekler sergilemiştir ve geniş bir bilgi yelpazesini kapsayan insan benzeri metinler üretmek. Ancak görünüşte basit bir görevde başarısız oluyorlar: öğrenilen gerçekleri tersine çevirmek. "Tersine Döndürme Laneti" olarak adlandırılan bu sınırlama, LLM'lerin çocukların bile sahip olduğu temel bir akıl yürütme becerisi olan "A'nın B özelliğine sahip olduğunu" öğrenmekten "B'nin A'nın bir özelliği olduğu" sonucunu çıkaramayacağı anlamına gelir. Bu makale, modelin hem ileri hem de ters formatlardaki gerçekleri kavramasını geliştirmek için çift yönlü bir eğitim yaklaşımından yararlanarak bu zorluğun üstesinden gelmeye yönelik yeni bir yöntem olan "Tersine Eğitim"i tanıtmaktadır.

## Ters Lanetin Kökenleri

Sorun, LLM'lerin tipik olarak **otoregresif, soldan sağa öğrenmeyi** içeren temel eğitim yaklaşımından kaynaklanmaktadır. Bu yöntem, doğası gereği, modellere bilgiyi ters sırada anlamayı veya üretmeyi öğretmez. Zipf yasasını izleyen veri dağıtımının doğası göz önüne alındığında, birçok olgudan yalnızca tek yönde bahsediliyor ve bu durum bu sorunu daha da kötüleştiriyor. "Tersine Dönme Laneti", yüksek lisans öğrencilerinin karşılıklı ilişkiler ve ifadelerdeki denklik anlayışını sınırlayarak, akıl yürütme yeteneklerinde önemli bir eksikliğe işaret ediyor.

## Tersine Eğitim ile Ters Lanetin Üstesinden Gelmek

Önerilen çözüm olan Tersine Eğitim, eğitim dizilerinin hem orijinal hem de ters versiyonlarını dahil ederek mevcut eğitim verilerini iki katına çıkarır. Tersine çevirme işlemi, bağlamı korumak için orijinal sıralarını koruyarak, varlık adları gibi belirli alt dizeleri değiştirmemeye dikkat eder. LLM'nin öğrenmesi için ikinci bir dilin tanıtılmasına benzer olan bu yöntem, modelin her iki yönde de bilgi işleme ve üretme yeteneğini önemli ölçüde geliştirir.

## Tersine Eğitim Yöntemini Test Etme

Yazarlar önerdikleri yöntemi test etmek için aşağıdaki deneyleri gerçekleştirdiler:

**1- Sembolik Ters Görev:** Yöntemin ters ilişkileri anlama ve uygulama yeteneğini gösteren kontrollü bir ortam testi.

**2- Biyografiyi Tersine Çevirme Görevi:** Verilen ayrıntılardan kişi adlarını oluşturma performansını tersten değerlendirmek için bir biyografi veri kümesi kullanmak.

**3- Gerçek Dünya Bilgisinin Tersine Döndürülmesi:** Ünlüler ve onların ilişkileri hakkındaki gerçeklerin tersine çevrilmesi de dahil olmak üzere, yöntemin gerçek dünya senaryolarındaki etkililiğinin değerlendirilmesi.

**4- Kurgusal Gerçekler İnce Ayarı:** Modelin öğrenme yeteneğinin yeni tanıtılan, tersine çevrilmiş kurgusal gerçekler üzerinde test edilmesi.

Bu deneylerde Tersine Eğitim, Ters Laneti hafifletmekle kalmadı, aynı zamanda bazı durumlarda onu tamamen ortadan kaldırdı. Yöntemin, varlık adları geri alma işlemi sırasında orijinal sıralarında korunduğunda özellikle etkili olduğu kanıtlandı ve belirli bağlamsal bağlantıların korunmasının önemi vurgulandı.

## Çıkarımlar ve Geleceğe Yönelik Yönergeler

Ters Eğitimin Ters Laneti ele almadaki başarısı, LLM eğitim metodolojileri için yeni yollar açar. Modellerin karşılıklı ilişkilere ve ifadelerdeki eşdeğerliğe ilişkin anlayışını geliştirerek bu yaklaşım, daha karmaşık muhakeme yeteneklerinin kapısını açar. Gelecekteki araştırmalar, tersine çevirme sürecinin daha fazla optimizasyonunu, tersine eğitimi diğer dil modeli mimarilerine entegre etme potansiyelini ve bu yöntemin doğal dil anlama ve oluşturma görevlerinde daha geniş uygulamalarını keşfedebilir.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Ters Laneti Tedavi Etmek için Tersine Eğitim

[Arxiv Bağlantısı](https://arxiv.org/abs/2403.12015)

18 Mart 2024

"Gizli Karşıt Difüzyon Damıtma ile Hızlı Yüksek Çözünürlüklü Görüntü Sentezi", Gizli Karşıt Difüzyon Damıtma (LADD) olarak bilinen yeni bir damıtma yaklaşımı sunar. Bu yaklaşım, mevcut [yayılma modellerinin](https://en.wikipedia.org/wiki/Diffusion_model) sınırlamalarını, özellikle de gerçek zamanlı uygulamaları engelleyen yavaş çıkarım hızı sorununu ele almak üzere tasarlanmıştır. LADD, büyük [gizli yayılma modellerini](https://arxiv.org/abs/2112.10752) (LDM'ler) verimli bir şekilde ayrıştırarak yüksek çözünürlüklü, çok en boy oranlı görüntü sentezine olanak tanır, eğitim sürecini önemli ölçüde basitleştirir ve önceki yöntemlere kıyasla performansı artırır. .

Bu yazıdan önemli çıkarımları özetleyeceğiz.

## Giriiş

Difüzyon modelleri, görüntü ve video sentezi ve düzenlemesi için yüksek kaliteli sonuçlar sunan güçlü bir araç olarak ortaya çıkmıştır. Bununla birlikte, gürültüyü tutarlı görüntülere dönüştürmek için çok sayıda ağ değerlendirmesi gerektiren yinelemeli yapıları, gerçek zamanlı uygulamalar için pratikliklerini sınırlamıştır. Difüzyon modellerini hızlandırmak için çeşitli stratejiler önerilmiştir. LADD, önceden eğitilmiş LDM'lerin üretken özelliklerinden yararlanan ve geleneksel yöntemlerin gerektirdiği adımların çok küçük bir bölümünde verimli, yüksek çözünürlüklü görüntü sentezine olanak tanıyan yeni bir strateji sunuyor.

## Arka plan

Makale, difüzyon modellerine ve bunların [damıtma işlemlerine](https://en.wikipedia.org/wiki/Knowledge_distillation) genel bir bakış sunarak başlıyor. Geleneksel yayılma modelleri, bir görüntüyü birçok yinelemeli adım yoluyla kademeli olarak gidererek çalışır, bu da süreci yavaş ve hesaplama açısından pahalı hale getirir. [Tartışmalı Difüzyon Damıtma](https://arxiv.org/abs/2311.17042) (ADD) dahil olmak üzere damıtma yöntemleri, gereken adım sayısını azaltarak bu süreci kolaylaştırmaya çalıştı. Bununla birlikte, ADD, sabit bir eğitim çözünürlüğü ve yüksek çözünürlüklü eğitimi sınırlayabilen gizli difüzyon modellerinin damıtılması için RGB alanına kod çözme gerekliliği gibi sınırlamalarla karşı karşıyadır.

## Metodoloji

LADD bu sorunları **doğrudan gizli alanda damıtarak** çözer, böylece **piksel alanına kod çözme ihtiyacını ortadan kaldırır** ve daha yüksek çözünürlüklerde eğitime olanak tanır. Piksel uzayında çalışan önceden eğitilmiş bir ayırıcıya dayanan ADD'den farklı olarak LADD, doğrudan gizli öğeler üzerinde çalışan, ayırıcı ve öğretmen modelinin birleştirildiği yeni bir yaklaşım kullanır. Bu yöntem yalnızca eğitim sürecini basitleştirmekle kalmaz, aynı zamanda verimlilik, gürültü düzeyine özel geri bildirim sağlama yeteneği ve Çoklu En Boy Oranı (MAR) eğitimi kapasitesi gibi çeşitli avantajlar da sağlar.

## Deneyler ve Sonuçlar

Makale, LADD'yi çeşitli deneyler aracılığıyla kapsamlı bir şekilde değerlendirerek, yalnızca birkaç adımla yüksek çözünürlüklü görüntüleri sentezlemedeki üstün performansını ortaya koyuyor. Özellikle, [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3)'e uygulandığında LADD, SD3-Turbo adlı bir modelle sonuçlanır ve bu model, durumla karşılaştırılabilir görüntü kalitesi elde eder. Yalnızca dört adımda son teknoloji ürünü metinden görüntüye dönüştürme jeneratörleri. Deneyler aynı zamanda farklı öğretmen gürültü dağılımlarının etkisini, sentetik verilerin kullanımını, gizli damıtma yaklaşımlarını ve LADD'nin ölçeklendirme davranışını da araştırıyor.

## Son Teknolojiyle Karşılaştırma

LADD'nin etkinliği, metinden görüntüye ve görüntüden görüntüye sentezde mevcut önde gelen yöntemlerle yapılan karşılaştırmayla daha da vurgulanmıştır. SD3-Turbo, yalnızca görüntü kalitesi açısından öğretmen modelinin (SD3) performansıyla eşleşmekle kalmıyor, aynı zamanda çıkarım hızı ve görüntü-metin hizalaması açısından diğer temellere göre önemli gelişmeler gösteriyor.

## Sınırlamalar ve Gelecek Yönergeler

Gelişmelerine rağmen LADD'nin sınırlamaları yoktur. Yazarlar, model kapasitesi, istem hizalaması ve çıkarım hızı arasında, modelin belirli metinden görüntüye sentez zorluklarıyla başa çıkma yeteneğini etkileyebilecek bir değiş tokuşa dikkat çekiyor. Gelecekteki araştırma yönelimleri arasında bu dengeyi daha derinlemesine araştırmak ve görsel ve metin rehberliğinin güçlü yönleri üzerindeki kontrolü artırmak için stratejiler geliştirmek yer alıyor.

## Çözüm

"Gizli Karşıt Difüzyon Distilasyonuyla Hızlı Yüksek Çözünürlüklü Görüntü Sentezi", metin istemlerinden yüksek kaliteli görüntülerin oluşturulmasını önemli ölçüde hızlandıran görüntü/video sentezine yeni bir yaklaşım getiriyor. LADD, büyük yayılma modellerini gizli alanda ayrıştırarak gerçek zamanlı uygulamaların önünü açıyor ve görüntü sentezinde verimlilik ve performans için yeni bir standart belirliyor.

Açıklanan Makaleler

Pandemi Sonrası Ofise Dönüş Neden Üretkenliğe Zarar Verebilir: Bir İş Uzmanından Görüşler