특히 대기업에서는 코로나19 팬데믹 이후 직원들에게 사무실에서 근무하도록 요구하는 방식이 눈에 띄게 복귀했습니다. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), 피츠버그 대학교 Joseph M. Katz 경영 대학원 경영학 부교수 및 Yuye Ding 박사 과정 학생은 [이 패턴을 조사](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401)했습니다. 그들은 원격 근무의 사회학적, 경제적 영향과 근로자를 자주 짜증나게 하는 직원을 사무실로 복귀시키려는 기업의 최근 이니셔티브를 살펴보았습니다.

Ma는 [Heise와의 인터뷰](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html)에서 다음과 같이 주장합니다. 점점 더 디지털화되는 업무 환경으로 인해 직원들이 사무실로 돌아오도록 만드는 것은 그들을 짜증나게 할 뿐 생산성을 높이는 데 거의 도움이 되지 않습니다. 하지만 그는 자발적으로 그리고 팀 지원을 받으면 대면 작업이 유리할 수 있고 향상된 조정 및 팀워크를 촉진할 수 있다는 점을 인정합니다.

마는 집에서 일할 때 효율성이 입증된 고성능 개인이 사무실에 모두를 두는 대신 계속 재택근무를 할 수 있도록 허용해야 한다고 제안합니다. 그는 다른 곳에서 일자리를 찾을 수 있는 뛰어난 개인을 유지함으로써 이 전략이 궁극적으로 고용주와 직원 모두에게 이익이 될 것이라고 생각합니다. Ma는 또한 효율적인 아이디어 창출과 문제 해결에 필수적인 회사 문화를 탄탄하게 유지하기 위해 정기적인 대면 팀 구축 훈련을 제안합니다.

몇몇 기업이 팬데믹 이후 직원을 사무실로 복귀하도록 요구했지만 이러한 경향의 정점은 지나간 것으로 보입니다. 2024년에 실시된 설문 조사에 따르면 대다수의 CEO는 더 이상 사무실에 있는 것에 높은 가치를 두지 않습니다. 기업들은 직원들이 팬데믹 기간 동안 원격으로 일할 때 상당히 생산적일 수 있다는 것을 알게 되었습니다. 하지만 다른 관리자들은 여전히 ​​원격 근무에 대해 불안해하며 사무실 복귀를 옹호하고 있습니다. 이러한 신뢰 부족으로 인해 직원의 사기가 저하될 수 있습니다. 왜냐하면 관리자가 직원을 믿지 않는다는 사실을 직원에게 전달하기 때문입니다.

재택근무가 간접비와 공간 요구 사항을 낮출 수 있다는 사실에도 불구하고 대기업은 직원의 복귀를 열망하고 있으며 이는 가격보다 통제와 권력이 더 중요할 가능성을 높입니다. Ma는 많은 기업이 주가 하락에 대응하여 사무실 복귀 정책을 시행했으며 원격 근무를 성과 저하에 대한 편리한 희생양으로 편리하게 활용했다고 지적합니다.

뉴욕, 샌프란시스코, 독일 등 주요 도시의 많은 사무실 공간이 비어 있는 등 원격 근무에 대한 수요가 여전히 높다는 사실에도 불구하고 관리자들은 직원을 직접 대면하는 것이 협력과 비즈니스 문화를 향상시킬 것이라는 견해를 계속 유지하고 있습니다. 하지만 사무실로 복귀한 많은 직장인들은 동료들과 함께 일하는 대신 대부분의 시간을 혼자 컴퓨터로 작업하며 보낸다고 합니다. 이러한 명령의 비효율성은 사무실과 원격 근무 사이에 뚜렷한 구분이 부족하고 직원들이 복귀를 강요당할 때 경험하는 좌절감으로 인해 의심을 불러일으킵니다.

근로자는 직장과 가족 생활을 더 잘 통합하고 긴 통근 시간을 피할 수 있는 능력과 같이 원격 근무를 통해 얻을 수 있는 생산성 향상과 일과 삶의 균형에 익숙합니다. 강제 복귀로 인해 이러한 계약이 중단되면서 불만이 발생합니다. 또한, 일자리가 없으면 전문적인 성장을 방해할 수 있다는 인식이 있습니다.

결국, 마씨는 만약 근로자들이 영구적으로 직장에 복귀하도록 강요받는다면, 그들 중 많은 사람들이 다른 직업을 찾기 시작할 것이고, 남아있는 근로자들의 의욕이 덜해질 것이라고 생각합니다. 홈오피스는 단점에도 불구하고 더 나은 일과 삶의 균형을 제공하고 피로도를 낮추기 때문에 여전히 일반적입니다. 원격으로 일하는 것과 사무실에서 일하는 것 사이에는 눈에 띄는 생산성 차이가 없으며, 집에서 일하는 것은 직원들이 집중하기 위해 자주 헤드폰을 착용하는 개방형 사무실의 방해 요소만큼 소외될 수 있습니다. Ma는 인간 접촉이 회사에 도움이 될 수 있지만 팀이 사무실에서 일하고 싶은 일수를 선택하고 직원이 선호하는 작업 환경을 선택할 수 있도록 나머지 시간을 유연하게 남겨두라고 조언합니다.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

팬데믹 이후 사무실 복귀가 생산성에 해를 끼칠 수 있는 이유: 비즈니스 전문가의 통찰

[Google AI](https://ai.google/)는 최근 인기 모바일 키보드 애플리케이션인 Gboard에 'Proofread'라는 새로운 기능을 도입했습니다. 한 번의 탭으로 이 기능을 사용하면 문장 및 단락 수준에서 원활한 수정 및 수정이 가능하여 전반적인 타이핑 경험이 향상됩니다.

## '뚱뚱한 손가락' 문제 해결

[Gboard](https://support.google.com/gboard/?hl=en)는 작은 화면에서 터치 입력이 자연적으로 부정확하게 발생하는 '뚱뚱한 손가락' 문제를 해결하기 위한 수단으로 통계적 디코딩을 사용합니다. 연구에 따르면 문자당 오류율은 해독하지 않고도 8~9%에 달할 수 있습니다. Gboard에는 더 쉽고 원활하게 입력할 수 있도록 다양한 오류 수정 기능이 제공됩니다. 이러한 기능은 사람의 입력과 관련된 수동 작업과 사전 예방적이고 자동화된 수정을 결합합니다.

## 포괄적인 오류 수정 도구

단어 완성, 다음 단어 예측, 활성 자동 수정(AC), 활성 키 수정(KC)을 포함하는 Gboard 기능을 통해 전체적으로 더 쉽게 입력할 수 있습니다. 이러한 도구에는 스마트 작성, 오류 수정, 제안 표시줄이나 인라인의 여러 단어 후보가 포함됩니다. 사후 수정(PC)은 이미 발생한 단어의 오류 수정을 용이하게 합니다. 이러한 기능에도 불구하고 두 가지 주요 제한 사항으로 인해 사용자 경험이 저하됩니다.

1. KC, AC, PC와 같은 기기 내 수정 모델은 빠르고 컴팩트하지만 더 긴 컨텍스트가 필요한 정교하고 복잡한 오류를 처리하는 데 어려움이 있습니다. 이러한 모델이 활성화되는 것을 방지하려면 사용자는 천천히 정확하게 입력해야 합니다.

2. 사용자가 문법 및 맞춤법 검사기를 사용하여 약속된 단어를 수동으로 수정해야 하기 때문에 입력 속도가 감소하며 이는 정신적으로나 시각적으로 부담이 될 수 있습니다.

## 높은 수준의 오류 수정의 필요성

타자 속도가 빠른 사람은 이미 입력한 단어를 무시하고 키보드에만 집중하는 경우가 많습니다. 이로 인해 오류율이 높아질 수 있으므로 문장 또는 더 높은 수준의 수정 메커니즘을 사용해야 합니다.

## 교정 소개

Proofread는 눈에 띄는 생산성 향상을 제공하여 이러한 빈번한 불만을 해결합니다. 한 번의 탭으로 문장 및 단락 수준의 수정 기능을 제공하여 오류 수정이 더 간단해집니다.

## 교정 뒤에 숨은 기술

교정 기능은 데이터 생성, 측정항목 설계, 모델 조정, 모델 제공이라는 네 가지 기본 구성요소로 구성됩니다. 이러한 모든 구성 요소가 함께 효율성을 보장합니다. 데이터 배포가 Gboard 도메인과 일치하는지 확인하기 위해 시스템은 정확하고 체계적으로 구축된 오류 합성 아키텍처를 사용하여 빈번한 키보드 오류를 모방합니다.

## 고급 측정항목 및 모델 최적화

모델을 평가하기 위해 연구자들은 문법 오류 존재 확인 및 LLM(대형 언어 모델)에서 파생된 유사한 의미 확인에 특히 중점을 두고 다양한 측정항목을 통합했습니다. 모델을 개선하기 위해 InstructGPT 기술에서는 감독된 미세 조정 및 RL(강화 학습) 조정이 사용됩니다. 이 절차를 통해 모델의 교정 성능이 크게 향상됩니다.

## 배포 및 성능

8비트 양자화를 사용하는 중간 크기 LLM PaLM2-XS는 단일 TPU v5 내부에 맞도록 맞춤화되었으며 교정 기능의 기반 역할을 합니다. 최적화를 통해 서비스 비용이 절감됩니다. 이전 연구에서는 분할, 추측적 디코딩 및 버킷 키가 대기 시간을 줄일 수 있음이 입증되었습니다.

## 실제 영향

수만 명의 Pixel 8 사용자가 현재 사용할 수 있는 교정 기능이 제공하는 고품질 편집의 혜택을 누릴 것입니다. 철저한 합성 데이터 생성과 여러 차례의 미세 조정 반복을 통해 PaLM2-XS 모델의 Bad 비율이 5.74% 상대적으로 감소한 것처럼 문법 오류를 실질적으로 낮추는 모델이 생성되었습니다. 또한 최적화를 통해 평균 대기 시간이 39.4% 감소했습니다.

## 미래 전망

[이 연구](https://arxiv.org/abs/2406.04523)는 LLM이 어떻게 사용자 경험을 향상시키고 추가 조사를 위한 흥미로운 가능성을 창출할 수 있는지 보여줍니다. 실제 사용자 데이터의 사용, 다국어 지원, 맞춤형 글쓰기 지원 및 장치 개인 정보 보호 솔루션은 해당 분야의 추가 발전으로 이어질 수 있는 영역의 몇 가지 예입니다.

Google AI는 교정 기능을 도입하여 모바일 키보드 기술의 가능성을 확장하여 전 세계 사람들의 타이핑을 향상시키고 있습니다.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI, '교정' 공개: 손쉬운 문장 및 단락 수정을 위한 Gboard 기능

최신 심층 신경망(DNN)은 본질적으로 불투명하므로 의사 결정 프로세스를 이해하기 어렵습니다. 이러한 투명성 부족은 다양한 영역에서 기계 학습 기술의 광범위한 구현을 방해합니다. 이에 대응하여 XAI(Explainable AI)는 DNN 판단에 대한 인간의 이해력을 향상시키려는 의도로 등장했습니다. 개별 예측을 설명하기 위해 돌출 맵을 사용하는 로컬 설명 방법과 달리 XAI는 이제 각 구성 요소의 기능적 목적을 살펴봄으로써 DNN의 전역 동작을 이해하는 데 중점을 둡니다.

기계적 해석성은 신경망의 기본 컴퓨팅 단위인 뉴런이 이해하는 능력을 획득한 특정 아이디어를 정확히 찾아내는 데 초점을 맞춘 전역적 설명 가능성 기술입니다. 인간이 이해할 수 있는 설명으로 뉴런에 라벨을 붙임으로써 네트워크의 잠재 표현의 작동을 설명할 수 있습니다. 이러한 설명은 단순한 레이블에서 정교하고 구성적이며 개방형 어휘 설명으로 발전했습니다. 그럼에도 불구하고 이러한 개방형 어휘 설명을 평가하기 위한 표준화된 정량적 측정 기준이 부족하여 다양한 접근 방식에 대한 철저한 비교를 방해했습니다.

이러한 격차를 해소하기 위해 ATB 포츠담, 포츠담 대학교, 베를린 공대, Fraunhofer Heinrich-Hertz-Institute 및 BIFOLD의 연구원들은 컴퓨터 비전(CV) 모델에서 개방형 어휘 설명의 사용을 평가합니다. 이 혁신적인 방법은 Generative AI의 개발을 활용하여 개념 기반 텍스트 설명과 관련된 인공 이미지를 생성합니다. Cozy는 특정 대상 설명에 공통적인 데이터 포인트를 합성하여 다양한 개념 기반 텍스트 설명 접근 방식의 정량적 비교를 촉진함으로써 인간 상호 작용의 필요성을 제거합니다.

연구팀은 Cozy가 설명에 대한 신뢰성 있는 평가를 제공한다는 것을 광범위한 메타 분석을 통해 입증했습니다. 이 연구는 개념 기반 텍스트 설명 방법이 상위 수준 개념을 학습하는 신경망의 상위 계층에서 가장 잘 작동한다는 것을 발견했습니다. 고품질 뉴런 설명은 신경망 표현에서 시각적 개체를 생성하는 INVERT, 내부 네트워크 표현을 검사하는 CLIP-Dissect와 같은 방법으로 생성됩니다. 반대로 MILAN 및 FALCON과 같은 기술은 열등한 품질에 대한 설명을 생성하고 때로는 거의 무작위 개념을 제공하여 부정확한 네트워크 결론을 초래할 수 있습니다.

연구원들이 인식한 CoSy의 주요 단점은 훈련 데이터의 특정 범주가 생성 모델에 포함되지 않아 "흰색 개체"와 같이 너무 일반적이거나 모호한 설명으로 이어질 수 있다는 것입니다. 사전 학습 데이터 세트와 모델 성능을 검사하여 이 문제를 해결하면 생성 정확도가 높아질 수 있습니다. 그럼에도 불구하고 Cozy는 비국소적 설명 기술을 평가하는 아직 발전 중인 분야에서 많은 잠재력을 보여줍니다.

앞으로 팀은 CoSy가 여러 분야에 걸쳐 잠재적으로 응용될 수 있기를 기대하고 있습니다. 후속 작업의 결과에 관한 설명의 타당성이나 품질을 평가하려면 향후 작업에서 다루고자 하는 설명 품질의 ​​정의에 인간의 판단이 포함되어야 합니다. 또한 그들은 평가 시스템에 자연어 처리 및 의료와 같은 추가 분야를 포함하기를 원합니다. 크고 불투명하며 자동 해석 가능한 언어 모델(LLM)을 평가하기 위해 Cozy를 잠재적으로 사용할 수 있다는 점은 특히 흥미롭습니다. 연구원에 따르면 설명 품질이 중요한 의료 데이터 세트에 Cozy를 적용하는 것은 큰 진전이 될 수 있습니다. 코지의 이러한 잠재적 미래 응용은 AI 연구를 발전시킬 엄청난 잠재력을 가지고 있습니다.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

신경망 이해: 텍스트 설명 평가를 위한 CoSy의 정량적 프레임워크

[Transformer 기반 모델](https://blogs.nvidia.com/blog/what-is-a-transformer-model/)은 복잡한 텍스트를 구문 분석하고 해석하는 능력으로 유명합니다. 이는 단어의 순서와 맥락을 이해하는 데 의존합니다. 이는 전통적인 위치 인코딩 방법이 한계를 보여준 작업입니다. 이러한 격차를 해결하기 위해 **RoPE(Rotary Position Embedding)**를 기반으로 하는 ROFORMER 모델은 위치 인코딩에 대한 접근 방식을 재정의합니다.

## 전통적인 위치 인코딩

변환기는 텍스트를 일련의 토큰으로 처리하고 효율성을 높이기 위해 **시퀀스의 병렬 처리**를 허용합니다. 그러나 이러한 강점은 **모델의 토큰 주문에 대한 불가지론**이라는 문제를 가져왔습니다. **위치 인코딩**이 답이었습니다. **각 토큰에 시퀀스 위치를 나타내는 고유한 서명을 제공**했습니다.

### 절대 위치 임베딩

처음에 BERT와 같은 모델은 **절대 위치 임베딩을 사용하여 시퀀스의 각 위치에 고정 벡터를 할당**했습니다. 이 방법은 간단하지만 본질적으로 **시퀀스 길이 변화에 적응하거나 많은 언어 구조를 이해하는 데 중요한 토큰 간의 상대적 거리를 강조하는 기능**이 부족합니다.

### 상대 위치 임베딩

언어의 동적 특성을 포착하기 위해 절대 위치보다는 토큰 간의 거리에 초점을 맞춘 상대 위치 임베딩이 도입되었습니다. 개념적 이점에도 불구하고 이러한 임베딩은 **계산상의 복잡성을 가져왔고 Transformers의 self-attention 메커니즘**에 원활하게 통합되지 않아 효율성이 제한되었습니다.

## ROFORMER 및 로터리 포지션 임베딩

ROFORMER는 기존 위치 인코딩 전략의 한계를 인식하여 각각의 단점 없이 절대 위치 정보와 상대 위치 정보의 이점을 결합한 접근 방식인 RoPE(Rotary Position Embedding)를 도입했습니다.

### 로터리 포지션 임베딩

RoPE는 **회전 행렬**을 사용하여 위치 정보를 인코딩하므로 모델이 토큰의 위치뿐 아니라 토큰이 순서대로 다른 모든 토큰과 어떻게 관련되는지 이해할 수 있습니다.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

이는 기하학적 렌즈를 통해 작동하며 토큰 위치를 순차적 관계를 표시하기 위해 회전되는 다차원 공간의 점으로 처리합니다. 이러한 회전을 통해 모델은 self-attention 메커니즘 내에서 절대 및 상대 위치 단서를 모두 보존하고 활용할 수 있습니다.

### RoPE 구현

RoPE 구현에는 각 토큰의 위치를 ​​회전 행렬로 인코딩하고 Transformer의 self-attention 메커니즘 내에서 이 행렬을 적용하는 작업이 포함됩니다. 이 프로세스를 통해 위치 정보를 유연하고 동적으로 해석할 수 있으며, 상당한 계산 오버헤드 없이 다양한 시퀀스 길이를 수용하고 토큰 상호 관계의 본질을 포착할 수 있습니다.

먼저 회전식 임베딩을 생성하는 함수가 필요한 다음 이러한 임베딩을 모델에 통합합니다. 아래 예에서는 사용자가 Keras에서 사용자 정의 레이어를 만드는 데 익숙하다고 가정합니다.

#### 1단계: 로터리 임베딩 기능 정의

이 함수는 최대 시퀀스 길이와 임베딩의 차원을 고려하여 회전 임베딩을 생성합니다.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

이 라인은 위치 인덱스를 기반으로 지수적으로 스케일링된 주파수의 역수를 계산합니다. 이러한 주파수는 회전식 임베딩을 위한 정현파 패턴을 생성하는 데 사용되며, 이는 시퀀스의 상대적 위치 정보를 인코딩하는 데 도움이 됩니다. 이 메커니즘은 자연어 처리나 시계열 분석과 같이 요소의 순서와 상대적 위치를 이해하는 것이 중요한 작업에 특히 유용합니다.

세부사항:

- `tf.range(0, 희미한, 2, dtype=tf.float32)`는 0에서 시작하여 `dim`(제외)까지 2씩 증가하는 값 범위를 생성합니다. `dtype=tf.float32` 인수는 다음을 지정합니다. 이 텐서의 요소는 32비트 부동 소수점 숫자입니다. 예를 들어 `dim`이 8이면 `[0, 2, 4, 6]`이 생성됩니다.

- `tf.range`에 의해 생성된 텐서는 임베딩의 차원(`dim`)으로 나뉩니다. 이 작업은 이러한 인덱스를 0과 1 사이의 범위로 축소합니다('dim'이 짝수이면 제외되고, 'dim'이 홀수이면 약간 포함됩니다. 범위 단계가 다른 모든 값을 건너뛰기 때문입니다). `dim` = 8인 예를 계속해서 8로 나누면 `[0.0, 0.25, 0.5, 0.75]`가 생성됩니다.

- '10000 ** (...)' 연산은 이전에 스케일링된 텐서의 각 요소에 대해 10,000을 거듭제곱합니다. 10,000이라는 기준은 다소 임의적이지만 주파수가 넓은 범위에 걸쳐 변하도록 선택되어 모델이 다양한 위치를 보다 효과적으로 구별하는 데 도움이 됩니다. `[0.0, 0.25, 0.5, 0.75]`의 경우 각각에 거듭제곱 연산을 적용하여 더 높은 요소에 대한 값이 훨씬 더 커집니다.

- 마지막으로 이전 단계의 값의 역수(1/x)를 취하여 역주파수를 구합니다. 역주파수는 인덱스가 높을수록 더 작습니다. 즉, 시퀀스에 있는 요소의 주파수가 더 작아지고 해당 위치가 모델에 인코딩되는 방식에 영향을 미칩니다. 이를 통해 모델의 주의 메커니즘을 통해 상대 위치를 추론할 수 있는 방식으로 임베딩을 확장할 수 있습니다.

라인:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

Einstein 합계 표기법을 사용하여 텐서 연산을 간결하고 효율적으로 표현할 수 있는 도구인 TensorFlow의 `tf.einsum` 함수를 사용합니다.

이 연산은 `t`와 `inv_freq` 벡터의 외부 곱을 효과적으로 계산하여 각 요소 `(i, j)`가 `t`의 `i` 번째 요소와 `의 곱인 행렬을 생성합니다. `inv_freq`의 j번째 요소입니다. 이 행렬(`freqs`)은 회전식 임베딩에 대한 정현파 패턴을 생성하는 데 사용되는 주파수를 나타냅니다.

#### 2단계: 회전식 임베딩을 위한 사용자 정의 Keras 레이어

이제 입력 텐서에 회전식 임베딩을 적용하는 사용자 정의 Keras 레이어를 만들어 보겠습니다. 이 계층에서는 입력 텐서의 모양이 '(batch_size, 시퀀스_길이, embedding_dim)'이라고 가정합니다.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

`embeddings = self.rotary_embeddings[:seq_len]` 줄은 현재 입력 시퀀스 길이를 기반으로 사전 계산된 회전식 임베딩의 적절한 하위 집합을 선택합니다. 시퀀스의 길이는 배치마다 다를 수 있으므로 이 슬라이싱 작업을 통해 실제 시퀀스 길이에 해당하는 임베딩만 사용됩니다.

이제 'embeddings' 변수는 '(seq_len, embedding_dim)' 모양의 텐서를 보유합니다. 여기서 'seq_len'은 현재 배치의 시퀀스 길이이고 'embedding_dim'은 임베딩의 차원입니다. 이 텐서는 `seq_len`까지 시퀀스의 각 위치에 대한 회전식 위치 임베딩을 포함합니다.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)`은 위치 주파수의 사인 및 코사인 변환을 단일 텐서로 결합합니다.

-`tf.cos(freqs)` 및 `tf.sin(freqs)`는 각각 코사인 및 사인 변환을 `freqs` 텐서에 적용합니다. 'freqs' 텐서는 시퀀스 위치와 임베딩 차원의 역주파수를 기반으로 계산된 입력 시퀀스의 각 위치와 임베딩 공간의 각 차원에 대한 빈도 값을 포함합니다. 사인 및 코사인 함수는 요소별로 적용되어 'freqs'와 동일한 모양의 텐서 두 개가 생성됩니다. 이러한 변환은 위치 관계의 순환적 특성을 포착하는 방식으로 위치를 인코딩하는 데 도움이 되며, 상대적 위치를 이해하는 모델의 능력을 촉진합니다.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)`은 마지막 축(`axis=-1`로 표시)을 따라 코사인 및 사인 변환된 텐서를 연결합니다. 이러한 텐서를 나란히 연결하면 'freqs' 텐서의 차원이 효과적으로 두 배가 됩니다. 전반부는 코사인 변환된 값을 나타내고 후반부는 각 위치에 대한 사인 변환된 값을 나타냅니다. 연결을 통해 각 위치 인코딩에 사인 및 코사인 정보가 모두 포함되어 위치 신호의 진폭과 위상 모두에 대한 정보를 보존할 수 있습니다.

- 연결된 텐서 `emb`는 이제 입력 위치에 대한 완전한 회전 임베딩을 보유합니다. 'emb'의 모양은 처음 두 차원(시퀀스 위치 및 임베딩 차원에 해당)에서 'freqs'와 동일하지만 마지막 차원은 사인 및 코사인 값을 모두 고려하여 두 배 더 커집니다. 이러한 임베딩은 회전 등변적 방식으로 위치 정보를 추가하여 입력 임베딩을 변조하는 데 사용됩니다.

-`cos_emb = 임베딩[:, None, :self.dim // 2]`:

1. 첫 번째 콜론 `:`은 "이 차원의 모든 요소 선택"을 의미하며, 이 경우 시퀀스의 모든 위치를 나타냅니다.

2. 'None'은 차원을 추가하여 텐서를 3차원으로 만드는 데 사용됩니다. 이는 특정 차원 수의 입력이 필요한 특정 작업과의 호환성을 보장하기 위해 수행되는 경우가 많습니다. 예를 들어, 다른 3차원 텐서와 요소별 곱셈을 수행할 때 모양은 브로드캐스팅 규칙에 따라 정렬되어야 합니다.

3. `:self.dim // 2`, 마지막 축에 있는 차원의 전반부를 선택합니다. 'embedding_dimension'은 사인 값과 코사인 값을 모두 포함하도록 두 배가 되므로 2로 나누면 임베딩의 코사인 구성 요소만 효과적으로 선택됩니다.

#### 3단계: Keras 모델과 통합

`RotaryEmbeddingLayer`를 정의한 후 이를 Keras 모델에 통합할 수 있습니다. 이 레이어는 어텐션 레이어나 후속 모델 레이어에 적용하기 전에 임베딩에 적용되어야 합니다.

다음은 회전식 임베딩을 모델에 통합하는 방법에 대한 간단한 예입니다.

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: 회전식 위치 임베딩 기능을 갖춘 향상된 변압기

[Arxiv 링크](https://arxiv.org/abs/2403.13799)

2024년 3월 20일

## 역전의 저주

[GPT-4](https://arxiv.org/abs/2303.08774) 및 [Llama-2](https://arxiv.org/abs/2307.09288)와 같은 대규모 언어 모델(LLM)은 인상적인 이해 능력을 보여주었습니다. 광범위한 지식을 포괄하는 인간과 유사한 텍스트를 생성합니다. 그러나 그들은 겉보기에 간단해 보이는 작업, 즉 학습된 사실을 뒤집는 작업에는 실패합니다. "역전 저주"라고 불리는 이러한 제한은 LLM이 어린이도 소유한 기본적인 추론 기술인 "A에 B 특성이 있음"을 학습하여 "B가 A의 특성"임을 추론할 수 없음을 의미합니다. 이 문서에서는 양방향 학습 접근 방식을 활용하여 정방향 및 역방향 형식 모두에서 사실에 대한 모델의 이해를 향상함으로써 이러한 문제를 해결하는 새로운 방법인 "역방향 학습"을 소개합니다.

## 반전 저주의 기원

문제는 일반적으로 **자동 회귀, 왼쪽에서 오른쪽 학습**을 포함하는 LLM의 기본 교육 접근 방식에서 발생합니다. 이 방법은 본질적으로 모델이 정보를 역순으로 이해하거나 생성하도록 가르치지 않습니다. Zipf의 법칙에 따른 데이터 유통의 특성상 한 방향으로만 언급되는 사실이 많아 문제를 더욱 악화시키고 있습니다. "역전의 저주"는 LLM의 상호 관계 및 진술의 동등성에 대한 이해를 제한하여 추론 능력에 심각한 결점을 나타냅니다.

## 역훈련으로 역전의 저주를 극복하다

제안된 솔루션인 Reverse Training은 원래 버전과 역방향 버전의 훈련 문자열을 모두 포함하여 사용 가능한 훈련 데이터를 두 배로 늘립니다. 반전 프로세스에서는 엔터티 이름과 같은 특정 하위 문자열을 변경하지 않도록 주의하고 컨텍스트를 보존하기 위해 원래 순서를 유지합니다. LLM이 학습할 제2 언어를 도입하는 것과 유사한 이 방법은 양방향으로 정보를 처리하고 생성하는 모델의 능력을 크게 향상시킵니다.

## 역방향 학습 방법 테스트

저자는 제안된 방법을 테스트하기 위해 다음 실험을 수행했습니다.

**1- 기호적 역방향 작업:** 역방향 관계를 추론하고 적용하는 방법의 능력을 보여주는 제어된 환경 테스트입니다.

**2- 전기 역전 작업:** 전기 데이터 세트를 활용하여 주어진 세부 정보에서 사람 이름을 역으로 생성하는 성능을 평가합니다.

**3- 실제 지식 반전:** 유명인과 그들의 관계에 대한 사실 반전을 포함하여 실제 시나리오에서 방법의 효율성을 평가합니다.

**4- 가상 사실 미세 조정:** 새로 도입되고 반전된 가상 사실에 대한 모델의 학습 기능을 테스트합니다.

이러한 실험 전반에 걸쳐 역훈련은 역전 저주를 완화했을 뿐만 아니라 어떤 경우에는 완전히 제거했습니다. 이 방법은 반전 프로세스 중에 엔터티 이름이 원래 순서로 유지될 때 특히 효과적인 것으로 입증되었으며, 이는 특정 상황별 앵커를 유지하는 것의 중요성을 강조합니다.

## 시사점 및 향후 방향

역전 저주를 해결하는 역방향 훈련의 성공은 LLM 훈련 방법론에 대한 새로운 길을 열어줍니다. 진술의 상호 관계 및 동등성에 대한 모델의 이해를 향상함으로써 이 접근 방식은 보다 정교한 추론 기능을 제공합니다. 향후 연구에서는 역방향 프로세스의 추가 최적화, 다른 언어 모델 아키텍처의 역방향 훈련 통합 가능성, 자연어 이해 및 생성 작업에서 이 방법의 광범위한 적용을 탐구할 수 있습니다.

---

*자신만의 속도로 코딩 전문가가 되어보세요! Code Labs Academy의 [온라인 파트타임 부트캠프](/)에 참여하여 코딩 기술을 향상하세요. 귀하의 일정에 맞춰 학습하고 지금 바로 기술 분야로의 여정을 시작하세요!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

역전의 저주를 간호하는 역훈련

[Arxiv 링크](https://arxiv.org/abs/2403.12015)

2024년 3월 18일

"잠재적 적대적 확산 증류를 사용한 빠른 고해상도 이미지 합성"은 LADD(잠재적 적대적 확산 증류)로 알려진 새로운 증류 접근 방식을 제시합니다. 이 접근 방식은 기존 [확산 모델](https://en.wikipedia.org/wiki/Diffusion_model)의 한계, 특히 실시간 애플리케이션을 방해하는 느린 추론 속도 문제를 해결하기 위해 설계되었습니다. LADD는 대규모 [잠재 확산 모델](https://arxiv.org/abs/2112.10752)(LDM)을 효율적으로 추출하여 고해상도, 다중 종횡비 이미지 합성을 가능하게 하며, 이전 방법에 비해 훈련 프로세스를 크게 단순화하고 성능을 향상시킵니다. .

이 문서의 주요 내용을 요약하겠습니다.

## 소개

확산 모델은 이미지와 비디오 합성 및 편집을 위한 강력한 도구로 등장하여 고품질 결과를 제공합니다. 그러나 노이즈를 일관된 이미지로 변환하기 위해 수많은 네트워크 평가가 필요한 반복적 특성으로 인해 실시간 애플리케이션의 실용성이 제한되었습니다. 확산 모델을 가속화하기 위해 다양한 전략이 제안되었습니다. LADD는 사전 훈련된 LDM의 생성 기능을 활용하여 기존 방법에 필요한 몇 가지 단계만으로 효율적인 고해상도 이미지 합성을 가능하게 하는 새로운 전략을 도입했습니다.

## 배경

이 논문은 확산 모델과 그 [증류](https://en.wikipedia.org/wiki/Knowledge_distillation)에 대한 개요를 제공하는 것으로 시작됩니다. 기존의 확산 모델은 여러 반복 단계를 통해 이미지의 노이즈를 점진적으로 제거하는 방식으로 작동하므로 프로세스가 느리고 계산 비용이 많이 듭니다. [적대적 확산 증류](https://arxiv.org/abs/2311.17042)(ADD)를 포함한 증류 방법은 필요한 단계 수를 줄여 이 프로세스를 간소화하려고 노력해 왔습니다. 그러나 ADD는 고정된 훈련 해상도, 잠재 확산 모델을 추출하기 위해 RGB 공간으로 디코딩해야 하는 필요성 등의 한계에 직면해 있으며, 이로 인해 고해상도 훈련이 제한될 수 있습니다.

## 방법론

LADD는 **잠재 공간에서 직접 증류**하여 **픽셀 공간으로 디코딩할 필요를 피하고** 더 높은 해상도에서 훈련할 수 있도록 하여 이러한 문제를 해결합니다. 픽셀 공간에서 작동하는 사전 훈련된 판별기에 의존하는 ADD와 달리 LADD는 판별기와 교사 모델이 통합되어 잠재성에 직접 작동하는 새로운 접근 방식을 활용합니다. 이 방법은 교육 프로세스를 단순화할 뿐만 아니라 효율성, 노이즈 수준별 피드백 제공 기능, MAR(Multi-Aspect Ratio) 교육 기능 등 여러 가지 이점을 제공합니다.

## 실험 및 결과

본 논문에서는 다양한 실험을 통해 LADD를 광범위하게 평가하여 단 ​​몇 단계만으로 고해상도 이미지를 합성하는 데 탁월한 성능을 입증했습니다. 특히, [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3)(SD3)에 적용하면 LADD는 SD3-Turbo라는 모델을 생성합니다. 단 4단계만으로 최첨단 텍스트-이미지 생성기를 만들 수 있습니다. 실험에서는 또한 다양한 교사 소음 분포, 합성 데이터 사용, 잠재 증류 접근법 및 LADD의 확장 동작의 영향을 탐구합니다.

## 최신제품과의 비교

LADD의 효과는 텍스트-이미지 및 이미지-이미지 합성 분야의 현재 선도적인 방법과의 비교를 통해 더욱 강조됩니다. SD3-Turbo는 이미지 품질 면에서 교사 모델(SD3)의 성능과 일치할 뿐만 아니라 추론 속도 및 이미지-텍스트 정렬 측면에서 다른 기준에 비해 상당한 개선을 보여줍니다.

## 한계 및 향후 방향

이러한 발전에도 불구하고 LADD에는 한계가 없습니다. 저자는 특정 텍스트-이미지 합성 문제를 처리하는 모델의 능력에 영향을 미칠 수 있는 모델 용량, 신속한 정렬 및 추론 속도 간의 균형을 지적합니다. 향후 연구 방향에는 이러한 절충안을 보다 깊이 탐구하고 이미지 및 텍스트 안내 강점에 대한 제어를 강화하는 전략 개발이 포함됩니다.

## 결론

"잠재적 적대 확산 증류를 사용한 빠른 고해상도 이미지 합성"은 텍스트 프롬프트에서 고품질 이미지 생성을 크게 가속화하는 이미지/비디오 합성에 대한 새로운 접근 방식을 소개합니다. LADD는 잠재 공간에서 대규모 확산 모델을 정제함으로써 실시간 응용을 위한 길을 닦고 이미지 합성의 효율성과 성능에 대한 새로운 표준을 설정합니다.

---

*Code Labs Academy: 유연한 결제 요금제를 제공하는 [온라인 코딩 부트캠프](/)*

논문 설명

팬데믹 이후 사무실 복귀가 생산성에 해를 끼칠 수 있는 이유: 비즈니스 전문가의 통찰