Đặc biệt ở các công ty lớn hơn, việc yêu cầu nhân viên làm việc tại văn phòng sau đại dịch COVID-19 đã quay trở lại đáng chú ý. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), phó giáo sư quản trị kinh doanh tại Trường Kinh doanh sau đại học Joseph M. Katz tại Đại học Pittsburgh và Yuye Ding, một Nghiên cứu sinh tiến sĩ, đã[điều tra mô hình này](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Họ đã xem xét các tác động kinh tế và xã hội của việc làm việc từ xa cũng như sáng kiến ​​gần đây của các doanh nghiệp nhằm đưa người lao động trở lại văn phòng, điều này thường xuyên khiến người lao động khó chịu.

Ma khẳng định trong [cuộc phỏng vấn với Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) rằng, trong một môi trường làm việc ngày càng kỹ thuật số, việc khiến người lao động quay trở lại văn phòng chỉ nhằm mục đích gây khó chịu cho họ và không giúp tăng năng suất. Tuy nhiên, anh ấy thừa nhận rằng khi được thực hiện một cách tự nguyện và với sự hỗ trợ của nhóm, làm việc trực tiếp có thể có lợi và thúc đẩy sự phối hợp và làm việc nhóm được cải thiện.

Ma gợi ý rằng những cá nhân có hiệu suất cao đã chứng minh được hiệu quả của mình khi làm việc tại nhà nên được phép tiếp tục làm việc đó thay vì để mọi người ở văn phòng. Ông cho rằng bằng cách giữ những cá nhân xuất sắc có thể tìm việc ở nơi khác, chiến lược này cuối cùng sẽ mang lại lợi ích cho cả người sử dụng lao động và người lao động. Ma cũng đề xuất các hoạt động xây dựng nhóm trực tiếp thường xuyên để giữ cho văn hóa công ty vững mạnh, điều này rất cần thiết để nảy sinh ý tưởng và giải quyết vấn đề hiệu quả.

Đỉnh của xu hướng này dường như đã qua, mặc dù một số doanh nghiệp yêu cầu nhân viên quay lại văn phòng sau đại dịch. Theo cuộc khảo sát được thực hiện vào năm 2024, phần lớn các CEO không còn coi trọng việc ở văn phòng nữa. Các doanh nghiệp biết được rằng người lao động có thể làm việc khá hiệu quả khi làm việc từ xa trong thời kỳ đại dịch. Nhưng các nhà quản lý khác vẫn còn nghi ngại về việc làm việc từ xa, đó là lý do tại sao họ chủ trương quay trở lại văn phòng. Tinh thần của nhân viên có thể bị ảnh hưởng do sự thiếu tin tưởng này vì nó truyền tải đến các nhân viên rằng người quản lý của họ không tin tưởng vào họ.

Bất chấp thực tế là làm việc từ xa có thể giảm bớt yêu cầu về chi phí và không gian, các doanh nghiệp lớn vẫn mong muốn nhân viên của họ quay trở lại, điều này làm tăng khả năng ở đây quyền kiểm soát và quyền lực có vai trò quan trọng hơn là giá cả. Ma chỉ ra rằng nhiều doanh nghiệp đã thực hiện chính sách quay trở lại văn phòng để ứng phó với tình trạng giá cổ phiếu giảm, sử dụng công việc từ xa một cách thuận tiện như một vật tế thần tiện dụng cho hiệu suất kém.

Bất chấp thực tế là nhu cầu làm việc từ xa vẫn cao — nhiều văn phòng ở các thành phố lớn như New York, San Francisco và Đức vẫn còn trống — các nhà quản lý vẫn tiếp tục giữ quan điểm rằng việc có nhân viên trực tiếp sẽ nâng cao sự hợp tác và văn hóa kinh doanh. Nhưng thay vì làm việc cùng đồng nghiệp, nhiều nhân viên đã quay trở lại văn phòng cho biết họ dành phần lớn thời gian làm việc một mình trên máy tính. Tính kém hiệu quả của những nhiệm vụ như vậy bị nghi ngờ do thiếu sự phân biệt rõ ràng giữa công việc văn phòng và công việc từ xa, cũng như sự thất vọng của nhân viên khi buộc phải quay trở lại.

Người lao động đã quen với việc tăng năng suất và lợi ích của việc cân bằng giữa công việc và cuộc sống khi làm việc từ xa, chẳng hạn như khả năng kết hợp tốt hơn giữa công việc và cuộc sống gia đình cũng như tránh phải đi làm xa. Sự không hài lòng là kết quả của việc các thỏa thuận này bị gián đoạn bởi việc bắt buộc phải quay lại văn phòng. Ngoài ra, có quan điểm cho rằng việc thiếu việc có thể cản trở sự phát triển nghề nghiệp.

Cuối cùng, Ma nghĩ rằng nếu người lao động bị buộc phải quay lại nơi làm việc thường xuyên, nhiều người trong số họ sẽ bắt đầu tìm kiếm các ngành nghề khác và những người ở lại có thể trở nên kém động lực hơn. Văn phòng tại nhà vẫn còn phổ biến vì chúng mang lại sự cân bằng giữa công việc và cuộc sống tốt hơn và tỷ lệ kiệt sức thấp hơn, bất chấp những hạn chế của chúng. Không có sự khác biệt rõ ràng về năng suất giữa làm việc từ xa và làm việc tại văn phòng, và làm việc tại nhà có thể cũng xa lạ như sự phiền nhiễu của các văn phòng có không gian mở, nơi nhân viên thường xuyên đeo tai nghe để tập trung. Ma khuyên các nhóm nên chọn số ngày họ muốn làm việc tại văn phòng và linh hoạt thời gian còn lại để nhân viên có thể chọn môi trường làm việc ưa thích, mặc dù việc tiếp xúc giữa con người với nhau có thể mang lại lợi ích cho công ty.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Tại sao việc quay lại văn phòng sau đại dịch có thể ảnh hưởng đến năng suất: Thông tin chuyên sâu từ chuyên gia kinh doanh

[Google AI](https://ai.google/) gần đây đã giới thiệu một tính năng mới có tên là 'Proofread' cho Gboard, ứng dụng bàn phím di động phổ biến. Chỉ với một cú chạm, tính năng này cho phép sửa đổi và chỉnh sửa liền mạch ở cấp độ câu và đoạn văn, cải thiện trải nghiệm gõ tổng thể.

## Giải quyết vấn đề 'Ngón tay béo'

[Gboard](https://support.google.com/gboard/?hl=en) sử dụng giải mã thống kê như một phương pháp để giải quyết vấn đề "ngón tay mập", vốn là sự thiếu chính xác tự nhiên của thao tác nhập bằng cảm ứng trên màn hình nhỏ. Nghiên cứu cho thấy tỷ lệ lỗi trên mỗi chữ cái có thể lên tới 8 đến 9 phần trăm nếu không giải mã. Gboard đi kèm với một số tính năng sửa lỗi để giúp việc nhập liệu dễ dàng và mượt mà hơn. Các tính năng này kết hợp các tác vụ thủ công liên quan đến đầu vào của con người với các chỉnh sửa tự động, chủ động.

## Công cụ sửa lỗi toàn diện

Việc gõ phím trở nên dễ dàng hơn nhờ các tính năng của Gboard, bao gồm hoàn thành từ, dự đoán từ tiếp theo, tự động sửa chủ động (AC) và sửa phím chủ động (KC). Những công cụ này bao gồm bố cục thông minh, sửa lỗi và đề xuất nhiều từ trong thanh gợi ý hoặc nội tuyến. Việc sửa lỗi sau (PC) còn tạo điều kiện thuận lợi cho việc sửa lỗi ở những từ đã mắc phải. Bất chấp những tính năng này, có hai hạn chế chính làm giảm trải nghiệm người dùng.

1. Trong khi các mô hình sửa lỗi trên thiết bị như KC, AC và PC tuy nhanh và gọn nhưng lại gặp khó khăn trong việc xử lý các lỗi tinh vi, phức tạp cần bối cảnh dài hơn. Để ngăn các mô hình này được kích hoạt, người dùng phải gõ chậm và chính xác.

2. Tốc độ gõ giảm do người dùng phải sửa các từ đã cam kết theo cách thủ công bằng cách sử dụng trình kiểm tra ngữ pháp và chính tả, điều này có thể gây khó khăn về mặt tinh thần và thị giác.

## Nhu cầu sửa lỗi ở cấp độ cao

Những người đánh máy nhanh thường bỏ qua những từ họ đã gõ và chỉ tập trung vào bàn phím. Tỷ lệ lỗi cao hơn có thể phát sinh từ điều này, đòi hỏi phải sử dụng câu hoặc cơ chế sửa lỗi ở cấp độ cao hơn.

## Giới thiệu Hiệu đính

Hiệu đính giải quyết những khiếu nại thường gặp này bằng cách tăng năng suất đáng chú ý. Nó làm cho việc sửa lỗi trở nên đơn giản hơn bằng cách cung cấp các sửa lỗi ở cấp độ câu và đoạn văn chỉ bằng một cú chạm.

## Công nghệ đằng sau việc hiệu đính

Tính năng Hiệu đính được tạo thành từ bốn thành phần chính: sản xuất dữ liệu, thiết kế số liệu, điều chỉnh mô hình và cung cấp mô hình. Cùng với nhau, tất cả các thành phần này đảm bảo hiệu quả. Để đảm bảo việc phân phối dữ liệu phù hợp với miền Gboard, hệ thống bắt chước các lỗi bàn phím thường gặp bằng cách sử dụng kiến ​​trúc tổng hợp lỗi được xây dựng một cách chính xác và có phương pháp.

## Tối ưu hóa mô hình và số liệu nâng cao

Để đánh giá mô hình, các nhà nghiên cứu đã kết hợp một số số liệu, đặc biệt chú trọng đến việc kiểm tra sự hiện diện của lỗi ngữ pháp và kiểm tra ý nghĩa tương tự bắt nguồn từ các mô hình ngôn ngữ lớn (LLM). Điều chỉnh tinh chỉnh có giám sát và Học tăng cường (RL) được sử dụng trong kỹ thuật InstructGPT để cải thiện mô hình. Hiệu suất hiệu đính của mô hình được cải thiện rất nhiều nhờ quy trình này.

## Triển khai và Hiệu suất

Sử dụng lượng tử hóa 8 bit, LLM PaLM2-XS cỡ trung bình được thiết kế để vừa với một TPU v5 duy nhất và đóng vai trò làm nền tảng cho tính năng Hiệu đính. Việc tối ưu hóa làm giảm chi phí phục vụ. Nghiên cứu trước đây đã chứng minh rằng phân đoạn, giải mã suy đoán và khóa nhóm có thể làm giảm độ trễ.

## Tác động trong thế giới thực

Hàng chục nghìn người dùng Pixel 8 sẽ được hưởng lợi từ các chỉnh sửa chất lượng cao do tính năng Hiệu đính hiện có sẵn. Việc tạo dữ liệu tổng hợp kỹ lưỡng và nhiều lần tinh chỉnh đã tạo ra một mô hình giúp giảm đáng kể lỗi ngữ pháp, thể hiện qua tỷ lệ Xấu của mô hình PaLM2-XS giảm tương đối 5,74%. Ngoài ra, việc tối ưu hóa đã giúp giảm 39,4% độ trễ trung bình.

## Triển vọng tương lai

[Nghiên cứu này](https://arxiv.org/abs/2406.04523) chứng minh cách LLM có thể nâng cao trải nghiệm người dùng và tạo ra những khả năng hấp dẫn để nghiên cứu sâu hơn. Việc sử dụng dữ liệu người dùng thực, hỗ trợ đa ngôn ngữ, hỗ trợ viết phù hợp và giải pháp bảo mật thiết bị là một số ví dụ về các lĩnh vực có thể dẫn đến những tiến bộ hơn nữa trong lĩnh vực này.

Google AI đang mở rộng khả năng của công nghệ bàn phím di động với việc giới thiệu tính năng Proofread, cải thiện khả năng nhập liệu cho mọi người trên toàn thế giới.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI tiết lộ 'Đã hiệu đính': Tính năng Gboard để sửa câu và đoạn văn dễ dàng

Mạng lưới thần kinh sâu hiện đại (DNN) về bản chất không rõ ràng, khiến việc hiểu quá trình ra quyết định của chúng trở nên khó khăn. Sự thiếu minh bạch này cản trở việc triển khai rộng rãi các kỹ thuật Machine Learning trong nhiều lĩnh vực khác nhau. Đáp lại, AI có thể giải thích (XAI) đã xuất hiện với mục đích cải thiện sự hiểu biết của con người về các phán đoán DNN. Bằng cách xem xét mục đích chức năng của từng thành phần, XAI hiện cũng tập trung vào việc tìm hiểu hành vi toàn cầu của DNN, trái ngược với các phương pháp giải thích cục bộ sử dụng bản đồ nổi bật để giải thích các dự đoán riêng lẻ.

Khả năng diễn giải cơ học là một kỹ thuật có thể giải thích toàn cầu, tập trung vào việc xác định chính xác các ý tưởng cụ thể mà tế bào thần kinh, đơn vị tính toán cơ bản của mạng lưới thần kinh, có được khả năng hiểu. Chúng ta có thể giải thích hoạt động của các biểu diễn tiềm ẩn của mạng bằng cách gắn nhãn cho các nơ-ron thần kinh bằng các mô tả mà con người có thể hiểu được. Những mô tả này đã phát triển từ những nhãn hiệu đơn giản đến những giải thích phức tạp, có cấu trúc và từ vựng mở. Tuy nhiên, việc thiếu các thước đo định lượng được tiêu chuẩn hóa để đánh giá các mô tả từ vựng mở này đã cản trở việc so sánh kỹ lưỡng giữa các phương pháp tiếp cận khác nhau.

Để giải quyết khoảng trống này, các nhà nghiên cứu từ ATB Potsdam, Đại học Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute và BIFOLD giới thiệu [CoSy](https://arxiv.org/abs/2405.20331), một khung đánh giá định lượng tiên phong cho đánh giá việc sử dụng các giải thích từ vựng mở trong các mô hình thị giác máy tính (CV). Phương pháp đổi mới này sử dụng các phát triển trong Generative AI để tạo ra các hình ảnh nhân tạo tương quan với các mô tả văn bản dựa trên khái niệm. ấm cúng loại bỏ nhu cầu tương tác của con người bằng cách tạo điều kiện so sánh định lượng của các phương pháp giải thích văn bản dựa trên khái niệm khác nhau bằng cách tổng hợp các điểm dữ liệu chung cho các giải thích mục tiêu cụ thể.

Nhóm nghiên cứu đã chứng minh thông qua một phân tích tổng hợp sâu rộng rằng ấm cúng đưa ra những đánh giá đáng tin cậy về các lời giải thích. Nghiên cứu phát hiện ra rằng các phương pháp giải thích văn bản dựa trên khái niệm hoạt động tốt nhất ở các lớp trên của mạng lưới thần kinh, nơi học các khái niệm cấp cao. Các giải thích về nơ-ron chất lượng cao được tạo ra bằng các phương pháp như IVERT, tạo ra hình ảnh từ các biểu diễn mạng thần kinh và CLIP-Dissect, kiểm tra các biểu diễn mạng nội bộ. Ngược lại, các kỹ thuật như MILAN và FALCON đưa ra những giải thích về chất lượng kém hơn, đôi khi đưa ra các khái niệm gần như ngẫu nhiên, có thể dẫn đến kết luận mạng không chính xác.

Một nhược điểm lớn của CoSy, như các nhà nghiên cứu nhận ra, là các danh mục cụ thể từ dữ liệu huấn luyện có thể không được đưa vào mô hình tổng quát, dẫn đến những giải thích quá chung chung hoặc mơ hồ, chẳng hạn như "vật thể màu trắng". Độ chính xác tổng quát có thể được tăng lên bằng cách giải quyết vấn đề này bằng cách kiểm tra các tập dữ liệu đào tạo trước và hiệu suất của mô hình. Tuy nhiên, ấm cúng thể hiện nhiều tiềm năng trong lĩnh vực đánh giá các kỹ thuật giải thích phi cục bộ vẫn đang phát triển.

Nhìn về phía trước, nhóm hy vọng vào các ứng dụng tiềm năng của CoSy trên nhiều lĩnh vực. Để đánh giá tính hợp lý hoặc chất lượng của lời giải thích liên quan đến kết quả của một nhiệm vụ tiếp theo, phán đoán của con người phải được đưa vào định nghĩa về chất lượng lời giải thích mà họ muốn giải quyết trong công việc sau này. Ngoài ra, họ muốn đưa các lĩnh vực bổ sung như xử lý ngôn ngữ tự nhiên và chăm sóc sức khỏe vào hệ thống đánh giá của mình. Tiềm năng sử dụng ấm cúng để đánh giá các mô hình ngôn ngữ lớn, mờ đục, có thể tự động giải thích (LLM) đặc biệt thú vị. Theo các nhà nghiên cứu, việc áp dụng tính ấm cúng cho các bộ dữ liệu chăm sóc sức khỏe, trong đó chất lượng giải thích là quan trọng, có thể là một bước tiến lớn. Những ứng dụng tiềm năng trong tương lai của sự ấm cúng này có tiềm năng to lớn để thúc đẩy nghiên cứu AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Tìm hiểu mạng lưới thần kinh: Khung định lượng của CoSy để đánh giá giải thích văn bản

[Các mô hình dựa trên Transformer](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) nổi tiếng với khả năng phân tích cú pháp và diễn giải văn bản phức tạp. Họ dựa vào việc hiểu thứ tự và ngữ cảnh của các từ - nhiệm vụ mà các phương pháp mã hóa vị trí truyền thống đã bộc lộ những hạn chế của mình. Để giải quyết khoảng trống này, mô hình ROFORMER, được hỗ trợ bởi **Nhúng vị trí quay (RoPE)**, xác định lại cách tiếp cận của chúng tôi đối với mã hóa vị trí.

## Mã hóa vị trí truyền thống

Transformers xử lý văn bản như một chuỗi mã thông báo và cho phép **xử lý song song các chuỗi** để đạt hiệu quả cao hơn. Tuy nhiên, sức mạnh này mang lại thách thức: **thuyết bất khả tri vốn có của mô hình đối với trật tự mã thông báo**. **Mã hóa vị trí** là câu trả lời, **cung cấp cho mỗi mã thông báo một chữ ký duy nhất biểu thị vị trí chuỗi của nó**.

### Nhúng vị trí tuyệt đối

Ban đầu, các mô hình như BERT sử dụng **nhúng vị trí tuyệt đối, gán một vectơ cố định cho từng vị trí trong một chuỗi**. Phương pháp này, mặc dù đơn giản, nhưng về bản chất **thiếu khả năng thích ứng với các biến thể độ dài chuỗi hoặc nhấn mạnh khoảng cách tương đối giữa các mã thông báo**, rất quan trọng để hiểu nhiều cấu trúc ngôn ngữ.

### Nhúng vị trí tương đối

Để nắm bắt được bản chất năng động của ngôn ngữ, các phần nhúng vị trí tương đối đã được giới thiệu, tập trung vào khoảng cách giữa các mã thông báo thay vì vị trí tuyệt đối của chúng. Bất chấp lợi thế về mặt khái niệm, những phần nhúng này đã gây ra **sự phức tạp về mặt tính toán và không thể tích hợp liền mạch vào cơ chế tự chú ý của Transformers**, làm hạn chế hiệu quả của chúng.

## ROFORMER và nhúng vị trí quay

Nhận thấy những hạn chế của chiến lược mã hóa vị trí hiện tại, ROFORMER giới thiệu Nhúng vị trí quay (RoPE), một phương pháp kết hợp lợi ích của thông tin vị trí tuyệt đối và tương đối mà không có nhược điểm tương ứng.

### Nhúng vị trí quay

RoPE mã hóa thông tin vị trí bằng cách sử dụng **ma trận xoay**, cho phép mô hình không chỉ hiểu vị trí của mã thông báo mà còn hiểu được mối liên hệ của nó với mọi mã thông báo khác trong một chuỗi.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Nó hoạt động thông qua một thấu kính hình học, coi các vị trí mã thông báo là các điểm trong không gian đa chiều được xoay để đánh dấu các mối quan hệ tuần tự của chúng. Vòng quay này cho phép mô hình bảo tồn và khai thác cả tín hiệu vị trí tuyệt đối và tương đối trong cơ chế tự chú ý của nó.

### Triển khai RoPE

Việc triển khai RoPE bao gồm việc mã hóa vị trí của từng mã thông báo thành ma trận xoay và áp dụng ma trận này trong cơ chế tự chú ý của Transformer. Quá trình này cho phép diễn giải linh hoạt, năng động thông tin vị trí, đáp ứng các độ dài chuỗi khác nhau và nắm bắt được bản chất của mối quan hệ qua lại mã thông báo mà không cần chi phí tính toán đáng kể.

Trước tiên, bạn sẽ cần một hàm để tạo các phần nhúng quay và sau đó bạn sẽ tích hợp các phần nhúng này vào mô hình của mình. Ví dụ bên dưới giả sử bạn đã quen với việc tạo các lớp tùy chỉnh trong Keras.

#### Bước 1: Xác định hàm nhúng quay

Hàm này tạo ra các phần nhúng quay có độ dài chuỗi tối đa và số chiều của các phần nhúng.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Đường này tính toán nghịch đảo của tần số được chia theo cấp số nhân dựa trên các chỉ số vị trí. Các tần số này được sử dụng để tạo ra các mẫu hình sin cho các phần nhúng quay, giúp mã hóa thông tin vị trí tương đối theo trình tự. Cơ chế này đặc biệt hữu ích trong các nhiệm vụ mà việc hiểu thứ tự và vị trí tương đối của các phần tử là rất quan trọng, chẳng hạn như trong xử lý ngôn ngữ tự nhiên hoặc phân tích chuỗi thời gian.

Chi tiết:

- `tf.range(0, dim, 2, dtype=tf.float32)` tạo một phạm vi giá trị bắt đầu từ 0 đến `dim` (độc quyền), tăng dần theo 2. Đối số `dtype=tf.float32` chỉ định rằng các phần tử của tenxơ này là các số có dấu phẩy động 32 bit. Ví dụ: nếu `dim` là 8, điều này sẽ tạo ra `[0, 2, 4, 6]`.

- Sau đó, tenxơ do `tf.range` tạo ra được chia cho chiều (`dim`) của các phần nhúng. Thao tác này chia tỷ lệ các chỉ số này xuống phạm vi từ 0 đến 1 (loại trừ nếu `dim` là chẵn, bao gồm một chút nếu `dim` là số lẻ, vì bước phạm vi bỏ qua mọi giá trị khác). Tiếp tục ví dụ với `dim` = 8, chia cho 8 mang lại `[0,0, 0,25, 0,5, 0,75]`.

- Thao tác `10000 ** (...)` tăng lũy ​​thừa của mỗi phần tử trong tensor được chia tỷ lệ trước đó lên 10.000. Cơ sở 10.000 có phần tùy ý nhưng được chọn để đảm bảo rằng tần số thay đổi trên một phạm vi rộng, giúp mô hình phân biệt giữa các vị trí khác nhau hiệu quả hơn. Đối với `[0,0, 0,25, 0,5, 0,75]`, nó sẽ áp dụng phép toán lũy thừa cho mỗi phần tử, dẫn đến giá trị lớn hơn nhiều đối với các phần tử cao hơn.

- Cuối cùng, tần số nghịch đảo có được bằng cách lấy nghịch đảo (1/x) của các giá trị ở bước trước. Tần số nghịch đảo nhỏ hơn đối với các chỉ số cao hơn, nghĩa là các phần tử ở xa hơn trong chuỗi sẽ có tần số nhỏ hơn, ảnh hưởng đến cách vị trí của chúng được mã hóa vào mô hình. Điều này cho phép các phần nhúng mở rộng quy mô theo cách có thể suy ra các vị trí tương đối thông qua cơ chế chú ý của mô hình.

Dòng:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

sử dụng hàm `tf.einsum` của TensorFlow, một công cụ cho phép biểu diễn ngắn gọn và hiệu quả các phép toán tensor bằng cách sử dụng ký hiệu tính tổng Einstein.

Thao tác này tính toán tích số bên ngoài của vectơ `t` và `inv_freq` một cách hiệu quả, tạo ra một ma trận trong đó mỗi phần tử `(i, j)` là tích của phần tử `i`-th của `t` và ` Phần tử thứ j`-thứ của `inv_freq`. Ma trận này (`freqs`) biểu thị các tần số được sử dụng để tạo ra các mẫu hình sin cho các phần nhúng quay.

#### Bước 2: Lớp Keras tùy chỉnh cho phần nhúng quay

Bây giờ, hãy tạo một lớp Keras tùy chỉnh áp dụng các phần nhúng quay cho tensor đầu vào. Lớp này giả định rằng tensor đầu vào có dạng `(batch_size, Sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Dòng `embeddings = self.rotary_embeddings[:seq_len]` chọn tập hợp con thích hợp của các phần nhúng quay được tính toán trước dựa trên độ dài chuỗi đầu vào hiện tại. Vì độ dài của chuỗi có thể thay đổi theo từng đợt, nên thao tác cắt này đảm bảo rằng chỉ sử dụng các phần nhúng tương ứng với độ dài chuỗi thực tế.

Biến `embeddings` hiện chứa một tenxơ có hình dạng `(seq_len, embedding_dim)`, trong đó `seq_len` là độ dài của các chuỗi trong lô hiện tại và `embedding_dim` là kích thước của các phần nhúng. Tenxor này chứa các phần nhúng vị trí quay cho từng vị trí trong chuỗi cho đến `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kết hợp các phép biến đổi sin và cosin của tần số vị trí thành một tensor duy nhất:

-`tf.cos(freqs)` và `tf.sin(freqs)` lần lượt áp dụng các phép biến đổi cosine và sin cho tensor `freqs`. Tenxơ `freqs` chứa các giá trị tần số cho từng vị trí trong chuỗi đầu vào và từng chiều của không gian nhúng, được tính toán dựa trên các vị trí chuỗi và tần số nghịch đảo của các chiều nhúng. Các hàm sin và cosin được áp dụng theo từng phần tử, dẫn đến hai tensor có cùng hình dạng như `freqs`. Những phép biến đổi này giúp mã hóa vị trí theo cách nắm bắt được tính chất chu kỳ của các mối quan hệ vị trí, tạo điều kiện thuận lợi cho khả năng của mô hình để hiểu các vị trí tương đối.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` nối các tensor biến đổi cosin và sin dọc theo trục cuối cùng (ký hiệu là `axis=-1`). Việc ghép các tensor này cạnh nhau sẽ tăng gấp đôi một cách hiệu quả số chiều của tensor `freqs`, với nửa đầu biểu thị các giá trị được biến đổi theo cosine và nửa sau biểu thị các giá trị được biến đổi theo sin cho mỗi vị trí. Việc ghép nối đảm bảo rằng mỗi mã hóa vị trí chứa cả thông tin sin và cosin, cho phép bảo toàn thông tin về cả biên độ và pha của tín hiệu vị trí.

- Tensor được nối `emb` hiện giữ các phần nhúng quay hoàn chỉnh cho các vị trí đầu vào. Hình dạng của `emb` sẽ giống như `freqs` ở hai chiều đầu tiên của nó (tương ứng với vị trí chuỗi và thứ nguyên nhúng), nhưng chiều cuối cùng của nó sẽ lớn gấp đôi, chiếm cả giá trị sin và cos. Các phần nhúng này được sử dụng để điều chỉnh các phần nhúng đầu vào bằng cách thêm thông tin vị trí theo cách tương đương xoay vòng.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Dấu hai chấm đầu tiên `:` có nghĩa là "chọn tất cả các phần tử trong thứ nguyên này", trong trường hợp này, ám chỉ tất cả các vị trí trong chuỗi.

2. `None` được sử dụng để thêm một chiều bổ sung, làm cho tensor trở thành 3 chiều. Điều này thường được thực hiện để đảm bảo khả năng tương thích với các hoạt động nhất định yêu cầu đầu vào có số thứ nguyên cụ thể. Ví dụ: khi thực hiện phép nhân theo từng phần tử với một tenxơ 3 chiều khác, các hình dạng phải căn chỉnh theo quy tắc phát sóng.

3. `:self.dim // 2`, chọn nửa kích thước đầu tiên ở trục cuối cùng. Vì `thứ nguyên nhúng` được nhân đôi để bao gồm cả giá trị sin và cosin, nên việc chia cho 2 chỉ chọn các thành phần cosine của phần nhúng một cách hiệu quả.

#### Bước 3: Tích hợp với Keras Model

Sau khi xác định `RotaryEmbeddingLayer`, bạn có thể tích hợp nó vào mô hình Keras của mình. Lớp này phải được áp dụng cho phần nhúng của bạn trước khi đưa chúng vào các lớp chú ý hoặc bất kỳ lớp mô hình tiếp theo nào.

Dưới đây là ví dụ đơn giản về cách tích hợp các phần nhúng quay vào mô hình:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Máy biến áp cải tiến với chức năng nhúng vị trí quay

[Liên kết Arxiv](https://arxiv.org/abs/2403.13799)

Ngày 20 tháng 3 năm 2024

## Lời nguyền đảo ngược

Các Mô hình Ngôn ngữ Lớn (LLM) như [GPT-4](https://arxiv.org/abs/2303.08774) và [Llama-2](https://arxiv.org/abs/2307.09288) đã thể hiện khả năng hiểu biết ấn tượng và tạo ra văn bản giống con người, bao gồm một phạm vi kiến ​​thức rộng lớn. Tuy nhiên, họ thất bại ở một nhiệm vụ có vẻ đơn giản: đảo ngược những sự thật đã học. Hạn chế này, được gọi là "Lời nguyền đảo ngược", ngụ ý rằng LLM không thể suy ra rằng "B là một đặc điểm của A" từ việc học "A có một đặc điểm B", một kỹ năng suy luận cơ bản mà ngay cả trẻ em cũng có. Bài viết này giới thiệu "Đào tạo ngược", một phương pháp mới để giải quyết thách thức này bằng cách tận dụng phương pháp đào tạo theo hướng kép để nâng cao khả năng hiểu sự thật của mô hình ở cả định dạng xuôi và ngược.

## Nguồn gốc của Lời nguyền Đảo ngược

Vấn đề nảy sinh từ phương pháp đào tạo cơ bản của LLM, thường liên quan đến **học tập tự hồi quy, từ trái sang phải**. Phương pháp này vốn không dạy các mô hình hiểu hoặc tạo ra thông tin theo thứ tự ngược lại. Với bản chất của việc phân phối dữ liệu theo định luật Zipf, nhiều sự thật chỉ được đề cập theo một hướng, làm trầm trọng thêm vấn đề này. "Lời nguyền đảo ngược" hạn chế sự hiểu biết của LLM về mối quan hệ qua lại và sự tương đương trong các tuyên bố, đánh dấu sự thiếu sót đáng kể trong khả năng suy luận của họ.

## Vượt qua lời nguyền nghịch đảo bằng luyện tập ngược

Giải pháp được đề xuất, Đào tạo ngược, nhân đôi dữ liệu huấn luyện có sẵn bằng cách bao gồm cả phiên bản gốc và phiên bản đảo ngược của chuỗi huấn luyện. Quá trình đảo ngược cẩn thận không làm thay đổi các chuỗi con nhất định, chẳng hạn như tên thực thể, duy trì trình tự ban đầu của chúng để bảo toàn ngữ cảnh. Phương pháp này, giống như việc giới thiệu ngôn ngữ thứ hai để LLM học, cải thiện đáng kể khả năng xử lý và tạo thông tin theo cả hai hướng của mô hình.

## Thử nghiệm phương pháp luyện tập ngược

Các tác giả đã tiến hành các thí nghiệm sau để kiểm tra phương pháp đề xuất của họ:

**1- Nhiệm vụ đảo ngược mang tính biểu tượng:** Thử nghiệm môi trường được kiểm soát thể hiện khả năng suy luận và áp dụng các mối quan hệ đảo ngược của phương pháp.

**2- Đảo ngược nhiệm vụ tiểu sử:** Sử dụng tập dữ liệu tiểu sử để đánh giá hiệu suất trong việc tạo tên người từ các chi tiết nhất định, ngược lại.

**3- Đảo ngược kiến ​​thức trong thế giới thực:** Đánh giá tính hiệu quả của phương pháp trong các tình huống trong thế giới thực, bao gồm cả việc đảo ngược sự thật về những người nổi tiếng và mối quan hệ của họ.

**4- Tinh chỉnh sự kiện hư cấu:** Kiểm tra khả năng học tập của mô hình đối với các sự kiện hư cấu mới được giới thiệu, đảo ngược.

Qua các thí nghiệm này, Huấn luyện ngược không chỉ giảm thiểu Lời nguyền đảo ngược mà trong một số trường hợp còn loại bỏ hoàn toàn nó. Phương pháp này tỏ ra đặc biệt hiệu quả khi tên thực thể được giữ nguyên theo thứ tự ban đầu trong quá trình đảo ngược, nêu bật tầm quan trọng của việc duy trì các điểm cố định theo ngữ cảnh nhất định.

## Ý nghĩa và định hướng tương lai

Sự thành công của Đào tạo ngược trong việc giải quyết Lời nguyền đảo ngược mở ra những con đường mới cho các phương pháp đào tạo LLM. Bằng cách nâng cao sự hiểu biết của các mô hình về các mối quan hệ tương hỗ và sự tương đương trong các phát biểu, cách tiếp cận này mở ra cơ hội cho những khả năng suy luận phức tạp hơn. Nghiên cứu trong tương lai có thể khám phá sự tối ưu hóa hơn nữa của quá trình đảo ngược, tiềm năng tích hợp đào tạo ngược trong các kiến ​​trúc mô hình ngôn ngữ khác và các ứng dụng rộng hơn của phương pháp này trong các nhiệm vụ tạo và hiểu ngôn ngữ tự nhiên.

---

*Trở thành chuyên gia viết mã theo tốc độ của riêng bạn! Tham gia Code Labs Academy của Code Labs Academy [Chương trình đào tạo bán thời gian trực tuyến](/) và nâng cao kỹ năng viết mã. Hãy sắp xếp việc học phù hợp với lịch trình của bạn và bắt đầu hành trình tiếp cận công nghệ ngay hôm nay!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Huấn luyện ngược để nuôi dưỡng lời nguyền đảo ngược

[Liên kết Arxiv](https://arxiv.org/abs/2403.12015)

Ngày 18 tháng 3 năm 2024

"Tổng hợp hình ảnh độ phân giải cao nhanh với phương pháp chưng cất khuếch tán đối nghịch tiềm ẩn" trình bày một phương pháp chưng cất mới được gọi là Chưng cất khuếch tán đối nghịch tiềm ẩn (LADD). Cách tiếp cận này được thiết kế để giải quyết những hạn chế của [mô hình khuếch tán](https://en.wikipedia.org/wiki/Diffusion_model) hiện có, đặc biệt là thách thức về tốc độ suy luận chậm, cản trở các ứng dụng thời gian thực. LADD cho phép tổng hợp hình ảnh có độ phân giải cao, tỷ lệ đa khung hình bằng cách chắt lọc hiệu quả [các mô hình khuếch tán tiềm ẩn](https://arxiv.org/abs/2112.10752) (LDM), đơn giản hóa đáng kể quy trình đào tạo và nâng cao hiệu suất so với các phương pháp trước đây .

Chúng tôi sẽ tóm tắt những điểm chính từ bài viết này.

## Giới thiệu

Các mô hình khuếch tán đã nổi lên như một công cụ mạnh mẽ để tổng hợp và chỉnh sửa hình ảnh và video, mang lại kết quả chất lượng cao. Tuy nhiên, tính chất lặp đi lặp lại của chúng, đòi hỏi nhiều đánh giá mạng để chuyển nhiễu thành hình ảnh mạch lạc, đã hạn chế tính thực tế của chúng đối với các ứng dụng thời gian thực. Nhiều chiến lược khác nhau đã được đề xuất để tăng tốc các mô hình khuếch tán. LADD giới thiệu một chiến lược mới, tận dụng các tính năng tổng hợp từ các LDM đã được huấn luyện trước, cho phép tổng hợp hình ảnh có độ phân giải cao một cách hiệu quả chỉ bằng một phần nhỏ các bước mà các phương pháp truyền thống yêu cầu.

## Lý lịch

Bài viết bắt đầu bằng việc cung cấp cái nhìn tổng quan về các mô hình khuếch tán và [quá trình chưng cất](https://en.wikipedia.org/wiki/Knowledge_distillation). Các mô hình khuếch tán truyền thống hoạt động bằng cách khử nhiễu dần dần hình ảnh qua nhiều bước lặp lại, khiến quá trình này chậm và tốn kém về mặt tính toán. Các phương pháp chưng cất, bao gồm [Chưng cất khuếch tán đối nghịch](https://arxiv.org/abs/2311.17042) (ADD), đã tìm cách hợp lý hóa quy trình này bằng cách giảm số bước cần thiết. Tuy nhiên, ADD phải đối mặt với những hạn chế như độ phân giải huấn luyện cố định và sự cần thiết phải giải mã sang không gian RGB để chắt lọc các mô hình khuếch tán tiềm ẩn, điều này có thể hạn chế việc huấn luyện độ phân giải cao.

## Phương pháp luận

LADD giải quyết những vấn đề này bằng cách **chưng cất trực tiếp trong không gian tiềm ẩn**, nhờ đó **tránh nhu cầu giải mã sang không gian pixel** và cho phép đào tạo ở độ phân giải cao hơn. Không giống như ADD, dựa trên bộ phân biệt được huấn luyện trước hoạt động trong không gian pixel, LADD sử dụng một cách tiếp cận mới trong đó mô hình phân biệt đối xử và giáo viên được hợp nhất, hoạt động trực tiếp trên các tiềm ẩn. Phương pháp này không chỉ đơn giản hóa quá trình đào tạo mà còn mang lại một số ưu điểm, bao gồm hiệu quả, khả năng cung cấp phản hồi cụ thể ở mức độ tiếng ồn và khả năng đào tạo Tỷ lệ đa khía cạnh (MAR).

## Thử nghiệm và kết quả

Bài báo đánh giá rộng rãi LADD thông qua nhiều thử nghiệm khác nhau, chứng minh hiệu quả vượt trội của nó trong việc tổng hợp hình ảnh có độ phân giải cao chỉ với vài bước. Đáng chú ý, khi áp dụng cho [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD sẽ tạo ra một mô hình có tên là SD3-Turbo, đạt được chất lượng hình ảnh tương đương với trạng thái- trình tạo văn bản thành hình ảnh tiên tiến nhất chỉ trong bốn bước. Các thí nghiệm cũng khám phá tác động của sự phân bổ tiếng ồn khác nhau của giáo viên, việc sử dụng dữ liệu tổng hợp, các phương pháp chưng cất tiềm ẩn và hành vi mở rộng quy mô của LADD.

## So sánh với công nghệ tiên tiến nhất

Hiệu quả của LADD còn được nhấn mạnh hơn nữa khi so sánh với các phương pháp hàng đầu hiện nay trong việc tổng hợp văn bản thành hình ảnh và hình ảnh thành hình ảnh. SD3-Turbo không chỉ phù hợp với hiệu suất của mô hình giáo viên (SD3) về chất lượng hình ảnh mà còn thể hiện những cải tiến đáng kể so với các đường cơ sở khác về tốc độ suy luận và căn chỉnh hình ảnh-văn bản.

## Hạn chế và định hướng tương lai

Bất chấp những tiến bộ của nó, LADD không phải là không có những hạn chế. Các tác giả lưu ý sự cân bằng giữa năng lực mô hình, căn chỉnh kịp thời và tốc độ suy luận, điều này có thể ảnh hưởng đến khả năng của mô hình trong việc xử lý một số thách thức tổng hợp văn bản thành hình ảnh nhất định. Các hướng nghiên cứu trong tương lai bao gồm khám phá sự đánh đổi này một cách sâu sắc hơn và phát triển các chiến lược để tăng cường kiểm soát các thế mạnh hướng dẫn bằng hình ảnh và văn bản.

## Phần kết luận

"Tổng hợp hình ảnh độ phân giải cao nhanh với quá trình chưng cất khuếch tán đối nghịch tiềm ẩn" giới thiệu một cách tiếp cận mới để tổng hợp hình ảnh/video giúp tăng tốc đáng kể việc tạo ra hình ảnh chất lượng cao từ lời nhắc văn bản. Bằng cách chắt lọc các mô hình khuếch tán lớn trong không gian tiềm ẩn, LADD mở đường cho các ứng dụng thời gian thực và đặt ra tiêu chuẩn mới về hiệu quả và hiệu suất trong việc tổng hợp hình ảnh.

---

*Code Labs Academy: [Chương trình đào tạo mã hóa trực tuyến](/) với các gói thanh toán linh hoạt*

Giấy tờ giải thích

Tại sao việc quay lại văn phòng sau đại dịch có thể ảnh hưởng đến năng suất: Thông tin chuyên sâu từ chuyên gia kinh doanh