โดยเฉพาะอย่างยิ่งในบริษัทขนาดใหญ่ มีการกลับมาอย่างเห็นได้ชัดในการกำหนดให้พนักงานทำงานจากสำนักงานภายหลังการแพร่ระบาดของไวรัสโควิด-19 [Mark Ma](https://business.pitt.edu/professors/mark-ma/) รองศาสตราจารย์ด้านบริหารธุรกิจที่ Joseph M. Katz Graduate School of Business แห่งมหาวิทยาลัย Pittsburgh และ Yuye Ding ซึ่งเป็น นักศึกษาปริญญาเอก ได้[ตรวจสอบรูปแบบนี้](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401) พวกเขาได้พิจารณาถึงผลกระทบทางสังคมวิทยาและเศรษฐกิจของการทำงานจากระยะไกล รวมถึงความคิดริเริ่มล่าสุดของภาคธุรกิจในการรับพนักงานกลับเข้ามาในสำนักงาน ซึ่งมักสร้างความรำคาญให้กับคนงาน

Ma ต่อสู้ใน [สัมภาษณ์กับ Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) ว่าใน สภาพแวดล้อมการทำงานแบบดิจิทัลที่เพิ่มมากขึ้น การทำให้พนักงานกลับมาที่สำนักงานเพียงแต่สร้างความรำคาญให้กับพวกเขาและแทบไม่ช่วยเพิ่มประสิทธิภาพการทำงานเลย อย่างไรก็ตาม เขายอมรับว่าเมื่อทำด้วยความสมัครใจและด้วยการสนับสนุนเป็นทีม การทำงานแบบต่อหน้าจะเป็นประโยชน์และส่งเสริมการประสานงานและการทำงานเป็นทีมที่ดีขึ้น

Ma แนะนำว่าบุคคลที่มีประสิทธิภาพสูงซึ่งได้พิสูจน์ประสิทธิภาพของตนเมื่อทำงานจากที่บ้านควรได้รับอนุญาตให้ทำเช่นนั้นต่อไป แทนที่จะให้ทุกคนอยู่ในออฟฟิศ เขาคิดว่าการรักษาคนเก่งที่อาจหางานทำที่อื่น กลยุทธ์นี้จะเป็นประโยชน์ต่อทั้งนายจ้างและลูกจ้างในท้ายที่สุด หม่ายังแนะนำแบบฝึกหัดการสร้างทีมแบบพบปะกันเป็นประจำเพื่อรักษาวัฒนธรรมของบริษัทให้แข็งแกร่ง ซึ่งจำเป็นสำหรับการสร้างแนวคิดและการแก้ปัญหาที่มีประสิทธิภาพ

จุดสูงสุดของแนวโน้มนี้ดูเหมือนจะผ่านไปแล้ว แม้ว่าธุรกิจหลายแห่งต้องการให้พนักงานกลับมาที่สำนักงานภายหลังการแพร่ระบาดก็ตาม จากการสำรวจในปี 2024 ซีอีโอส่วนใหญ่ไม่ได้ให้ความสำคัญกับการอยู่ที่สำนักงานอีกต่อไป ธุรกิจต่างๆ ได้เรียนรู้ว่าพนักงานอาจมีประสิทธิผลค่อนข้างมากเมื่อทำงานจากระยะไกลในช่วงที่มีการระบาดใหญ่ แต่ผู้จัดการคนอื่นๆ ยังคงมีความกังวลเกี่ยวกับการทำงานจากระยะไกล ซึ่งเป็นเหตุผลว่าทำไมพวกเขาจึงสนับสนุนให้กลับไปทำงานที่สำนักงาน ขวัญกำลังใจของพนักงานอาจได้รับผลกระทบอันเป็นผลมาจากการขาดความไว้วางใจเนื่องจากเป็นการสื่อให้พนักงานทราบว่าผู้จัดการไม่เชื่อในตัวพวกเขา

แม้ว่าการสื่อสารทางไกลจะช่วยลดความต้องการด้านค่าใช้จ่ายและพื้นที่ได้ แต่ธุรกิจขนาดใหญ่ก็อยากให้พนักงานกลับมา ซึ่งทำให้มีความเป็นไปได้ที่การควบคุมและอำนาจจะมีบทบาทมากกว่าราคา หม่าชี้ให้เห็นว่าธุรกิจจำนวนมากใช้นโยบายการกลับเข้ารับตำแหน่งเพื่อตอบสนองต่อราคาหุ้นที่ลดลง โดยใช้ประโยชน์จากการทำงานจากระยะไกลเป็นแพะรับบาปสำหรับผลงานที่ไม่ดี

แม้ว่าความต้องการการทำงานจากระยะไกลยังคงมีความต้องการสูง แต่พื้นที่สำนักงานจำนวนมากในเมืองใหญ่ๆ เช่น นิวยอร์ก ซานฟรานซิสโก และเยอรมนี ยังว่างอยู่ ผู้จัดการยังคงมองว่าการมีพนักงานด้วยตนเองจะช่วยเพิ่มความร่วมมือและวัฒนธรรมทางธุรกิจได้ แต่แทนที่จะทำงานร่วมกับเพื่อนร่วมงาน พนักงานจำนวนมากที่กลับมาที่ออฟฟิศกลับบอกว่าพวกเขาใช้เวลาส่วนใหญ่ทำงานคนเดียวโดยใช้คอมพิวเตอร์ ความไร้ประสิทธิผลของข้อบังคับดังกล่าวทำให้เกิดข้อสงสัยเนื่องจากขาดความแตกต่างที่มองเห็นได้ระหว่างที่ทำงานในสำนักงานและการทำงานระยะไกล รวมถึงประสบการณ์ที่พนักงานหงุดหงิดเมื่อถูกบังคับให้กลับมา

พนักงานคุ้นเคยกับประสิทธิภาพการทำงานที่เพิ่มขึ้นและประโยชน์ของความสมดุลระหว่างชีวิตและการทำงานที่มาพร้อมกับการทำงานจากระยะไกล เช่น ความสามารถในการบูรณาการการทำงานและชีวิตครอบครัวได้ดีขึ้น และหลีกเลี่ยงการเดินทางที่ใช้เวลานาน ความไม่พอใจเป็นผลมาจากข้อตกลงเหล่านี้หยุดชะงักเนื่องจากการบังคับกลับคืนสู่สำนักงาน นอกจากนี้ยังมีการรับรู้ว่างานที่ขาดหายไปอาจขัดขวางการเติบโตทางอาชีพได้

ในท้ายที่สุด หม่าคิดว่าหากคนงานถูกบังคับให้กลับไปทำงานอย่างถาวร พวกเขาจำนวนมากจะเริ่มมองหาอาชีพอื่น และอาชีพที่ยังคงอยู่อาจมีแรงบันดาลใจน้อยลง สำนักงานที่บ้านยังคงเป็นเรื่องปกติเนื่องจากให้สมดุลระหว่างชีวิตและการทำงานที่ดีขึ้น และอัตราความเหนื่อยหน่ายที่ลดลง แม้ว่าจะมีข้อเสียก็ตาม ไม่มีความแตกต่างด้านประสิทธิภาพการทำงานที่เห็นได้ชัดเจนระหว่างการทำงานจากระยะไกลและในสำนักงาน และการทำงานจากที่บ้านอาจทำให้รู้สึกแปลกแยกได้พอๆ กับสิ่งรบกวนสมาธิในสำนักงานแบบเปิดโล่ง ซึ่งพนักงานมักสวมหูฟังเพื่อโฟกัส หม่าแนะนำว่าทีมเลือกจำนวนวันที่พวกเขาต้องการทำงานในสำนักงาน และปล่อยให้เวลาที่เหลือมีความยืดหยุ่น เพื่อให้พนักงานสามารถเลือกสภาพแวดล้อมการทำงานที่ต้องการได้ แม้ว่าการติดต่อกับมนุษย์จะเป็นประโยชน์ต่อบริษัทก็ตาม

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

เหตุใดการกลับมาที่สำนักงานหลังการแพร่ระบาดอาจส่งผลเสียต่อประสิทธิภาพการทำงาน: ข้อมูลเชิงลึกจากผู้เชี่ยวชาญด้านธุรกิจ

[Google AI](https://ai.google/) เพิ่งเปิดตัวฟีเจอร์ใหม่ที่เรียกว่า "พิสูจน์อักษร" ใน Gboard ซึ่งเป็นแอปพลิเคชันแป้นพิมพ์บนมือถือยอดนิยม ด้วยการแตะเพียงครั้งเดียว คุณสมบัตินี้ช่วยให้สามารถแก้ไขและแก้ไขระดับประโยคและย่อหน้าได้อย่างราบรื่น ปรับปรุงประสบการณ์การพิมพ์โดยรวม

## จัดการปัญหา 'นิ้วอ้วน'

[Gboard](https://support.google.com/gboard/?hl=en) ใช้การถอดรหัสทางสถิติเพื่อแก้ไขปัญหา "นิ้วอ้วน" ซึ่งเป็นความไม่ถูกต้องตามธรรมชาติของการป้อนข้อมูลแบบสัมผัสบนหน้าจอขนาดเล็ก การวิจัยแสดงให้เห็นว่าอัตราข้อผิดพลาดต่อตัวอักษรสามารถสูงถึง 8 ถึง 9 เปอร์เซ็นต์โดยไม่ต้องถอดรหัส Gboard มาพร้อมกับคุณสมบัติแก้ไขข้อผิดพลาดหลายประการเพื่อให้การพิมพ์ง่ายขึ้นและราบรื่นยิ่งขึ้น คุณสมบัติเหล่านี้รวมงานที่ต้องทำด้วยตนเองที่เกี่ยวข้องกับการป้อนข้อมูลของมนุษย์เข้ากับการแก้ไขอัตโนมัติในเชิงรุก

## เครื่องมือแก้ไขข้อผิดพลาดที่ครอบคลุม

การพิมพ์โดยรวมทำได้ง่ายขึ้นด้วยฟีเจอร์ของ Gboard ซึ่งรวมถึงการเติมคำ การคาดเดาคำถัดไป การแก้ไขอัตโนมัติที่ใช้งานอยู่ (AC) และการแก้ไขคีย์ที่ใช้งานอยู่ (KC) เครื่องมือเหล่านี้ประกอบด้วยการจัดองค์ประกอบอัจฉริยะ การแก้ไขข้อผิดพลาด และตัวเลือกคำหลายคำในแถบคำแนะนำหรืออินไลน์ หลังการแก้ไข (PC) ยังอำนวยความสะดวกในการแก้ไขข้อผิดพลาดในคำที่ได้กระทำไปแล้ว แม้จะมีคุณสมบัติเหล่านี้ แต่ข้อจำกัดสำคัญสองประการก็ทำให้ประสบการณ์ผู้ใช้แย่ลง

1. แม้ว่าโมเดลการแก้ไขบนอุปกรณ์ เช่น KC, AC และ PC จะทำงานได้อย่างรวดเร็วและกะทัดรัด แต่ก็มีปัญหาในการจัดการข้อผิดพลาดที่ซับซ้อนและซับซ้อนซึ่งต้องใช้บริบทที่ยาวขึ้น เพื่อป้องกันไม่ให้โมเดลเหล่านี้ถูกเปิดใช้งาน ผู้ใช้จะต้องพิมพ์ช้าๆ และแม่นยำ

2. ความเร็วในการพิมพ์ลดลงเนื่องจากการที่ผู้ใช้ต้องแก้ไขคำที่คอมมิตด้วยตนเองโดยใช้เครื่องตรวจสอบไวยากรณ์และการสะกดคำ ซึ่งอาจทำให้เสียสมาธิและการมองเห็นได้

## ความจำเป็นในการแก้ไขข้อผิดพลาดระดับสูง

ผู้พิมพ์เร็วมักมองข้ามคำที่พิมพ์ไปแล้วและมุ่งความสนใจไปที่แป้นพิมพ์เท่านั้น อัตราข้อผิดพลาดที่สูงขึ้นอาจเกิดขึ้นจากสิ่งนี้ จำเป็นต้องใช้ประโยคหรือกลไกการแก้ไขในระดับที่สูงกว่า

## แนะนำการพิสูจน์อักษร

Proofread ช่วยแก้ไขข้อร้องเรียนที่พบบ่อยเหล่านี้โดยนำเสนอการเพิ่มประสิทธิภาพการทำงานที่โดดเด่น ทำให้การแก้ไขข้อผิดพลาดง่ายขึ้นโดยให้การแก้ไขระดับประโยคและย่อหน้าด้วยการแตะเพียงครั้งเดียว

## เทคโนโลยีเบื้องหลังการพิสูจน์อักษร

คุณลักษณะการพิสูจน์อักษรประกอบด้วยสี่องค์ประกอบหลัก: การผลิตข้อมูล การออกแบบหน่วยเมตริก การปรับแต่งโมเดล และการให้บริการโมเดล ส่วนประกอบทั้งหมดเหล่านี้ร่วมกันรับประกันประสิทธิภาพ เพื่อให้แน่ใจว่าการกระจายข้อมูลสอดคล้องกับโดเมน Gboard ระบบจะเลียนแบบข้อผิดพลาดของแป้นพิมพ์บ่อยครั้งโดยใช้สถาปัตยกรรมสังเคราะห์ข้อผิดพลาดที่สร้างขึ้นอย่างแม่นยำและมีระบบ

## การวัดขั้นสูงและการเพิ่มประสิทธิภาพโมเดล

เพื่อประเมินแบบจำลองนี้ นักวิจัยได้รวมตัวชี้วัดจำนวนหนึ่ง โดยเน้นไปที่การตรวจสอบข้อผิดพลาดทางไวยากรณ์และการตรวจสอบความหมายที่คล้ายกันซึ่งได้มาจากแบบจำลองภาษาขนาดใหญ่ (LLM) การปรับแต่งแบบละเอียดภายใต้การดูแลและการปรับแต่งการเรียนรู้แบบเสริมกำลัง (RL) ใช้ในเทคนิค InstructGPT เพื่อปรับปรุงโมเดล ประสิทธิภาพการพิสูจน์อักษรของแบบจำลองได้รับการปรับปรุงอย่างมากโดยขั้นตอนนี้

## การปรับใช้และประสิทธิภาพ

การใช้การวัดปริมาณ 8 บิต LLM PaLM2-XS ขนาดกลางได้รับการปรับแต่งให้พอดีกับภายใน TPU v5 เดียว และทำหน้าที่เป็นรากฐานสำหรับคุณลักษณะการพิสูจน์อักษร การเพิ่มประสิทธิภาพจะช่วยลดต้นทุนการให้บริการ การวิจัยก่อนหน้านี้ได้แสดงให้เห็นว่าการแบ่งส่วน การถอดรหัสแบบเก็งกำไร และบัคเก็ตคีย์สามารถลดเวลาในการตอบสนองได้

## ผลกระทบในโลกแห่งความเป็นจริง

ผู้ใช้ Pixel 8 นับหมื่นรายจะได้รับประโยชน์จากการแก้ไขคุณภาพสูงจากฟีเจอร์ Proofread ซึ่งขณะนี้มีให้บริการแล้ว การสร้างข้อมูลสังเคราะห์อย่างละเอียดและการปรับแต่งอย่างละเอียดหลายครั้งทำให้เกิดแบบจำลองที่ช่วยลดข้อผิดพลาดทางไวยากรณ์ได้อย่างมาก โดยเห็นได้จากอัตราส่วน Bad ของโมเดล PaLM2-XS ที่ลดลง 5.74 เปอร์เซ็นต์ นอกจากนี้ การเพิ่มประสิทธิภาพยังส่งผลให้เวลาแฝงเฉลี่ยลดลง 39.4%

## อนาคตในอนาคต

[การศึกษานี้](https://arxiv.org/abs/2406.04523) แสดงให้เห็นว่า LLM อาจปรับปรุงประสบการณ์ผู้ใช้และสร้างความเป็นไปได้ที่น่าสนใจสำหรับการตรวจสอบเพิ่มเติมได้อย่างไร การใช้ข้อมูลผู้ใช้จริง การสนับสนุนหลายภาษา ความช่วยเหลือในการเขียนที่ปรับให้เหมาะสม และโซลูชันความเป็นส่วนตัวของอุปกรณ์ เป็นเพียงตัวอย่างบางส่วนของพื้นที่ที่อาจนำไปสู่ความก้าวหน้าเพิ่มเติมในภาคส่วนนี้

Google AI กำลังขยายความเป็นไปได้ของเทคโนโลยีคีย์บอร์ดมือถือด้วยการเปิดตัวฟีเจอร์ Proofread ซึ่งปรับปรุงการพิมพ์สำหรับผู้คนทั่วโลก

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI เปิดตัว 'พิสูจน์อักษร': คุณสมบัติ Gboard สำหรับการแก้ไขประโยคและย่อหน้าได้อย่างง่ายดาย

Modern Deep Neural Networks (DNN) มีความคลุมเครืออย่างแท้จริง ทำให้เป็นเรื่องยากที่จะเข้าใจกระบวนการตัดสินใจ การขาดความโปร่งใสนี้ขัดขวางการนำเทคนิค Machine Learning ไปใช้อย่างกว้างขวางในโดเมนต่างๆ เพื่อเป็นการตอบสนอง Explainable AI (XAI) ได้แสดงความตั้งใจที่จะปรับปรุงความเข้าใจของมนุษย์เกี่ยวกับการตัดสินของ DNN เมื่อดูที่วัตถุประสงค์การทำงานของแต่ละองค์ประกอบ ตอนนี้ XAI ยังมุ่งเน้นไปที่การทำความเข้าใจพฤติกรรมทั่วโลกของ DNN ตรงกันข้ามกับวิธีการอธิบายในท้องถิ่นที่ใช้แผนที่ความโดดเด่นเพื่ออธิบายการคาดการณ์แต่ละรายการ

การตีความเชิงกลไกเป็นเทคนิคที่สามารถอธิบายได้ทั่วโลก ซึ่งมุ่งเน้นไปที่การระบุแนวคิดเฉพาะที่เซลล์ประสาท ซึ่งเป็นหน่วยการคำนวณพื้นฐานของโครงข่ายประสาทเทียม ได้รับความสามารถในการเข้าใจ เราสามารถอธิบายการทำงานของการเป็นตัวแทนแฝงของเครือข่ายได้โดยการติดป้ายกำกับเซลล์ประสาทด้วยคำอธิบายที่มนุษย์เข้าใจได้ คำอธิบายเหล่านี้มีความก้าวหน้าจากป้ายกำกับง่ายๆ ไปสู่คำอธิบายที่ละเอียด เรียบเรียง และคำศัพท์แบบเปิด อย่างไรก็ตาม การขาดตัวชี้วัดเชิงปริมาณที่เป็นมาตรฐานสำหรับการประเมินคำอธิบายคำศัพท์แบบเปิดเหล่านี้ได้ขัดขวางการเปรียบเทียบอย่างละเอียดในแนวทางต่างๆ

เพื่อแก้ไขช่องว่างนี้ นักวิจัยจาก ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute และ BIFOLD ได้แนะนำ [CoSy](https://arxiv.org/abs/2405.20331) ซึ่งเป็นกรอบการประเมินเชิงปริมาณบุกเบิกสำหรับ การประเมินการใช้คำอธิบายแบบเปิดในแบบจำลองคอมพิวเตอร์วิทัศน์ (CV) วิธีการที่เป็นนวัตกรรมใหม่นี้ใช้ประโยชน์จากการพัฒนาใน Generative AI เพื่อสร้างภาพเทียมที่มีความสัมพันธ์กับคำอธิบายข้อความตามแนวคิด ความสะดวกสบายช่วยลดความจำเป็นในการมีปฏิสัมพันธ์ของมนุษย์โดยอำนวยความสะดวกในการเปรียบเทียบเชิงปริมาณของวิธีการอธิบายข้อความตามแนวคิดที่แตกต่างกัน โดยการสังเคราะห์จุดข้อมูลทั่วไปสำหรับคำอธิบายเป้าหมายเฉพาะ

ทีมวิจัยแสดงให้เห็นผ่านการวิเคราะห์เมตาที่กว้างขวางซึ่ง Cosy ให้การประเมินคำอธิบายที่เชื่อถือได้ การศึกษาพบว่าวิธีการอธิบายด้วยข้อความตามแนวคิดทำงานได้ดีที่สุดในชั้นบนของโครงข่ายประสาทเทียม ซึ่งเป็นที่ที่มีการเรียนรู้แนวคิดระดับสูง คำอธิบายเซลล์ประสาทคุณภาพสูงจัดทำขึ้นโดยวิธีการต่างๆ เช่น INVERT ซึ่งสร้างภาพจากการเป็นตัวแทนโครงข่ายประสาทเทียม และ CLIP-Dissect ซึ่งตรวจสอบการเป็นตัวแทนเครือข่ายภายใน ในทางกลับกัน เทคนิคเช่น MILAN และ FALCON ให้คำอธิบายเกี่ยวกับคุณภาพที่ต่ำกว่า ซึ่งบางครั้งก็ให้แนวคิดที่เกือบจะสุ่ม ซึ่งอาจส่งผลให้ข้อสรุปของเครือข่ายไม่ถูกต้อง

ข้อเสียเปรียบหลักของ CoSy ตามที่นักวิจัยทราบก็คือ หมวดหมู่เฉพาะจากข้อมูลการฝึกอบรมอาจไม่รวมอยู่ในแบบจำลองกำเนิด ซึ่งนำไปสู่คำอธิบายที่กว้างเกินไปหรือคลุมเครือ เช่น "วัตถุสีขาว" ความแม่นยำเชิงกำเนิดอาจเพิ่มขึ้นโดยการแก้ไขปัญหานี้โดยการตรวจสอบชุดข้อมูลก่อนการฝึกอบรมและประสิทธิภาพของแบบจำลอง ถึงกระนั้น บรรยากาศสบาย ๆ ก็แสดงให้เห็นถึงศักยภาพอย่างมากในด้านการประเมินเทคนิคการอธิบายที่ไม่ใช่ภาษาท้องถิ่นที่ยังคงพัฒนาอยู่

เมื่อมองไปข้างหน้า ทีมงานมีความหวังเกี่ยวกับการใช้งานที่เป็นไปได้ของ CoSy ในหลายสาขา ในการประเมินความน่าเชื่อถือหรือคุณภาพของคำอธิบายที่เกี่ยวข้องกับผลลัพธ์ของงานขั้นปลาย การตัดสินใจของมนุษย์จะต้องรวมอยู่ในคำจำกัดความของคุณภาพคำอธิบาย ซึ่งพวกเขาต้องการกล่าวถึงในงานในอนาคต นอกจากนี้ พวกเขาต้องการรวมสาขาเพิ่มเติม เช่น การประมวลผลภาษาธรรมชาติและการดูแลสุขภาพ ไว้ในระบบการประเมินผล การใช้ Cozy ในการประเมินโมเดลภาษาขนาดใหญ่ ทึบแสง และตีความอัตโนมัติ (LLM) เป็นเรื่องที่น่าตื่นเต้นเป็นอย่างยิ่ง นักวิจัยระบุว่า การใช้ความสะดวกสบายกับชุดข้อมูลด้านการดูแลสุขภาพ ซึ่งคุณภาพของคำอธิบายเป็นสิ่งสำคัญ อาจเป็นก้าวสำคัญ การใช้งานที่สะดวกสบายในอนาคตเหล่านี้มีศักยภาพมหาศาลในการพัฒนาการวิจัย AI

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

การทำความเข้าใจโครงข่ายประสาทเทียม: กรอบงานเชิงปริมาณของ CoSy สำหรับการประเมินคำอธิบายที่เป็นข้อความ

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: หม้อแปลงที่ได้รับการปรับปรุงพร้อมการฝังตำแหน่งแบบหมุน

[ลิงก์ Arxiv](https://arxiv.org/abs/2403.13799)

20 มีนาคม 2024

## คำสาปพลิกกลับ

โมเดลภาษาขนาดใหญ่ (LLM) เช่น [GPT-4](https://arxiv.org/abs/2303.08774) และ [Llama-2](https://arxiv.org/abs/2307.09288) ได้แสดงให้เห็นถึงความสามารถที่น่าประทับใจในการทำความเข้าใจ และสร้างข้อความที่เหมือนมนุษย์ซึ่งครอบคลุมความรู้อันหลากหลาย อย่างไรก็ตาม พวกเขาล้มเหลวในงานที่ดูตรงไปตรงมา: การย้อนกลับข้อเท็จจริงที่เรียนรู้ ข้อจำกัดนี้เรียกว่า "คำสาปการกลับตัว" หมายความว่า LLM ไม่สามารถอนุมานได้ว่า "B เป็นคุณลักษณะของ A" จากการเรียนรู้ "A มีคุณสมบัติ B" ซึ่งเป็นทักษะการใช้เหตุผลพื้นฐานที่แม้แต่เด็ก ๆ ก็มี บทความนี้แนะนำ "การฝึกอบรมแบบย้อนกลับ" ซึ่งเป็นวิธีการใหม่ในการจัดการกับความท้าทายนี้โดยใช้ประโยชน์จากแนวทางการฝึกอบรมแบบสองทิศทางเพื่อเพิ่มความเข้าใจในข้อเท็จจริงของแบบจำลองทั้งในรูปแบบไปข้างหน้าและย้อนกลับ

## ต้นกำเนิดของคำสาปผกผัน

ปัญหาเกิดขึ้นจากแนวทางการฝึกอบรมขั้นพื้นฐานของ LLM ซึ่งโดยทั่วไปเกี่ยวข้องกับ **การเรียนรู้แบบถอยอัตโนมัติจากซ้ายไปขวา** วิธีการนี้ไม่ได้สอนแบบจำลองให้เข้าใจหรือสร้างข้อมูลในลำดับย้อนกลับโดยเนื้อแท้ เมื่อพิจารณาถึงลักษณะของการกระจายข้อมูลตามกฎของ Zipf ข้อเท็จจริงหลายประการจึงถูกกล่าวถึงในทิศทางเดียวเท่านั้น ซึ่งทำให้ปัญหานี้รุนแรงขึ้น "คำสาปผกผัน" จำกัดความเข้าใจของ LLM เกี่ยวกับความสัมพันธ์และความเท่าเทียมกันในข้อความ ซึ่งถือเป็นข้อบกพร่องที่สำคัญในความสามารถในการให้เหตุผล

## เอาชนะคำสาปผกผันด้วยการฝึกแบบย้อนกลับ

โซลูชันที่นำเสนอ ซึ่งก็คือ Reverse Training จะเพิ่มข้อมูลการฝึกที่มีอยู่เป็นสองเท่าโดยการรวมสตริงการฝึกทั้งเวอร์ชันดั้งเดิมและเวอร์ชันย้อนกลับ กระบวนการกลับรายการจะต้องระมัดระวังที่จะไม่เปลี่ยนแปลงสตริงย่อยบางอย่าง เช่น ชื่อเอนทิตี โดยคงลำดับดั้งเดิมไว้เพื่อรักษาบริบท วิธีนี้คล้ายกับการแนะนำภาษาที่สองเพื่อให้ LLM เรียนรู้ ช่วยเพิ่มความสามารถของโมเดลในการประมวลผลและสร้างข้อมูลในทั้งสองทิศทางได้อย่างมาก

## ทดสอบวิธีการฝึกแบบย้อนกลับ

ผู้เขียนได้ทำการทดลองต่อไปนี้เพื่อทดสอบวิธีที่เสนอ:

**1- งานย้อนกลับเชิงสัญลักษณ์:** การทดสอบสภาพแวดล้อมที่มีการควบคุมซึ่งแสดงให้เห็นถึงความสามารถของวิธีการในการอนุมานและใช้ความสัมพันธ์แบบย้อนกลับ

**2- การย้อนกลับงานชีวประวัติ:** การใช้ชุดข้อมูลชีวประวัติเพื่อประเมินประสิทธิภาพในการสร้างชื่อบุคคลจากรายละเอียดที่ให้ไว้ในทางกลับกัน

**3- การกลับรายการความรู้ในโลกแห่งความเป็นจริง:** การประเมินประสิทธิภาพของวิธีการในสถานการณ์จริง รวมถึงการกลับรายการข้อเท็จจริงเกี่ยวกับคนดังและความสัมพันธ์ของทั้งคู่

**4- การปรับแต่งข้อเท็จจริงที่สมมติขึ้น:** ทดสอบความสามารถในการเรียนรู้ของแบบจำลองจากข้อเท็จจริงที่สมมติขึ้นใหม่ที่เพิ่งเปิดตัวและกลับรายการ

ในการทดลองเหล่านี้ การฝึกย้อนกลับไม่เพียงแต่บรรเทาคำสาปผกผันเท่านั้น แต่ในบางกรณีก็กำจัดมันออกไปโดยสิ้นเชิง วิธีการนี้ได้รับการพิสูจน์แล้วว่ามีประสิทธิภาพโดยเฉพาะอย่างยิ่งเมื่อชื่อเอนทิตีถูกเก็บรักษาไว้ในลำดับเดิมในระหว่างกระบวนการกลับรายการ โดยเน้นถึงความสำคัญของการรักษาจุดยึดตามบริบทบางอย่าง

## ผลกระทบและทิศทางในอนาคต

ความสำเร็จของ Reverse Training ในการจัดการกับ Reversal Curse ได้เปิดช่องทางใหม่สำหรับวิธีการฝึกอบรม LLM ด้วยการเสริมสร้างความเข้าใจของแบบจำลองเกี่ยวกับความสัมพันธ์ซึ่งกันและกันและความเท่าเทียมกันในข้อความ แนวทางนี้จะเปิดประตูสู่ความสามารถในการให้เหตุผลที่ซับซ้อนมากขึ้น การวิจัยในอนาคตอาจสำรวจการปรับกระบวนการย้อนกลับให้เหมาะสมยิ่งขึ้น ศักยภาพในการบูรณาการการฝึกอบรมแบบย้อนกลับในสถาปัตยกรรมแบบจำลองภาษาอื่น และการประยุกต์ใช้วิธีการนี้ในวงกว้างในการทำความเข้าใจภาษาธรรมชาติและงานการสร้าง

-

*มาเป็น Coding Pro ในแบบของคุณเอง! เข้าร่วม [หลักสูตรติวเข้มพาร์ทไทม์ออนไลน์](/) ของ Code Labs Academy และยกระดับทักษะในการเขียนโค้ด ปรับการเรียนรู้ตามตารางเวลาของคุณและเริ่มการเดินทางสู่เทคโนโลยีวันนี้!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

การฝึกอบรมย้อนกลับเพื่อพยาบาลคำสาปผกผัน

[ลิงก์ Arxiv](https://arxiv.org/abs/2403.12015)

18 มีนาคม 2024

"การสังเคราะห์ภาพที่มีความละเอียดสูงอย่างรวดเร็วด้วยการกลั่นแบบแพร่กระจายฝ่ายตรงข้ามที่แฝงอยู่" นำเสนอวิธีการกลั่นแบบใหม่ที่เรียกว่าการกลั่นแบบแพร่กระจายฝ่ายตรงข้ามแบบแฝง (LADD) แนวทางนี้ออกแบบมาเพื่อจัดการกับข้อจำกัดของ [โมเดลการแพร่กระจาย](https://en.wikipedia.org/wiki/Diffusion_model) ที่มีอยู่ โดยเฉพาะอย่างยิ่งความท้าทายของความเร็วในการอนุมานที่ช้า ซึ่งขัดขวางแอปพลิเคชันแบบเรียลไทม์ LADD ช่วยให้สามารถสังเคราะห์ภาพที่มีอัตราส่วนหลายแง่มุมที่มีความละเอียดสูงโดยการกลั่น [แบบจำลองการแพร่กระจายแฝง](https://arxiv.org/abs/2112.10752) (LDM) ขนาดใหญ่ได้อย่างมีประสิทธิภาพ ทำให้กระบวนการฝึกอบรมง่ายขึ้นอย่างมาก และเพิ่มประสิทธิภาพการทำงานเมื่อเทียบกับวิธีการก่อนหน้านี้ .

เราจะสรุปประเด็นสำคัญจากบทความนี้

## การแนะนำ

โมเดลการแพร่กระจายกลายเป็นเครื่องมืออันทรงพลังสำหรับการสังเคราะห์และแก้ไขรูปภาพและวิดีโอ โดยให้ผลลัพธ์คุณภาพสูง อย่างไรก็ตาม ลักษณะของการทำซ้ำ ซึ่งต้องมีการประเมินเครือข่ายจำนวนมากเพื่อเปลี่ยนสัญญาณรบกวนให้เป็นภาพที่เชื่อมโยงกัน ได้จำกัดการใช้งานจริงสำหรับแอปพลิเคชันแบบเรียลไทม์ มีการเสนอกลยุทธ์ต่างๆ เพื่อเร่งโมเดลการแพร่กระจาย LADD แนะนำกลยุทธ์ใหม่ โดยใช้ประโยชน์จากคุณลักษณะที่สร้างจาก LDM ที่ผ่านการฝึกอบรมมาแล้ว ซึ่งช่วยให้สามารถสังเคราะห์ภาพที่มีความละเอียดสูงได้อย่างมีประสิทธิภาพในขั้นตอนเพียงเล็กน้อยตามที่กำหนดโดยวิธีการแบบดั้งเดิม

## พื้นหลัง

บทความนี้เริ่มต้นด้วยการให้ภาพรวมของแบบจำลองการแพร่กระจายและ[การกลั่น](https://en.wikipedia.org/wiki/Knowledge_distillation) โมเดลการแพร่กระจายแบบดั้งเดิมทำงานโดยค่อยๆ ลดสัญญาณรบกวนของภาพผ่านขั้นตอนวนซ้ำหลายๆ ขั้นตอน ทำให้กระบวนการนี้ช้าและมีราคาแพงในการคำนวณ วิธีการกลั่น รวมถึง [การกลั่นแบบ Adversarial Diffusion](https://arxiv.org/abs/2311.17042) (ADD) ได้พยายามปรับปรุงกระบวนการนี้ให้มีประสิทธิภาพมากขึ้นโดยการลดจำนวนขั้นตอนที่จำเป็น อย่างไรก็ตาม ADD เผชิญกับข้อจำกัด เช่น ความละเอียดในการฝึกคงที่ และความจำเป็นในการถอดรหัสเป็นพื้นที่ RGB สำหรับการกลั่นโมเดลการแพร่กระจายแฝง ซึ่งสามารถจำกัดการฝึกที่มีความละเอียดสูง

## ระเบียบวิธี

LADD แก้ไขปัญหาเหล่านี้โดย **กลั่นกรองในพื้นที่แฝงโดยตรง** ดังนั้นจึง **หลีกเลี่ยงความจำเป็นในการถอดรหัสเป็นพื้นที่พิกเซล** และช่วยให้สามารถฝึกอบรมที่ความละเอียดสูงกว่าได้ ซึ่งแตกต่างจาก ADD ซึ่งอาศัยตัวแบ่งแยกที่ได้รับการฝึกมาล่วงหน้าซึ่งทำงานในพื้นที่พิกเซล LADD ใช้แนวทางใหม่ที่ผู้แบ่งแยกและแบบจำลองของครูเป็นอันหนึ่งอันเดียวกัน โดยทำงานโดยตรงกับค่าแฝง วิธีการนี้ไม่เพียงแต่ทำให้กระบวนการฝึกอบรมง่ายขึ้น แต่ยังให้ข้อดีหลายประการ เช่น ประสิทธิภาพ ความสามารถในการให้ผลตอบรับเฉพาะด้านระดับเสียง และความสามารถในการฝึกอบรม Multi-Aspect Ratio (MAR)

## การทดลองและผลลัพธ์

บทความวิจัยนี้ประเมิน LADD อย่างกว้างขวางผ่านการทดลองต่างๆ ซึ่งแสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าในการสังเคราะห์ภาพที่มีความละเอียดสูงด้วยเพียงไม่กี่ขั้นตอน โดยเฉพาะอย่างยิ่ง เมื่อนำไปใช้กับ [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) LADD จะส่งผลให้ได้โมเดลที่เรียกว่า SD3-Turbo ซึ่งทำให้ได้คุณภาพของภาพที่เทียบเคียงได้กับสถานะ เครื่องมือสร้างข้อความเป็นรูปภาพล้ำสมัยในเวลาเพียงสี่ขั้นตอน การทดลองยังสำรวจผลกระทบของการกระจายเสียงของครูที่แตกต่างกัน การใช้ข้อมูลสังเคราะห์ วิธีการกลั่นแบบแฝง และพฤติกรรมการปรับขนาดของ LADD

## เปรียบเทียบกับความล้ำสมัย

ประสิทธิผลของ LADD ได้รับการเน้นย้ำเพิ่มเติมโดยการเปรียบเทียบกับวิธีการชั้นนำในปัจจุบันในการสังเคราะห์ข้อความเป็นภาพและภาพเป็นภาพ SD3-Turbo ไม่เพียงแต่จับคู่ประสิทธิภาพของโมเดลคุณครู (SD3) ในด้านคุณภาพของภาพเท่านั้น แต่ยังแสดงให้เห็นถึงการปรับปรุงที่สำคัญเหนือเส้นพื้นฐานอื่นๆ ในแง่ของความเร็วในการอนุมานและการจัดตำแหน่งข้อความรูปภาพ

## ข้อจำกัดและทิศทางในอนาคต

แม้จะมีความก้าวหน้า LADD ก็ไม่ไร้ข้อจำกัด ผู้เขียนสังเกตเห็นข้อดีข้อเสียระหว่างความจุของโมเดล การจัดตำแหน่งที่รวดเร็ว และความเร็วในการอนุมาน ซึ่งอาจส่งผลต่อความสามารถของโมเดลในการจัดการกับความท้าทายในการสังเคราะห์ข้อความเป็นรูปภาพ ทิศทางการวิจัยในอนาคตรวมถึงการสำรวจการแลกเปลี่ยนนี้อย่างลึกซึ้งยิ่งขึ้น และพัฒนากลยุทธ์เพื่อเพิ่มการควบคุมจุดแข็งของคำแนะนำรูปภาพและข้อความ

## บทสรุป

"การสังเคราะห์ภาพที่มีความละเอียดสูงอย่างรวดเร็วด้วยการกลั่นแบบกระจาย Adversarial Diffusion" นำเสนอแนวทางใหม่ในการสังเคราะห์ภาพ/วิดีโอที่ช่วยเร่งการสร้างภาพคุณภาพสูงจากข้อความแจ้งได้อย่างมาก ด้วยการกลั่นแบบจำลองการแพร่กระจายขนาดใหญ่ในพื้นที่แฝง LADD จะปูทางสำหรับการใช้งานแบบเรียลไทม์ และกำหนดมาตรฐานใหม่สำหรับประสิทธิภาพและสมรรถนะในการสังเคราะห์ภาพ

-

*Code Labs Academy: [หลักสูตรฝึกอบรมการเข้ารหัสออนไลน์](/) พร้อมแผนการชำระเงินที่ยืดหยุ่น*

เอกสารอธิบาย