การลืมหายนะในการเรียนรู้ของเครื่อง

การลืมแบบหายนะหรือที่รู้จักกันในชื่อการรบกวนแบบหายนะ เป็นปรากฏการณ์ที่เกิดขึ้นเมื่อโครงข่ายประสาทเทียมหรือโมเดลการเรียนรู้ของเครื่องจักร "ลืม" หรือลดประสิทธิภาพในการทำงานที่เรียนรู้ก่อนหน้านี้ลงอย่างมากหลังจากการเรียนรู้งานใหม่ สิ่งนี้สามารถเกิดขึ้นได้เมื่อฝึกโมเดลกับงานต่างๆ แทนที่จะฝึกโมเดลกับงานทั้งหมดในคราวเดียว

มีหลายวิธีที่การลืมอันเลวร้ายสามารถเกิดขึ้นได้ วิธีหนึ่งคือผ่านกระบวนการ "ปรับแต่งมากเกินไป" 1 โดยที่แบบจำลองมุ่งเน้นไปที่การปรับข้อมูลการฝึกอบรมให้เหมาะสม งานใหม่ที่จะลืมข้อมูลจากงานก่อนหน้า อีกวิธีหนึ่งคือผ่านกระบวนการ "รบกวน" ซึ่งงานใหม่เกี่ยวข้องกับงานก่อนหน้านี้ไม่ทางใดก็ทางหนึ่ง และการเรียนรู้ของแบบจำลองเกี่ยวกับงานใหม่ "รบกวน" ความรู้เกี่ยวกับงานก่อนหน้านี้ วิธีหนึ่งที่พบบ่อยที่การลืมแบบภัยพิบัติเกิดขึ้นคือเมื่อฝึกอบรมโมเดลโดยใช้แนวทาง "การเรียนรู้ออนไลน์" 2 ซึ่งโมเดลจะได้รับการอัปเดตอย่างต่อเนื่องพร้อมตัวอย่างใหม่ๆ เมื่อพวกเขาเข้ามา แทนที่จะได้รับการฝึกอบรมเกี่ยวกับชุดตัวอย่างที่ตายตัวทั้งหมดในคราวเดียว ในสถานการณ์สมมตินี้ โมเดลสามารถนำเสนอด้วยตัวอย่างใหม่ๆ ที่แตกต่างอย่างมากจากตัวอย่างที่ได้รับการฝึกก่อนหน้านี้ และอาจทำให้ "ลืม" หรือลดประสิทธิภาพการทำงานของงานก่อนหน้าลงอย่างมาก

มีหลายวิธีในการบรรเทาภัยพิบัติจากการลืม:

• แนวทางหนึ่งคือการใช้เทคนิคต่างๆ เช่น “Weight Regularization” 3 ซึ่งสามารถช่วยป้องกันแบบจำลองได้ จากการเปลี่ยนแปลงค่าน้ำหนักอย่างมากและสูญเสียความรู้ที่ได้รับจากงานก่อนหน้านี้

• "การรวมน้ำหนักแบบยืดหยุ่น" 4 ซึ่งเกี่ยวข้องกับการเพิ่มเสียงรบกวนเล็กน้อยให้กับน้ำหนักของเครือข่ายระหว่างการฝึก ยังช่วยป้องกันการลืมอันเป็นหายนะได้ด้วย เสียงนี้ช่วย "รักษาเสถียรภาพ" ของตุ้มน้ำหนัก ทำให้มีโอกาสน้อยที่แบบจำลองจะลืมความรู้เกี่ยวกับงานก่อนหน้านี้

• อีกแนวทางหนึ่งคือการใช้วิธี เช่น “การซ้อม” 5 ซึ่งแบบจำลองจะถูกนำเสนออย่างต่อเนื่องพร้อมตัวอย่างจากงานที่เรียนรู้ก่อนหน้านี้เพื่อช่วยรักษาความรู้นั้นไว้

• อีกวิธีหนึ่งที่นิยมใช้ในการจัดการกับการลืมภัยพิบัติคือการใช้ "การเรียนรู้การถ่ายโอน" 6 ซึ่งเป็นโมเดล ที่ได้รับการฝึกอบรมในงานเดียวจะได้รับการปรับปรุงงานที่เกี่ยวข้องอย่างละเอียด ตัวอย่างเช่น แบบจำลองที่ได้รับการฝึกให้จดจำภาพสุนัขอาจได้รับการปรับแต่งอย่างละเอียดเพื่อให้จดจำภาพแมวได้ ในกรณีนี้ โมเดลได้เรียนรู้คุณสมบัติหลายอย่างที่เป็นประโยชน์ในการจดจำภาพสัตว์โดยทั่วไปแล้ว ดังนั้นจึงสามารถใช้ความรู้นี้เพื่อเรียนรู้การจดจำภาพแมวได้อย่างรวดเร็ว

• "Ensemble Methods" 7 ซึ่งมีโมเดลหลายตัวได้รับการฝึกอบรมเพื่อแก้ปัญหางานต่างๆ และผลลัพธ์ของโมเดลเหล่านั้นถูกรวมเข้าด้วยกันเพื่อทำการทำนายขั้นสุดท้าย ยังมีประโยชน์ใน ป้องกันการลืมภัยพิบัติ ตัวอย่างเช่น แบบจำลองทั้งมวลอาจประกอบด้วยแบบจำลองหนึ่งที่ได้รับการฝึกให้จดจำรูปภาพของสุนัข อีกแบบจำลองหนึ่งที่ได้รับการฝึกให้จดจำรูปภาพของแมว และอื่นๆ เมื่อนำเสนอด้วยตัวอย่างใหม่ แบบจำลองทั้งมวลสามารถใช้ผลลัพธ์ของแบบจำลองที่เป็นส่วนประกอบแต่ละแบบเพื่อทำการทำนายที่มีข้อมูลมากขึ้น

การลืมแบบหายนะคือข้อพิจารณาที่สำคัญเมื่อฝึกโมเดลการเรียนรู้ของเครื่อง โดยเฉพาะอย่างยิ่งเมื่อโมเดลเหล่านั้นได้รับการฝึกให้เรียนรู้งานหลายอย่างในช่วงเวลาหนึ่ง ด้วยการใช้เทคนิคต่างๆ เช่น การปรับน้ำหนักให้เป็นมาตรฐาน การรวมน้ำหนักแบบยืดหยุ่น การฝึกซ้อม การถ่ายโอนการเรียนรู้ และวิธีการรวมกลุ่ม ทำให้สามารถบรรเทาผลกระทบของการลืมอันเป็นหายนะ และปรับปรุงประสิทธิภาพของโมเดลการเรียนรู้ของเครื่องได้

[1] ภูเขาน้ำแข็งที่สวมมากเกินไป (2020)

[2] วิธีการออนไลน์ในการเรียนรู้ของเครื่อง - ทฤษฎีและการประยุกต์ (ปรึกษาเมื่อเดือนมกราคม 2023)

[3] เทคนิคการทำให้เป็นมาตรฐานในการเรียนรู้เชิงลึก (2019)

[4] การเอาชนะการลืมหายนะในโครงข่ายประสาทเทียม (2017)

[5] การลืมหายนะ การซ้อม และการซ้อมปลอม (1995)

[6] แบบสำรวจการถ่ายโอนการเรียนรู้ (2016)

[7] Ensemble Learning - Wikipedia (ปรึกษาเมื่อเดือนมกราคม 2023)