การทำให้เป็นมาตรฐาน หมายถึงชุดของเทคนิคที่ใช้ในการ ป้องกันการพอดีมากเกินไป และ ปรับปรุงลักษณะทั่วไป ของแบบจำลอง การติดตั้งมากเกินไปเกิดขึ้นเมื่อแบบจำลองเรียนรู้ข้อมูลการฝึกได้ดีเกินไป โดยจับสัญญาณรบกวนและรายละเอียดเฉพาะที่ไม่ใช้กับข้อมูลใหม่ที่มองไม่เห็น การทำให้เป็นมาตรฐานจะช่วยควบคุมสิ่งนี้โดยการเพิ่ม เงื่อนไขการลงโทษ ให้กับฟังก์ชันวัตถุประสงค์ของโมเดล ซึ่งจะทำให้โมเดลที่ซับซ้อนมากเกินไปไม่สนับสนุน
การทำให้เป็นมาตรฐานทั่วไปสองประเภทคือการทำให้เป็นมาตรฐาน L1 และ L2:
การทำให้เป็นมาตรฐาน L1 (การถดถอยแบบ Lasso):
-
การทำให้เป็นมาตรฐาน L1 จะเพิ่มเงื่อนไขการลงโทษให้กับฟังก์ชันต้นทุนเท่ากับ ค่าสัมบูรณ์ของสัมประสิทธิ์ของแบบจำลอง
-
ส่งเสริมความกระจัดกระจาย ในโมเดลโดย ลดค่าสัมประสิทธิ์บางส่วนให้เหลือศูนย์ ซึ่งจะทำให้ การเลือกฟีเจอร์ มีประสิทธิภาพ
-
โมเดลที่ได้นั้นง่ายกว่าและตีความง่ายกว่า เนื่องจาก เลือกเฉพาะคุณสมบัติที่สำคัญที่สุด ในขณะที่ละทิ้งคุณสมบัติที่เกี่ยวข้องน้อยกว่า
การทำให้เป็นมาตรฐาน L2 (การถดถอยแบบริดจ์):
-
การทำให้เป็นมาตรฐาน L2 จะเพิ่มเงื่อนไขการลงโทษให้กับฟังก์ชันต้นทุนเท่ากับ ขนาดกำลังสองของสัมประสิทธิ์ของแบบจำลอง
-
มีแนวโน้มที่จะลดค่าสัมประสิทธิ์ของคุณลักษณะที่สำคัญน้อยกว่าให้เหลือศูนย์ แต่ก็แทบจะไม่ได้ตั้งค่าให้เป็นศูนย์เลย
-
การทำให้เป็นมาตรฐานของ L2 มีประสิทธิภาพในการป้องกันการติดตั้งมากเกินไปโดยการลงโทษน้ำหนักที่มาก ดังนั้นจึงลดความซับซ้อนของแบบจำลอง
เทคนิคการทำให้เป็นมาตรฐานทั้ง L1 และ L2 ช่วยในการลดการโอเวอร์ฟิตและปรับปรุงความสามารถของโมเดลในการสรุปข้อมูลทั่วไปกับข้อมูลที่มองไม่เห็น ทางเลือกระหว่างการทำให้เป็นมาตรฐานของ L1 และ L2 มักขึ้นอยู่กับปัญหาเฉพาะ ลักษณะของคุณลักษณะ และผลลัพธ์ที่ต้องการ การทำให้เป็นมาตรฐานแบบ Lasso (L1) พร้อมคุณสมบัติการเลือกคุณสมบัติเป็นที่ต้องการเมื่อมีความจำเป็นต้องระบุคุณสมบัติที่เกี่ยวข้องมากที่สุด การทำให้เป็นมาตรฐานของ Ridge (L2) นั้นเหมาะสมเมื่อคุณสมบัติทั้งหมดอาจมีความสำคัญ และแนะนำให้ลดผลกระทบโดยไม่ต้องกำจัดคุณสมบัติทั้งหมดออกไปโดยสิ้นเชิง นอกจากนี้ การผสมผสานของเทคนิคทั้งสองที่เรียกว่า การทำให้เป็นมาตรฐานแบบยืดหยุ่น สามารถใช้เพื่อใช้ประโยชน์จากการทำให้เป็นมาตรฐานทั้ง L1 และ L2 ได้พร้อมกัน
