การตรวจสอบความถูกต้องข้ามสาย เป็นเทคนิคสำคัญที่ใช้ในการประเมิน แบบจำลองจะทำงานได้ดีเพียงใดกับข้อมูลใหม่ เป้าหมายหลักคือการประเมินประสิทธิภาพของแบบจำลองในลักษณะที่จะลดปัญหาต่างๆ เช่น การติดตั้งมากเกินไป (โดยที่แบบจำลองเรียนรู้มากเกินไปจากข้อมูลการฝึกอบรมและทำงานได้ไม่ดีกับข้อมูลที่มองไม่เห็น) และการปรับให้เหมาะสมน้อยเกินไป (ในกรณีที่แบบจำลองง่ายเกินไปที่จะจับรูปแบบใน ข้อมูล).
แนวคิดนี้เกี่ยวข้องกับการ แยกข้อมูลที่มีอยู่ออกเป็นหลายชุดย่อย โดยทั่วไปจะมีสองส่วนหลัก: ชุดการฝึกและชุดการตรวจสอบ (ซึ่งบางครั้งเรียกว่าชุดทดสอบ)
เทคนิคทั่วไปคือการตรวจสอบข้าม k-fold:
-
ชุดข้อมูลแบ่งออกเป็นชุดย่อย 'k' (หรือพับ) ที่มีขนาดเท่ากันโดยประมาณ
-
โมเดลได้รับการฝึกฝน 'k' ครั้ง แต่ละครั้งโดยใช้การพับที่แตกต่างกันเป็นชุดการตรวจสอบ และพับที่เหลือเป็นชุดการฝึก
-
ตัวอย่างเช่น ในการตรวจสอบข้าม 5 เท่า ข้อมูลจะถูกแบ่งออกเป็นห้าชุดย่อย โมเดลได้รับการฝึกห้าครั้ง ในแต่ละครั้งโดยใช้ชุดย่อยห้าชุดที่แตกต่างกันเป็นชุดการตรวจสอบ และอีกสี่ชุดเป็นชุดการฝึก
-
ตัวชี้วัดประสิทธิภาพ (เช่น ความแม่นยำ ความแม่นยำ การเรียกคืน ฯลฯ) จะถูกเฉลี่ยในการวนซ้ำ 'k' เหล่านี้เพื่อรับการประมาณประสิทธิภาพขั้นสุดท้าย
เทคนิคทั่วไปอื่นๆ ได้แก่
การตรวจสอบความถูกต้องข้ามแบบลาออกครั้งเดียว (LOOCV)
-
จุดข้อมูลแต่ละจุดทำหน้าที่เป็นชุดการตรวจสอบ และแบบจำลองจะได้รับการฝึกกับข้อมูลที่เหลือ
-
วิธีการนี้มีราคาแพงในการคำนวณสำหรับชุดข้อมูลขนาดใหญ่ แต่ค่อนข้างแม่นยำเนื่องจากใช้ข้อมูลเกือบทั้งหมดในการฝึกอบรม
การตรวจสอบข้ามแบบแบ่งชั้น
- ตรวจสอบให้แน่ใจว่าแต่ละพับเป็นตัวแทนของชุดข้อมูลทั้งหมด โดยจะรักษาการกระจายคลาสในแต่ละพับ ซึ่งมีประโยชน์สำหรับชุดข้อมูลที่ไม่สมดุล
การตรวจสอบความถูกต้องข้ามมีความสำคัญเนื่องจากให้การประมาณประสิทธิภาพของแบบจำลองในข้อมูลที่มองไม่เห็นได้อย่างน่าเชื่อถือมากกว่า เมื่อเทียบกับการแยกการทดสอบรถไฟเดี่ยว ช่วยในการระบุปัญหาต่างๆ เช่น การพอดีมากเกินไป หรือ การพอดีไม่เพียงพอ โดยให้การประมาณที่แม่นยำมากขึ้นว่าแบบจำลองจะสรุปข้อมูลใหม่อย่างไร
ด้วยการใช้การตรวจสอบข้าม ผู้ปฏิบัติงานแมชชีนเลิร์นนิงสามารถตัดสินใจได้ดีขึ้นเกี่ยวกับการเลือกแบบจำลอง การปรับแต่งไฮเปอร์พารามิเตอร์ และการประเมินประสิทธิภาพการทำงานทั่วไปของแบบจำลองจากข้อมูลที่มองไม่เห็น
