Normalisasi panjang adalah teknik yang digunakan dalam penelusuran berkas atau algoritme pembuatan urutan lainnya untuk mengatasi bias terhadap urutan yang lebih pendek atau lebih panjang. Hal ini bertujuan untuk memastikan evaluasi yang adil dan pemeringkatan urutan dengan panjang yang berbeda, terutama ketika menggunakan metode penilaian berbasis probabilitas.
Dalam konteks pencarian berkas:
Masalah Telah Diatasi
- Bias Panjang: Tanpa normalisasi panjang, rangkaian yang lebih panjang cenderung memiliki probabilitas yang lebih rendah dibandingkan dengan rangkaian yang lebih pendek, hanya karena perkalian probabilitas pada setiap langkah. Akibatnya, urutan yang lebih pendek sering kali mendominasi dalam pencarian berkas karena kemungkinan kemunculannya yang lebih tinggi.
Cara Kerja Normalisasi Panjang
-
Tujuan: Tujuan dari normalisasi panjang adalah untuk menyesuaikan skor atau probabilitas rangkaian kandidat berdasarkan panjangnya untuk mencegah bias terhadap panjang tertentu.
-
Faktor Normalisasi: Ini melibatkan penskalaan skor rangkaian berdasarkan faktor yang memperhitungkan panjangnya.
-
Panjang Hukuman: Biasanya, ini melibatkan pembagian probabilitas log (atau metrik penilaian apa pun) dengan panjang barisan atau menerapkan istilah penalti yang berbanding terbalik dengan panjang barisan.
Contoh
-
Misalkan Anda mempunyai dua barisan: Barisan A mempunyai panjang 5 dan probabilitas log -10, dan Barisan B mempunyai panjang 7 dan probabilitas log -15.
-
Tanpa normalisasi panjang, Urutan A tampaknya memiliki probabilitas lebih tinggi (karena -10 > -15), meskipun lebih pendek.
-
Dengan normalisasi panjang, skor dapat disesuaikan dengan membagi probabilitas log dengan panjang urutan masing-masing: Skor penyesuaian urutan A menjadi -10/5 = -2, dan skor penyesuaian urutan B menjadi -15/7 ≈ -2,14.
-
Setelah normalisasi panjang, Urutan B mungkin memiliki probabilitas penyesuaian yang sedikit lebih tinggi, mengingat panjangnya lebih panjang.
Tujuan dan Dampak
-
Evaluasi Setara: Normalisasi panjang bertujuan untuk memastikan evaluasi dan pemeringkatan rangkaian yang adil dengan mempertimbangkan panjangnya, sehingga mengurangi bias terhadap rangkaian yang lebih pendek.
-
Eksplorasi Seimbang: Dengan menormalkan skor berdasarkan panjang, penelusuran berkas dapat mengeksplorasi rangkaian panjang yang bervariasi secara lebih merata, sehingga mendorong keragaman dalam keluaran yang dihasilkan.
Pentingnya Pembuatan Urutan
-
Normalisasi panjang sangat penting dalam tugas yang panjang rangkaian keluarannya sangat bervariasi atau jika memilih rangkaian yang lebih pendek atau lebih panjang dapat menyebabkan hasil yang bias.
-
Ini membantu dalam mencapai keseimbangan antara menghasilkan keluaran yang ringkas dan koheren dan mengeksplorasi rangkaian yang lebih panjang dan kaya konteks.
Intinya, normalisasi panjang dalam pencarian berkas menyesuaikan skor rangkaian kandidat berdasarkan panjangnya untuk memastikan perbandingan dan peringkat yang adil, sehingga mendorong eksplorasi rangkaian dengan panjang berbeda yang lebih seimbang.
