20 березня 2024 р
Скасування прокляття
Великі мовні моделі (LLM), такі як GPT-4 і Llama-2, продемонстрували вражаючі можливості розуміння і створення тексту, схожого на людину, що охоплює широкий спектр знань. Однак їм не вдається виконати, здавалося б, просте завдання: перевернути вивчені факти. Це обмеження, яке називається «Прокляттям зворотного зв’язку», передбачає, що магістратури не можуть зробити висновок про те, що «B є ознакою A» із вивчення «A має властивість B», базової навички міркування, якою володіють навіть діти. У цьому документі представлено «Зворотне навчання», новий метод для вирішення цієї проблеми шляхом використання підходу двоспрямованого навчання для покращення розуміння моделлю фактів у прямому та зворотному форматах.
Походження прокляття скасування
Проблема виникає через фундаментальний підхід до підготовки магістра, який зазвичай передбачає авторегресивне навчання зліва направо. Цей метод за своєю суттю не навчає моделі розуміти або генерувати інформацію у зворотному порядку. Враховуючи характер розподілу даних згідно із законом Ціпфа, багато фактів згадуються лише в одному напрямку, що загострює цю проблему. «Зворотне прокляття» обмежує розуміння LLM взаємних зв’язків та еквівалентності у висловлюваннях, відзначаючи значний недолік у їхніх здібностях міркувати.
Подолання зворотного прокляття за допомогою зворотного навчання
Запропоноване рішення, Reverse Training, подвоює доступні навчальні дані, включаючи оригінальні та зворотні версії навчальних рядків. Процес реверсування обережний, щоб не змінити певні підрядки, такі як імена об’єктів, зберігаючи їх оригінальну послідовність для збереження контексту. Цей метод, подібний до введення другої мови для вивчення LLM, значно покращує здатність моделі обробляти та генерувати інформацію в обох напрямках.
Тестування методу зворотного навчання
Автори провели такі експерименти, щоб перевірити запропонований ними метод:
1- Символічне зворотне завдання: Перевірка в контрольованому середовищі, що демонструє здатність методу виводити та застосовувати зворотні зв’язки.
2- Завдання реверсування біографії: Використання набору даних біографії для оцінки ефективності генерування імен людей із заданих деталей у зворотному порядку.
3- Перевертання знань у реальному світі: Оцінка ефективності методу в сценаріях реального світу, включаючи перевернення фактів про знаменитостей та їхні стосунки.
4- Точне налаштування вигаданих фактів: Перевірка здатності моделі до навчання на нещодавно представлених, перевернутих вигаданих фактах.
Під час цих експериментів Зворотне навчання не лише пом’якшило Прокляття Скасування, але в деяких випадках повністю його усунуло. Метод виявився особливо ефективним, коли назви об’єктів зберігалися в їх початковому порядку під час процесу сторнування, підкреслюючи важливість підтримки певних контекстних прив’язок.
Наслідки та майбутні напрямки
Успіх Зворотного навчання у боротьбі з Прокляттям Скасування відкриває нові шляхи для методологій навчання LLM. Покращуючи розуміння моделями взаємних зв’язків і еквівалентності у висловлюваннях, цей підхід відкриває двері для більш складних можливостей міркування. Майбутні дослідження можуть вивчити подальшу оптимізацію процесу реверсування, потенціал для інтеграції зворотного навчання в інші архітектури мовної моделі та ширші застосування цього методу в задачах розуміння природної мови та генерації.