20 березня 2024 р
Скасування прокляття
Великі мовні моделі (LLM), такі як GPT-4 і Llama-2, продемонстрували вражаючі можливості розуміння і створення тексту, схожого на людину, що охоплює широкий спектр знань. Однак їм не вдається виконати, здавалося б, просте завдання: перевернути вивчені факти. Це обмеження, яке називається «Прокляттям зворотного зв’язку», передбачає, що магістратури не можуть зробити висновок про те, що «B є ознакою A» із вивчення «A має властивість B», базової навички міркування, якою володіють навіть діти. У цьому документі представлено «Зворотне навчання», новий метод для вирішення цієї проблеми шляхом використання підходу двоспрямованого навчання для покращення розуміння моделлю фактів у прямому та зворотному форматах.
Походження прокляття скасування
Проблема виникає через фундаментальний підхід до підготовки магістра, який зазвичай передбачає авторегресивне навчання зліва направо. Цей метод за своєю суттю не навчає моделі розуміти або генерувати інформацію у зворотному порядку. Враховуючи характер розподілу даних згідно із законом Ціпфа, багато фактів згадуються лише в одному напрямку, що загострює цю проблему. «Зворотне прокляття» обмежує розуміння LLM взаємних зв’язків та еквівалентності у висловлюваннях, відзначаючи значний недолік у їхніх здібностях міркувати.
Подолання зворотного прокляття за допомогою зворотного навчання
Запропоноване рішення, Reverse Training, подвоює доступні навчальні дані, включаючи оригінальні та зворотні версії навчальних рядків. Процес реверсування обережний, щоб не змінювати певні підрядки, наприклад імена об’єктів, зберігаючи їх оригінальну послідовність для збереження контексту. Цей метод, подібний до введення другої мови для вивчення LLM, значно покращує здатність моделі обробляти та генерувати інформацію в обох напрямках.
Тестування методу зворотного навчання
Автори провели такі експерименти, щоб перевірити запропонований ними метод:
1- Символічне зворотне завдання: Перевірка в контрольованому середовищі, що демонструє здатність методу виводити та застосовувати зворотні зв’язки.
2- Завдання реверсування біографії: Використання набору даних біографії для оцінки ефективності генерування імен людей із заданих деталей у зворотному порядку.
3- Перевертання знань у реальному світі: Оцінка ефективності методу в сценаріях реального світу, включаючи перевернення фактів про знаменитостей та їхні стосунки.
4- Точне налаштування вигаданих фактів: Перевірка здатності моделі до навчання на нещодавно представлених, перевернутих вигаданих фактах.
У ході цих експериментів Зворотне навчання не лише пом’якшило Скасування Прокляття, але в деяких випадках повністю його знищило. Метод виявився особливо ефективним, коли назви об’єктів зберігалися в їх початковому порядку під час процесу розвороту, підкреслюючи важливість підтримки певних контекстних прив’язок.
Наслідки та майбутні напрямки
Успіх Зворотного навчання у боротьбі з Прокляттям Скасування відкриває нові шляхи для методологій навчання LLM. Покращуючи розуміння моделями взаємних зв’язків і еквівалентності у висловлюваннях, цей підхід відкриває двері для більш складних можливостей міркування. Майбутні дослідження можуть вивчити подальшу оптимізацію процесу реверсування, потенціал для інтеграції зворотного навчання в інші архітектури мовної моделі та ширші застосування цього методу в задачах розуміння природної мови та генерації.
- Станьте професіоналом кодування у своєму власному темпі! Приєднуйтеся до Code Labs Academy Online Part-Time Bootcamp та вдосконалюйте навички програмування. Пристосуйте навчання до свого розкладу та розпочніть свою подорож у технологію вже сьогодні!*