Мовна модель міркування
| Тип | Велика мовна модель |
|---|---|
| Розробник | OpenAI, Anthropic, Google DeepMind, Mistral AI |
| Перший випуск | 2024 |
| Доступні мови | мультимовна |
| Ліцензія | Власна або відкрита |
Модель міркування, також мовні моделі міркування (англ. reasoning language models, RLMs) або великі моделі міркування (англ. large reasoning models, LRMs), — це тип великої мовної моделі (large language model, LLM), спеціально навченої для розв'язання складних задач, що потребують кількох кроків логічного міркування[1]. Демонструють кращу продуктивність у логічних, математичних та тих, що стосуються програмування, завданнях порівняно зі стандартними LLM. Мають здатність здійснювати пошук з вертанням попередніх кроків міркування та використовувати додаткові обчислення під час виведення методом нейронного масштабування[en], доповнюючи традиційні підходи до масштабування, засновані на розмірі даних, параметрах моделі та чисельних методах[2].
На відміну від традиційних мовних моделей, які генерують відповіді миттєво, мовні моделі міркування виділяють додатковий час на обчислення, або обдумування, перш ніж створити відповідь для розв'язання багатоетапних задач. OpenAI використала цю термінологію у вересні 2024 року, коли випустила серію o1, описавши моделі як розроблені для того, щоб «витрачати більше часу на обдумування» перед відповіддю. Компанія представила o1 як перезавантаження у світі моделей, спрямоване на складні завдання в науці, кодуванні та математиці, і порівняла продуктивність o1 з GPT-4o в таких бенчмарках, як AIME[en] та Codeforces. Незалежні звіти того ж тижня підсумували запуск і підтвердили твердження OpenAI про те, що o1 автоматизує міркування в стилі інженерії запитів для досягнення значних переваг на складних тестах[3][4][5].
Під час роботи мовні моделі міркувань генерують внутрішні ланцюжки проміжних кроків, а потім вибирають та уточнюють остаточну відповідь. OpenAI повідомила, що точність o1 покращується, оскільки моделі надається більше можливостей навчання з підкріпленням та більше обчислень під час тестування висновків. Спочатку компанія вирішила приховати необроблені ланцюжки та натомість повернути написаний моделлю зведений виклад, заявивши, що вона «вирішила не показувати» основні думки, щоб дослідники могли контролювати їх, не розкриваючи неузгоджений контент кінцевим користувачам. Комерційне розгортання документує окремі токени міркувань, які вимірюють приховане мислення, та контроль зусиль міркувань, який налаштовує обсяг обчислень, що використовується моделлю. Ці функції роблять моделі повільнішими, ніж звичайні LLM, водночас забезпечуючи кращу продуктивність у складних задачах[4][6].
Дослідження мовних моделей міркувань поєднувало досягнення в керованому навчанні, інженерії запитів та логічних висновках на основі дерева пошуку.
Ранні дослідження навчання з підкріпленням людським зворотним зв'язком показали, що моделі можна точно налаштувати для виконання інструкцій за допомогою людського зворотного зв'язку та нагород на основі уподобань[7][8]. У 2022 році науковці дослідницького центру Google Research Джейсон Вей та Денні Чжоу показали, що інженерія запитів «значно покращує здатність» великих моделей виконувати складні задачі міркування[9].
Супутній результат продемонстрував, що проста інструкція «Нумо міркувати крок за кроком» може викликати нульовий результат міркування[10]. Подальша робота представила декодування самоузгодженості, яке «підвищує продуктивність» ланцюжка міркувань шляхом вибірки різних шляхів розв'язання та вибору консенсусу, а також методи з доповненням до інструментів, такі як ReAct, поєднання Reason та Act, які спонукають моделі «генерувати як сліди міркувань», так і дії[11][12]. Дослідження також узагальнило ланцюжок міркувань на пошук за кількома планами-кандидатами. Структура дерево міркувань від вченого у галузі комп'ютерних наук Шунью Яо (Принстонський університет, США) пропонує, щоб моделі «виконували навмисне прийняття рішень» шляхом дослідження та повернення назад по дереву проміжних міркувань[13].
Заявлений прорив OpenAI зосереджувався на контролі процесів міркування, а не лише результатів, причому у статті Лайтмана та ін. Перевірмо крок за кроком (Let's Verify Step by Step) повідомляється, що винагорода за кожен правильний крок «значно перевершує контроль результатів» у складних математичних задачах і покращує інтерпретованість, узгоджуючи ланцюжок міркувань з людським судженням[14][15]. Оголошення OpenAI o1 пов'язує вище сказане з великомасштабним алгоритмом навчання з підкріпленням, який навчає модель удосконалювати власний ланцюжок міркувань, при цьому точність зростає зі збільшенням обчислень для навчання та більшою кількістю часу, витраченого на обдумування висновків[4].
Разом ці розробки визначають основу моделей міркування. Вони використовують сигнали контролю, що оцінюють якість проміжних кроків, застосовують дослідження з часом виведення, такі як консенсус або обхід дерева, і вирішують, скільки обчислень для внутрішнього мислення потрібно виконати. Сімейство OpenAI o1 зробило цей підхід доступним у великих масштабах у вересні 2024 року та популяризувало термін «модель міркування» для LLM, які свідомо думають, перш ніж відповідати[3][6].
Розробка моделей міркувань ілюструє гіркий урок Річарда Саттона про те, що масштабування обчислень зазвичай перевершує методи, засновані на людських ідеях[16]. Цей принцип був продемонстрований дослідниками з Лабораторії генеративного штучного інтелекту (GAIR), які спочатку намагалися відтворити можливості o1 за допомогою складних методів, включаючи пошук по деревах та навчання з підкріпленням, наприкінці 2024 року. Їхні висновки, опубліковані в дослідженні o1 Replication Journey, показали, що дистиляція знань, порівняно простий метод, який навчає меншу модель імітувати результати o1, дала несподівано високу продуктивність. Результат проілюстрував, як прямі підходи до масштабування можуть часом перевершувати складніші інженерні рішення[16][17].
Моделі міркування потребують значно більше обчислювальних ресурсів під час логічного висновку порівняно з моделями без міркувань. Дослідження American Invitational Mathematics Examination (AIME) показало, що моделі міркувань були в 10-74 рази дорожчими в експлуатації, ніж їхні аналоги без міркувань[18]. Подовжений час логічного висновку пояснюється детальними, покроковими результатами міркувань, які генерують ці моделі, і які зазвичай набагато довші, ніж відповіді стандартних великих мовних моделей, що надають прямі відповіді, не показуючи процес міркування.
Один дослідник на початку 2025 року стверджував, що ці моделі можуть зіткнутися з потенційними додатковими проблемами відмови в обслуговуванні через «атаки надмірного обдумування»[1].
У вересні 2024 року OpenAI випустила OpenAI o1, велику мовну модель з розширеними можливостями міркування[1]. Повна версія o1 була випущена в грудні 2024 року. OpenAI спочатку опублікував елементи своєї наступної моделі OpenAI o3 у грудні 2024 року[16][16][1], а повна модель o3 стала доступною у 2025 році[19].
Alibaba Group випустила версії своїх великих мовних моделей Qwen у листопаді 2024 року[1]. У грудні 2024 року компанія представила QvQ-72B-Preview, експериментальну модель візуального мислення[16].
У грудні 2024 року Google випустила мовну модель Gemini у Gemini (чат-бот), призначену для проведення багатоетапних досліджень[1][16].
16 грудня 2024 року дослідники продемонстрували, що завдяки масштабуванню обчислень під час тестування відносно невелика модель LLaMA 3B може перевершити набагато більшу модель LLaMA 70B у складних міркуваннях. Експеримент показав, що вдосконалені стратегії логічного висновку можуть розкрити можливості міркування навіть у менших моделях[1][20].
У січні 2025 року DeepSeek випустила R1, модель міркування, яка досягла продуктивності, порівнянної з o1 від OpenAI, за значно менших обчислювальних витрат. Реліз продемонстрував ефективність оптимізації групової відносної політики (Group Relative Policy Optimization, GRPO), методу навчання з підкріпленням, який використовується для навчання моделі[1][21].
25 січня 2025 року DeepSeek розширив R1 можливостями вебпошуку, що дозволило моделі отримувати інформацію з Інтернету під час виконання міркування[1].
Дослідження, проведені протягом цього періоду, додатково підтвердили ефективність дистиляції знань (перенесення знань з великої моделі до меншої) для створення моделей міркування. Модель s1-32B досягла високих результатів завдяки методам бюджетних обмежень та масштабування, що підтверджує висновки про те, що простіші підходи до навчання можуть бути дуже ефективними для розвитку навичок міркування[22][17].
2 лютого 2025 року OpenAI випустила Deep Research, агент штучного інтелекту, що працює на їхній моделі o3, який дозволяє користувачам проводити комплексні дослідження[23]. Система генерує детальні звіти, автоматично збираючи та синтезуючи інформацію з кількох вебджерел[23].
Моделі міркування дотримуються знайомого великомасштабного попереднього навчання, що використовується для моделей пограничних мов, а потім розходяться в постнавчанні та оптимізації. OpenAI повідомляє, що o1 навчається за допомогою великомасштабного алгоритму навчання з підкріпленням (RL), який навчає модель використовувати та вдосконалювати формулювання запитів перед відповіддю. Компанія наголошує на двох пов'язаних важелях, більшому навчанні з підкріпленням під час навчання та більшому часі, витраченому на роздуми над висновками, і документує плавний приріст в міру кожного збільшення. OpenAI також заявляє, що вирішила не показувати кінцевим користувачам сирі ланцюжки, а натомість повертає написаний моделлю зведений опис, вибір продукту, пов'язаний з моніторингом безпеки та конкурентними проблемами[4].
Центральним складником є контроль процесу, який супроводжує проміжні кроки, а не лише остаточну відповідь. Дослідження OpenAI представило модель винагороди за процес, навчений на покрокових мітках, і виявило, що контроль процесу значно перевершує контроль лише за результатами для складних математичних задач. Проєкт також опублікував набір даних зворотного зв'язку на покроковому рівні PRM800K і стверджував, що винагороди на рівні процесу покращують інтерпретованість, оскільки люди можуть перевіряти кожен крок. Ці результати дали практичний рецепт контролю інженерії запитів, який пізніше був масштабований у навчанні[15].
Це навчання суттєво відрізняється від традиційних моделей, які не орієнтовані на міркування. Стандартні системи попередньо навчаються в інтернеті з метою прогнозування наступного токена, а потім узгоджуються за допомогою великих мовних моделей та оптимізації уподобань. Канонічний підхід GPT-3 спочатку використовує тонке настроювання на людських демонстраціях, потім навчає модель винагороди на основі парних уподобань і, нарешті, оптимізує політику за допомогою навчання з підкріпленням, зазвичай проксимальної оптимізаційної політики з розходженням Кульбака –Лейбнера[8][24]. Варіанти, такі як навчання з підкріпленням людським зворотним зв'язком, видаляють явний крок RL та оптимізують модель безпосередньо на даних уподобань, але метою контролю все ще є кінцевий результат, який оцінюють оцінювачі, а не якість внутрішніх кроків[25]. Технічні звіти для GPT-4 підсумовують цей традиційний конвеєр як попереднє навчання наступного токена, а потім подальше навчання в стилі навчання з підкріпленням людським зворотним зв'язком (Reinforcement learning from human feedback, RLHF) для формування поведінки[26].
На відміну від цього, моделі міркування оптимізовані для створення, критики та перегляду багатокрокових ланцюгів під час навчання. OpenAI стверджує, що навчання з підкріпленням застосовується до самого ланцюга, і це навчає модель розпізнавати помилки, розбивати проблеми на простіші кроки та змінювати стратегії, коли поточний підхід не спрацьовує. OpenAI також документує, що він приховує ланцюги під час висновку та повертає відповідь, яка підсумовує корисні ідеї з внутрішньої траси. Ці варіанти дизайну відображають мету навчання моделі та її цільовий моніторинг[4].
Зелікман та ін. представили STaR (Self-Taught Reasoner), який досліджував бутстрепінг-логіку обґрунтувань шляхом генерування та фільтрації ланцюжків, а потім точного налаштування цих траєкторій. Вони повідомили про переваги порівняно з точним налаштуванням лише результатів. Ці методи забезпечили додаткові механізми для створення навчальних сигналів, які впливають на проміжні міркування, а не лише на остаточні відповіді[27].
DeepSeek повідомив про системи R1 та R1-Zero, навчені за допомогою чистої RL для викликання довгих ланцюгів, самоперевірки та рефлексії, стверджуючи, що явні винагороди на рівні ланцюга можуть стимулювати загальну поведінку міркувань. Ці результати вказують на те, що постнавчання, зосереджене на якості ланцюга, стало окремим режимом, відокремленим від узгодження лише на результат[28].
Велика мовна модель (LLM) може бути точно налаштована на наборах даних задач міркування, поєднаних з покроковими трасами розв'язків. Тонко налаштована модель навчається створювати власні ланцюжки міркування для нових задач[29][30].
Оскільки збір слідів, написаних людиною, є дорогим, дослідники використовують метод точного налаштування вибірки відхилення (rejection sampling fine-tuning, RFT) для автоматичного створення наборів даних. Цей метод генерує кілька слідів міркувань для кожного запиту, а потім фільтрує сліди з неправильними остаточними відповідями за допомогою верифікатора[1].
Попередньо навчену мовну модель можна додатково навчити за допомогою навчання з підкріпленням (Reinforcement learning, RL). У формалізмі RL генеративна мовна модель — це політика . Запит-завдання — це стан середовища , а реакцією моделі є дія . Ймовірність, що модель у стані зреагує з дією є .
Навчання мовної моделі міркування за допомогою RL означає побудову моделі винагороди для керування процесом навчання. Інтуїтивно, винагорода показує, наскільки прийнятною є відповідь на запит. Для завдання на міркування винагорода висока, якщо відповідь є розв'язком задачі, і низька, якщо ні.
Відповідь можна розбити на кілька кроків, написаних .
Більшість новітніх систем використовують методи градієнта політик, такі як проксимальна оптимізація політик (Proximal Policy Optimization, PPO), оскільки PPO обмежує кожне оновлення політики обмеженою метою, що стабілізує навчання для дуже великих політик[31].
Модель винагороди за результат, або модель управління результатами з наглядом за результатами (outcome-supervised RM, ORM)[29], надає винагороду за крок на основі остаточної відповіді: . Такі моделі часто називають «верифікаторами».
Для завдань з відповідями, які легко перевірити, таких як математичні текстові задачі, винагорода за результат може бути двійковою: 1, якщо остаточна відповідь правильна, 0 в іншому випадку[29]. Якщо автоматична перевірка складна, люди можуть позначати відповіді як правильні чи неправильні, і ці мітки можна використовувати для точного налаштування базової моделі, яка передбачає людську мітку[30]. Для таких задач, як творче письмо, де якість не є просто істинною чи хибною, можна навчити модель винагороди на даних про ранжовані вподобання людей, як у навчанні з підкріпленням людським зворотним зв'язком[18]. Базову модель також можна точно налаштувати для прогнозування на основі часткового сліду мислення , чи буде остаточна відповідь правильною, і це передбачення може слугувати двійковою винагородою[29].
ORM зазвичай навчається за допомогою логістичної регресії, тобто шляхом мінімізації втрат перехресної ентропії[32].
Модель винагороди за результат можна побудувати шляхом множення загальної винагороди процесу протягом трасування міркувань[18], шляхом взяття мінімуму[32] або іншими способами агрегування винагород процесу. DeepSeek використовував просту ORM для навчання моделі R1[21].
Модель винагороди за процес, або модель винагороди з керуванням процесом (process reward model, PRM)[29], надає винагороду за крок лише на основі виконаних досі кроків: .
Враховуючи частковий слід мислення , людина може оцінити, чи правильні попередні кроки, не дивлячись на остаточну відповідь. Це дає двійкову винагороду. Оскільки людські мітки є дорогими, базову модель можна точно налаштувати для їх прогнозування[29]. PRM зазвичай навчається за допомогою логістичної регресії на людських мітках, тобто шляхом мінімізації втрат перехресної ентропії між справжніми та передбачуваними мітками[32].
Наприклад, у статті OpenAI 2023 року було зібрано 800 тисяч міток процесів для 75 тисяч траєкторій мислення. Маркувальник бачив траєкторію та позначав кожен крок як «позитивний», якщо він рухався до розв'язку, «нейтральний», якщо він не був помилковим, але і не допомагав, та «негативний», якщо це була помилка. Після першої «негативної» мітки маркувальник зупинявся на цій траєкторії та переходив до іншої. Автори стверджували, що позначення до першої помилки було достатньо для навчання здатної PRM, навіть якщо позначення наступних кроків могло дати більш насичені сигнали[18][1].
Також можна використовувати ORM для неявної побудови PRM, подібно до навчання з підкріпленням людським зворотним зв'язком[1].
Навчена ORM може бути використана для вибору найкращої відповіді. Політика генерує кілька відповідей, і ORM вибирає найкращу. Це реалізує просту форму масштабування обчислень під час тестування («найкраще з N»)[30][1].
Навчена PRM може керувати міркуваннями за допомогою жадібного алгоритму обхід дерева: політика пропонує кілька наступних кроків, PRM вибирає один, і процес повторюється. Це відображає використання ORM для вибору кінцевої відповіді[1]. Променевий пошук працює краще, ніж жадібний пошук.
Пошук попереду – це ще один метод пошуку по дереву. Політика пропонує кілька наступних кроків, а потім робить коротке розгортання для кожного з них. Якщо під час розгортання знайдено розв'язок, пошук зупиняється раніше, інакше PRM оцінює кожне розгортання, і вибирається крок з найвищим балом[20].
Самоузгодженість можна поєднувати з ORM. Модель генерує кілька відповідей, і відповіді кластеруються таким чином, що кожен кластер має однакову кінцеву відповідь. ORM оцінює кожну відповідь, бали в кожному кластері підсумовуються, і повертається відповідь з кластера з найвищим балом[32].
Моделі міркування зазвичай досягають вищих балів, ніж моделі без міркувань, за багатьма критеріями, особливо у завданнях, що потребують багатоетапного міркування[1][16][16][1][1][16][16].
Тест Останній іспит людства (англ. Humanity's Last Exam, HLE) оцінює міркування експертного рівня в математиці, гуманітарних та природничих науках, виявляючи значні розбіжності в продуктивності між моделями. Сучасні моделі міркування досягають відносно низьких балів за HLE, що вказує на значний простір для покращення. Наприклад, повна модель міркування o3 досягла 26,6 %[23], тоді як легша o3-mini-high (у питаннях лише з текстом) досягла 13 %[1].
На American Invitational Mathematics Examination (AIME), складному математичному тесті, моделі без міркувань зазвичай розв'язують менше ніж 30 % задач. Натомість моделі, що використовують методи міркування, досягають рівня успіху від 50 % до 80 %[2][21][22]. Хоча OpenAI o1 зберіг або дещо покращив свою точність порівняно з результатами AIME 2025 року, о3-mini-high досяг точності 80 % за значно нижчої вартості, приблизно в 12 разів дешевше[33].
Деякі незалежні або менш відомі бенчмарки виключають моделі міркування через їх довший час відгуку та вищі витрати на виведення, включаючи бенчмарки для онлайн-виявлення складних подій у кіберфізичних системах, загальну оцінку обчислень з часом виведення, інженерні завдання Verilog та оцінки безпеки мережі[1][16][16][1].
| Компанія | Модель | Дата випуску |
|---|---|---|
| OpenAI | GPT-5 (o3.1) | Серпень 2025 року |
| o3 та o4-міні | Квітень 2025 року | |
| o3-міні | Січень 2025 року | |
| о1 | Грудень 2024 року | |
| o1-preview | Вересень 2024 року | |
| Google Gemini | 3 Flash | Грудень 2025 року |
| 3 Pro | Листопад 2025 року | |
| 2.5 Computer Use | Жовтень 2025 року | |
| 2.5 Flash | Квітень 2025 року | |
| 2.5 Pro | Березень 2025 року | |
| 2.0 Flash Thinking | Грудень 2024 року | |
| DeepSeek | V3.2-Exp | Вересень 2025 року |
| V3.1 | Серпень 2025 року | |
| R1-0528 | Травень 2025 року | |
| V3-0324 | Березень 2025 року | |
| R1 та R1-Lite-Preview | Січень 2025 року | |
| Alibaba Group | QwQ-32B | Березень 2025 року |
| QvQ-72B-Preview | Грудень 2024 року | |
| QwQ-32B-Preview | Листопад 2024 року | |
| Anthropic | Claude Haiku 4.5 | Жовтень 2025 року |
| Claude Sonnet 4.5 | Вересень 2025 року | |
| Claude Sonnet 3.7 | Лютий 2025 року | |
| Mistral AI | Magistral Medium / Small | Червень 2025 року |
| xAI | Grok 4 | Липень 2025 року |
| Grok 3 | Лютий 2025 року | |
| Hugging Face | OlympicCoder-7B & 32B | Лютий 2025 року |
| NVIDIA | LLaMA Nemotron | Березень 2025 року |
| Tencent | Hunyuan T1 | Березень 2025 року |
| Moonshot AI | Kimi K2 Thinking | Листопад 2025 року |
- 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Besta, Maciej; Barth, Julia (23 січня 2025). Reasoning Language Models: A Blueprint. arXiv:2501.11223 [cs.CL].
- 1 2 Learning to reason with LLMs. OpenAI. 12 вересня 2024. Процитовано 26 липня 2025.
- 1 2 Introducing OpenAI o1-preview (англ.), OpenAI, 12 вересня 2024
- 1 2 3 4 5 Learning to reason with LLMs (англ.), OpenAI, 12 вересня 2024
- ↑ OpenAI launches new series of AI models with reasoning abilities (англ.), Reuters, 12 вересня 2024
- 1 2 Azure OpenAI reasoning models (англ.), Microsoft Learn, 11 жовтня 2025
- ↑ Christiano, Paul; Leike, Jan (2017). Deep reinforcement learning from human preferences (англ.). arXiv:1706.03741 [stat.ML].
- 1 2 Ouyang, Long; Wu, Jeff (2022). Training language models to follow instructions with human feedback (англ.). arXiv:2203.02155 [cs.CL].
- ↑ Wei, Jason; Wang, Xuezhi (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903 [cs.CL].
- ↑ Kojima, Takeshi; Gu, Shixiang (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916 [cs.CL].
- ↑ Wang, Xuezhi; Wei, Jason (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171 [cs.CL].
- ↑ Yao, Shunyu; Zhao, Jeffrey (2022). ReAct: Synergizing Reasoning and Acting in Language Models (англ.). arXiv:2210.03629 [cs.CL].
- ↑ Yao, Shunyu; Yu, Dian (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601 [cs.CL].
- ↑ Lightman, Hunter; Kosaraju, Vineet (2023). Let's Verify Step by Step. arXiv:2305.20050 [cs.LG].
- 1 2 Improving mathematical reasoning with process supervision (англ.), OpenAI, 31 травня 2023
- 1 2 3 4 5 6 7 8 9 10 11 12 Besta, Maciej; Barth, Julia (23 січня 2025). Reasoning Language Models: A Blueprint. arXiv:2501.11223 [cs.CL].
- 1 2 Zeff, Maxwell (5 лютого 2025). Researchers created an open rival to OpenAI's o1 'reasoning' model for under $50. TechCrunch. Процитовано 26 липня 2025.
- 1 2 3 4 Lightman, Hunter; Kosaraju, Vineet; Burda, Yura; Edwards, Harri; Baker, Bowen; Lee, Teddy; Leike, Jan; Schulman, John; Sutskever, Ilya (2024). Let's Verify Step by Step. International Conference on Learning Representations (ICLR 2024). arXiv:2305.20050. Процитовано 26 липня 2025.
- ↑ Introducing OpenAI o3 and o4-mini. OpenAI. 16 квітня 2025. Процитовано 26 липня 2025.
- 1 2 Snell, Charlie; Lee, Jaehoon; Xu, Kelvin; Kumar, Aviral (2025). Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. International Conference on Learning Representations (ICLR 2025). arXiv:2408.03314. Процитовано 26 липня 2025.
- 1 2 3 DeepSeek-AI; Guo, Daya (22 січня 2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 [cs.CL].
- 1 2 Muennighoff, Niklas; Yang, Zitong (3 лютого 2025). s1: Simple test-time scaling. arXiv:2501.19393 [cs.CL].
- 1 2 3 Introducing deep research. OpenAI (амер.). 2 лютого 2025. Процитовано 5 лютого 2025.
- ↑ Ziegler, Daniel M.; Stiennon, Nisan (2019). Fine-Tuning Language Models from Human Preferences. arXiv:1909.08593 [cs.CL].
- ↑ Rafailov, Rafael; Sharma, Kushal (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model (англ.). arXiv:2305.18290 [cs.LG].
- ↑ Achiam, Josh; Adler, Steven (2023). GPT-4 Technical Report (англ.). arXiv:2303.08774 [cs.CL].
- ↑ Zelikman, Eric; Wu, Yuhuai (2022). STaR: Bootstrapping Reasoning With Reasoning. arXiv:2203.14465 [cs.LG].
- ↑ Guo, Dan (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 [cs.CL].
- 1 2 3 4 5 6 Uesato, Jonathan; Kushman, Nate (25 листопада 2022). Solving math word problems with process- and outcome-based feedback. arXiv:2211.14275 [cs.LG].
- 1 2 3 Cobbe, Karl; Kosaraju, Vineet (18 листопада 2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168 [cs.LG].
- ↑ Aligning language models to follow instructions. OpenAI Blog. 27 січня 2022. Процитовано 4 травня 2025.
- 1 2 3 4 Wang, Peiyi; Li, Lei; Shao, Zhihong; Xu, Runxin; Dai, Damai; Li, Yifei; Chen, Deli; Wu, Yu; Sui, Zhifang (Серпень 2024). Ku, Lun-Wei; Martins, Andre; Srikumar, Vivek (ред.). Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Bangkok, Thailand: Association for Computational Linguistics: 9426—9439. arXiv:2312.08935. doi:10.18653/v1/2024.acl-long.510.
- ↑ OpenAI o3-mini. OpenAI (амер.). 31 січня 2025. Процитовано 9 лютого 2025.
- Fortes, Armando (27 січня 2025). atfortes/Awesome-LLM-Reasoning. GitHub. Процитовано 27 січня 2025.
- Huang, Jie; Chang, Kevin Chen-Chuan (26 травня 2023). Towards Reasoning in Large Language Models: A Survey. arXiv:2212.10403 [cs.CL].
- Besta, Maciej; Barth, Julia (23 січня 2025). Reasoning Language Models: A Blueprint. arXiv:2501.11223 [cs.AI].