Чи сповільнюється розвиток ШІ? Дебати щодо масштабування, яких OpenAI не хоче мати

Я думаю, що OpenAI не чесний щодо зменшення віддачі від масштабування штучного інтелекту лише за допомогою даних і обчислень. Я вважаю, що вони також ставлять під загрозу економіку, світ і всю цю галузь, не кажучи більш відкрито на цю тему.

Спочатку я повірив тому, що вони нам сказали, що все, що вам потрібно зробити, це додати більше обчислювальної потужності та більше даних, і LLM, а також інші моделі просто стануть кращими. Щоб цей зв’язок між моделями, їхніми обчисленнями та даними міг зростати лінійно до кінця часів. Стрибок від GPT-3 і GPT-3.5 був величезним. Перехід від GPT-3.5 до GPT-4 здавався явним доказом того, що це припущення було правильним. Але потім сталося дивно.

Замість випуску моделі під назвою GPT-5 або навіть GPT-4.5 вони випустили GPT-4-turbo. GPT-4-turbo не такий інтелектуальний, як GPT-4, але він набагато швидший і дешевший. Це все має сенс. Але потім ця тенденція збереглася.

Після GPT-4-turbo наступним випуском OpenAI став GPT-4o (суниця). GPt-4o більш-менш такий же інтелектуальний, як GPT-4-turbo, але він навіть швидший і навіть дешевший. Однак функціональність, яка нас справді продала, — це здатність говорити й розуміти речі через аудіо та швидкість. Однак зауважте, що на цьому етапі нашої історії GPT-4-turbo не розумніший за GPT-4, а GPT-4o не розумніший за GPT-4-turbo. І ніхто з них не розумніший за GPT-4.

Їх наступним і останнім випуском був GPT-o1. У деяких завданнях GPT-o1 може працювати краще, ніж GPT-4. Але це тому, що o1 насправді не єдина модель. GPT-o1 насправді є чорною скринькою кількох легких моделей LLM, що працюють разом. Можливо, o1 навіть краще описати як програмне забезпечення або проміжне програмне забезпечення, ніж як реальну модель. Ви ставите йому запитання, він придумує відповідь, а потім постійно використовує інші моделі, яким доручено перевірити відповідь, щоб переконатися, що вона правильна, і він маскує всі ці операції. Він робить все це дуже, дуже швидко.

Чому б просто не створити LLM, потужніший за GPT-4? Навіщо вдаватися до таких методів маски й кинджала, щоб досягти нових релізів? GPT-4 вийшов 2 роки тому, зараз ми повинні вийти за межі його можливостей. Що ж, Ноам Браун, дослідник OpenAI, мав щось сказати про те, чому вони пішли таким шляхом з o1 на TED AI. Він сказав: «Виявилося, що якщо бот думає лише 20 секунд у покерній роздачі, то продуктивність досягається так само, як збільшення моделі в 100 000 разів і її навчання в 100 000 разів довше»,

А тепер зупиніться і по-справжньому подумайте про те, що там сказано. Бот, який думає протягом 20 секунд, такий же хороший, як і бот, тренований у 100 000 разів довше з обчислювальною потужністю в 100 000 разів. Якщо закони масштабування нескінченні, то така математика неможлива. Тут або щось не так, або хтось бреше.

Чому все це має значення? OpenAI коштує 150 мільярдів доларів, і більша частина цієї ринкової капіталізації базується на прогнозах, які залежать від удосконалення моделей з часом. Якщо штучний інтелект такий хороший, як сьогодні, це все ще цікаве майбутнє, але це не те, що продають інвесторам компанії штучного інтелекту, чия вся ІВ є їхньою моделлю. Це також змінює дорожню карту багатьох інших компаній, які залежать від постійного розвитку своїх LLM для створення власних продуктів. Мета OpenAI і амбіції AGI серйозно відкладені, якщо все це правда.

Гіпотеза

Причина, по якій LLM такі дивовижні, полягає у філософському феномені вищого рівня, який ми ніколи не розглядали, а саме тому, що мова за своєю суттю містить надзвичайно велику кількість контексту та даних про світ навіть у невеликих частинах тексту. На відміну від пікселів у зображенні чи відео, слова в реченні неявно описують одне одного. Повністю зв’язне речення за визначенням є «раціональним». Правда це чи ні – це зовсім інша історія та проблема, яка виходить за межі мови. Незалежно від того, скільки тексту ви споживаєте, «правда» і «неправда» — це не просто лінгвістичні поняття. Ви можете сказати, що щось цілком раціональне, але ні в якому разі не «правдиве». Саме в цей момент LLM постійно вдаряються об цегляну стіну. За останні 12 місяців я хотів би офіційно припустити, що за зачиненими дверима не відбулося великих стрибків у LLM в OpenAI, GrokAI або в Google. Якщо бути конкретнішим, я не думаю, що хтось і десь створив будь-який LLM, який навіть у 1,5 рази кращий за GPT-4.

У OpenAI здається, що високопоставлений персонал звільняється. Прямо зараз вони кажуть, що це через безпеку, але я збираюся зараз одягнути свій фольгований капелюх і викинути ідею. Вони усвідомлюють цю проблему та покидають корабель, поки не пізно.

Підтвердження

Я почав обговорювати цю проблему з друзями 3 місяці тому. Мене називали багато імен, ха-ха.

Але за останні 3 тижні багато преси почули щось неприємне:

• OpenAI більше не випускає Orion (GPT-5), оскільки він не відповідає очікуваним показникам продуктивності, і віддача від нього зменшується. ( https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows )

  
  

• Bloomberg повідомляє, що OpenAI, Google і Anthropic мають проблеми зі створенням більш просунутого ШІ. ( https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai )
  

Що ми можемо з цим зробити?

Важко рекомендувати одне рішення. Технологія o1 є доказом того, що навіть малопродуктивні моделі можна перепрофілювати для виконання складних операцій. Але це не вирішення проблеми масштабування ШІ. Я вважаю, що потрібні значні інвестиції та швидке тестування архітектур нових моделей. У нас також вичерпалися дані, і нам потрібні нові способи екстраполяції придатних даних для навчання магістрів права. Можливо, використовуючи багатовимірне маркування, яке допоможе напряму спрямовувати посилання на правдиву інформацію. Іншою гарною ідеєю може бути просто продовження тонкого налаштування LLM для конкретних випадків використання, таких як математика, наука та охорона здоров’я, запуск і використання робочих процесів агентів ШІ, подібних до o1. Це може дати багатьом компаніям простір для ворушінь, доки не з’явиться нова архітектура. Ця проблема справді погана, але я думаю, що креативність у машинному навчанні та розробці програмного забезпечення, яку вона надихне, буде величезною. Щойно ми подолаємо цю перешкоду, ми, безперечно, будемо чітко виконувати розклад для AGI та, можливо, ASI.