Що далі для ШІ: інтерпретація бачення генерального директора Anthropic

Нещодавно Лекс Фрідман випустив п’ятигодинний подкаст з Даріо Амодей, Амандою Аскелл і Крісом Олахом з Anthropic AI.

Після публікації своєї досить розлогої статті про бачення розвитку штучного інтелекту «Machines of Loving Grace» Даріо розширив її, оскільки, так само, це було головною темою його розмови з Лексом з іншими членами Anthropic, які розширювали ці теми.

Для тих, хто менш розумний, ніж я, я подумав, що було б добре узагальнити ключові ідеї, якими мала поділитися ця провідна команда штучного інтелекту. З моменту випуску Claude 3.5 Sonnet (New) цієї осені стало зрозуміло, що прогрес Anthropic у LLM є рівним досягненню openAI з їх моделлю попереднього перегляду o1. Вони є одними з лідерів у цій гонці штучного інтелекту, що дає їм хороший авторитет у цій темі.

Окрім повторення того, що було сказано командою Anthropic, я хотів би також пофантазувати про те, що означає кожен пункт для майбутнього практичного застосування штучного інтелекту через 1 рік і через 5 років як два важливі терміни. Я очікую, що помилюся зі своїми прогнозами (в грі забагато факторів), але я вважаю, що це весела розумова гімнастика — виконувати й дивитися на цей текст, коли ми все-таки з’являємося в тому «фактичному майбутньому» з точки зору часу.

1. Ми не знаємо, коли ефект збільшення досягне плато, але ПОКИ що НІ

   Одним із ключових висновків для мене був його погляд на майбутні наслідки продовження шляху гіпотези масштабування (ідея про те, що використання більшої кількості кращих даних із більш продуктивними обчисленнями відповідно зробить моделі розумнішими). Схоже, Даріо натякає, що просто використання всіх старих методів і додавання додаткових даних може бути не дуже ефективним для отримання значного прискорення ШІ. Основна увага лабораторій ШІ зараз полягає в тому, щоб зрозуміти, яку частину потрібно масштабувати.

   
   

   Деякі з багатообіцяючих напрямків, на його думку, — це генерація синтетичних даних (застосування підходу AlphaGo до навчання методом проб і помилок для складних завдань) або додавання більшої кількості закритих даних , тобто. надавши моделям приклади хороших і поганих відповідей для конкретних областей, щоб вони зрозуміли загальні правила та трохи краще їх застосовували.

   
   

   • 2025 — підхід до самонавчання AlphaGo AI стане більш поширеним, і моделі перевершать людські можливості в додаткових складних вправах, які мають майже миттєвий цикл зворотного зв’язку (можливо, торгівля)

   • 2030 рік — підхід до самонавчання AlphaGo можна було б узагальнити в моделях, щоб вони самовдосконалювалися у складних практичних завданнях, коли їм було надано достатньо часу для виконання завдання.

     
     

     2. Підхід до безпеки ШІ розвиватиметься разом із розробкою моделі

   
   

   

Автономія та неправильне використання становлять найбільші ризики.

Даріо стверджує, що його команда тестує обидва ризики кожного разу, коли вони навчають нову модель, щоб вони могли створити запобігання перед її випуском.

ASL-1 (як шаховий бот) - не становить ризику

ASL-2 (поточні моделі штучного інтелекту) – не надає багато ризикованої інформації, крім того, що можна просто погуглити.

ASL-3 (може збільшити можливості зловмисників) — перед тим, як можна буде випустити моделі, необхідно серйозно послабити підтримку кібер-, ядерної та біологічної зброї через ці системи.

ASL-4+ (Smarter than ASL-3 + autonomous) - поки що не зрозуміло, як ними керуватимуться, вони будуть зняті з ризику лише тоді, коли будуть ознаки такої моделі після навчання.

• 2025 - Даріо очікує ASL-3 наступного року. Я вважаю, що люди зловживатимуть цими системами, незважаючи на огорожі, оскільки неможливо буде виявити всі помилки до випуску (нові шахрайства чи програмні віруси).

• 2030 рік – численні та потужні роботизовані програми штучного інтелекту, наприклад, роботи Tesla Optimus , штучний інтелект буде одночасно втілений і набагато розумніший за звичайну людину в певних сферах. Може бути важко повністю запобігти неправильному використанню таких складних систем, особливо у випадках, коли вони виконують повсякденні завдання для злочинців.

  
  

  3. AGI (або словами Даріо « потужний ШІ ») може з’явитися до 2027 року

  
  

  Він неодноразово повторює, що розумний штучний інтелект буде залежати від домену і що блокувальники розробки штучного інтелекту, здається, постійно припиняються. Логічно, якщо правильно використовувати створений людьми контент, здатність людей мислити зрештою повинна бути відтворена ШІ. За аналогією з комп’ютерами для гри в шахи та AlphaGo зрозуміло, що в конкретних завданнях ШІ може перевершити людські здібності, і чим краще задокументована та жорстка ця область, тим вищою має бути продуктивність. Отже, найгіршим сценарієм можливого AGI є штучний інтелект на людському рівні, який має чудові можливості в певних сферах, де ми змогли максимально вдосконалити його навчання.

  
  

  Подібним чином фактичне застосування ШІ залежатиме від того, наскільки далека конкретна галузь від розробників ШІ. Очевидно, що їм легше тестувати та адаптувати нові моделі для написання коду, ніж ефективно використовувати ці моделі в сільськогосподарському середовищі. За цією логікою, ІТ/кодування, наука, великий міський бізнес і лише потім інші частини економіки мають відчути вплив штучного інтелекту в такому порядку.

  
  

  • 2025 — ми почнемо спостерігати більш вражаючі/автономні застосування штучного інтелекту, особливо в кодуванні, де нетехнічні менеджери продуктів можуть виконувати проекти на основі коду, не звертаючись за допомогою до програміста.

  • 2030 рік – кожен бізнес так чи інакше інтегруватиме штучний інтелект у свій робочий потік, передові моделі допомогли б численним науковим відкриттям у таких галузях, як біологія, фізика та математика.

    
    

  4. Механістична інтерпретація стає більш важливою для розробки когерентної моделі

  
  

  Моделі розвиваються досить швидко, але залишаються чорним ящиком, незрозуміло, чому вони працюють добре, а чому погано.

  Часто це означає, що внесення змін/масштабування таких моделей призводить до галюцинацій, непередбачуваних дій або непередбачуваних дій , які в ідеалі розробники хотіли б зрозуміти заздалегідь, щоб контролювати вдосконалення моделі.

  
  

  

  
  

  Anthropic докладає зусиль, щоб описати, що насправді відбувається всередині «розуму» їхньої моделі Клода. Цей підхід, теоретично, повинен пояснити, чому Клод викидає певні відповіді та як різні методи навчання допомагають змінювати шаблони, які генеруються в цій нейронній мережі. Крім того, це просто цікаво досліджувати.

  
  

  • 2025 р. — більш повна описова інтерпретація моделі Клода з новими візуалізаціями та деталями (опублікована чи ні, залежно від того, наскільки чутливою може бути ця інформація для конкурентної переваги Anthropic).

  
  

  • 2030 — якщо підхід Anthropic буде успішним, кожна велика лабораторія ШІ, можливо, створить внутрішню карту своїх систем ШІ (інтерпретовано). Однак, якщо цей підхід виявиться занадто описовим і не вплине на розробку моделі, ніхто не згадає про механістичну інтерпретацію в 2030 році...

Висновок

Незалежно від прогнозів, буде цікаво спостерігати за наступним етапом ШІ. І якщо за 5 років не станеться жодної революції, буде принаймні приємно перечитати цю статтю, оскільки я нарешті вирішу скасувати свою підписку на OpenAI, яка коштувала тоді 300 доларів США на місяць.