Лівий стіл Абстракт і 1 введення 2 COCOGEN: Представляючи структури Commonsense з кодом і 2.1 Конвертування (T, G) в код Python 2.2 Невеликий поштовх для генерації G 3 Оцінка та 3.1 Експериментальна установка 3.2 Сценарій генерації: PROSCRIPT 3.3 Відстеження стану суб'єкта: PROPARA 3.4 Виробництво графічних аргументів: EXPLAGRAPHS 4 Аналіз 5 Зв'язана робота 6 Висновок, визнання, обмеження та посилання Оцінка розмірів моделі Few-Shot Б. Динамічне швидке створення C Оцінка людини D Статистичні дані Зразковий вихід F Швидкість G Проектування класу Python для структурованого завдання Вплив розміру моделі Зміни в швидкості 2 COCOGEN: Представляючи структури Commonsense за допомогою коду Ми зосереджуємося на завданнях структурованого генерування загального глузду. Кожен тренінговий приклад для таких завдань знаходиться у формі (T, G), де T є текстовим введенням, а G є структурою, яку потрібно генерувати (зазвичай граф). Ключова ідея COCOGEN полягає в перетворенні вихідного графу G в семантично еквівалентну програму Gc, написану на мові програмування загального призначення. У цій роботі ми вибрали Python через його популярність у навчальних даних сучасних CodeLLMs (Xu et al., 2022), але наш підхід є агностичним до мови програмування. Перетворені графи коду схожі у своєму форматі з даними попереднього навчання Code-MLLs, і таким чином служать легше Ми використовуємо завдання генерації сценаріїв (PROSCRIPT, малюнок 1) як приклад, щоб мотивувати наш метод: генерація сценаріїв спрямована на створення сценарію (G) для досягнення певної мети високого рівня (T). 2.1 Перетворення (T, G) в код Python Ми перетворюємо пару (T, G) в клас або функцію Python. Загальна процедура включає в себе додавання вхідного тексту T на початку коду як атрибуту класу або опису і кодування структури G за допомогою стандартних конструкцій для представлення структури в коді (наприклад, хеш-карти, об'єктні атрибути) або виклики функцій. Наприклад, для завдання генерації скриптів ми конвертуємо (T, G) пару в клас Дерева (рис. 1b). Мета T додається як атрибут класу (цель), а скрипт G додається шляхом переліку вузлів і країв окремо. Ми спочатку інстантифікуємо список вузлів як об'єкти класу Node. Потім країни додаються як атрибут дітей для кожного вузла (рис. 1b). Наприклад, ми інстантифікуємо вузол "Вилучити кілька пластин" як take_out_several_plates = Node(), і додаємо його як дитину вузла take_pies_out_to_cool. Хоча існує кілька способів представлення прикладу навчання як класу Python, ми empirically виявили, що цей відносно простий формат є найбільш ефективним, особливо з більшими моделями. 2.2 Невеликий поштовх для генерації G У наших експериментах ми використовували CODEX (Chen et al., 2021a) і виявили, що він майже завжди генерує синтактично дійсний Python. Таким чином, генерований код можна легко перетворити назад в графік і оцінити, використовуючи стандартну, оригінальну, метрику набору даних. І І Цей документ доступний під ліцензією CC BY 4.0 DEED. Цей документ є Ліцензія CC BY 4.0 DEED. Доступно в архіві І І І І І І І Автори : (1) Aman Madaan, Інститут мовних технологій, Університет Карнегі Меллон, США (amadaan@cs.cmu.edu); (2) Шуян Чжоу, Інститут мовних технологій, Університет Карнегі Меллон, США (shuyanzh@cs.cmu.edu); (3) Урі Алон, Інститут мовних технологій, Університет Карнегі Меллон, США (ualong@cs.cmu.edu); (4) Yiming Yang, Інститут мовних технологій, Університет Карнегі Меллон, США (yiming@cs.cmu.edu); (5) Грем Нейбіг, Інститут мовних технологій, Університет Карнегі Меллон, США (gneubig@cs.cmu.edu). Authors: (1) Aman Madaan, Інститут мовних технологій, Університет Карнегі Меллон, США (amadaan@cs.cmu.edu); (2) Шуян Чжоу, Інститут мовних технологій, Університет Карнегі Меллон, США (shuyanzh@cs.cmu.edu); (3) Урі Алон, Інститут мовних технологій, Університет Карнегі Меллон, США (ualong@cs.cmu.edu); (4) Yiming Yang, Інститут мовних технологій, Університет Карнегі Меллон, США (yiming@cs.cmu.edu); (5) Грем Нейбіг, Інститут мовних технологій, Університет Карнегі Меллон, США (gneubig@cs.cmu.edu).

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Це аудіо створено мовою оригіналу історії!

Надто довго; Читати

Make resilience your competitive advantage

Чому перетворення графіків в код Python покращує розум AI

About Author

КОМЕНТАРІ

ПОВІСИТИ БИРКИ

ЦЯ СТАТТЯ БУЛА ПРЕДСТАВЛЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps