Миктрал надмашује Лламу и ГПТ-3.5 у више мерила

Табела веза

Апстракт и 1. Увод

2 Архитектонски детаљи и 2.1 Ретка мешавина стручњака

3 Ресултс

3.1 Вишејезични бенцхмаркс, 3.2 Перформансе на великом домету и 3.3 Бенцхмаркс

4 Инструкције Фино подешавање

5 Анализа рутирања

6 Закључак, захвалност и референце

3 Ресултс

Упоређујемо Миктрал са Ллама-ом и поново покрећемо сва мерила са нашим сопственим проценама ради фер поређења. Меримо учинак на широком спектру задатака који су категорисани на следећи начин:

• Цоммонсенсе Реасонинг (0-схот): Хелласваг [32], Виногранде [26], ПИКА [3], СИКА [27], ОпенбоокКА [22], АРЦ-Еаси, АРЦ-Цхалленге [8], ЦоммонсенсеКА [30]

• Ворлд Кновледге (5 снимака): НатуралКуестионс [20], ТривиаКА [19]

• Разумевање читања (0 снимака): БоолК [7], КуАЦ [5]

• Математика: ГСМ8К [9] (8 снимака) са мај@8 и МАТХ [17] (4 снимака) са мај@4

• Шифра: Хуманевал [4] (0-схот) и МБПП [1] (3-схот)

• Популарни збирни резултати: ММЛУ [16] (5 снимака), ББХ [29] (3 ударца) и АГИ Евал [34] (3-5 снимака, само питања на енглеском са више одговора)

Детаљни резултати за Миктрал, Мистрал 7Б и Ллама 2 7Б/13Б/70Б и Ллама 1 34Б[2] приказани су у табели 2. Слика 2 упоређује перформансе Миктрал са моделима Ллама у различитим категоријама. Миктрал надмашује Ллама 2 70Б у већини метрика. Конкретно, Миктрал показује супериорне перформансе у коду и математичким мерилима.

Величина и ефикасност. Упоређујемо наше перформансе са породицом Ллама 2, са циљем да разумемо ефикасност Миктрал модела у спектру трошкова и перформанси (погледајте слику 3). Као ретки модел Миктуреоф-Екпертс, Миктрал користи само 13Б активних параметара за сваки токен. Са 5к нижим активним параметрима, Миктрал је у стању да надмаши Лламу 2 70Б у већини категорија.

Имајте на уму да се ова анализа фокусира на број активних параметара (погледајте одељак 2.1), који је директно пропорционалан трошковима израчунавања закључивања, али не узима у обзир трошкове меморије и искоришћеност хардвера. Трошкови меморије за сервирање Миктрал-а су пропорционални његовом оскудном броју параметара, 47Б, који је и даље мањи од Лламе 2 70Б. Што се тиче коришћења уређаја, примећујемо да СМоЕс слој уводи додатне трошкове због механизма рутирања и због повећаног оптерећења меморије када се покреће више од једног стручњака по уређају. Они су погоднији за групна оптерећења где се може постићи добар степен аритметичког интензитета.

Поређење са Ллама 2 70Б и ГПТ-3.5. У табели 3 приказујемо перформансе Миктрал 8к7Б у поређењу са Ллама 2 70Б и ГПТ-3.5. Примећујемо да Миктрал делује слично или изнад два друга модела. На ММЛУ, Миктрал постиже боље перформансе, упркос значајно мањем капацитету (47Б токена у поређењу са 70Б). За МТ Бенцх извештавамо о перформансама најновијег доступног модела ГПТ-3.5-Турбо, гпт-3.5-турбо-1106.

Разлике у евалуацији. У неким мерилима, постоје неке разлике између нашег протокола за евалуацију и оног који је објављен у Ллама 2 раду: 1) на МБПП, користимо ручно верификован подскуп 2) на ТривиаКА, не пружамо контексте Википедије.

[2] Пошто Ллама 2 34Б није била отвореног кода, извештавамо о резултатима за Лламу 1 34Б.