Autori:  (1) Raphaël Millière, Katedra filozofie, Macquarie University (raphael.milliere@mq.edu.eu);  (2) Cameron Buckner, Katedra filozofie, Univerzita v Houstone (cjbuckner@uh.edu).  Tabuľka odkazov   Abstrakt a 1 Úvod  2. Základný náter na LLM   2.1. Historické základy   2.2. LLM založené na transformátoroch   3. Rozhranie s klasickými filozofickými problémami   3.1. Kompozičnosť   3.2. Nativizmus a osvojovanie si jazyka   3.3. Porozumenie a uzemnenie jazyka   3.4. Svetové modely   3.5. Prenos kultúrnych znalostí a jazykové lešenie   4. Záver, glosár a odkazy  3. Rozhranie s klasickými filozofickými problémami  Umelé neurónové siete, vrátane skorších NLP architektúr, boli dlho stredobodom filozofického skúmania, najmä medzi filozofmi mysle, jazyka a vedy. Veľká časť filozofickej diskusie okolo týchto systémov sa točí okolo ich vhodnosti na modelovanie ľudského poznania. Konkrétne sa diskusia sústreďuje na to, či predstavujú lepšie modely základných ľudských kognitívnych procesov ako ich klasické, symbolické náprotivky založené na pravidlách. Tu uvádzame kľúčové filozofické otázky, ktoré sa objavili v súvislosti s úlohou umelých neurónových sietí ako modelov inteligencie, racionality alebo poznania, so zameraním na ich súčasné inkarnácie v kontexte prebiehajúcich diskusií o dôsledkoch LLM založených na transformátoroch.  Nedávne diskusie boli zahmlené zavádzajúcim vzorcom odvodenia, ktorý nazývame „klam prepisovania“. Tento omyl vzniká, keď kritici tvrdia, že systém nemôže modelovať konkrétny   kognitívna kapacita, jednoducho preto, že jej operácie možno vysvetliť menej abstraktnými a viac deflačnými termínmi. V súčasnom kontexte sa omyl prejavuje v tvrdeniach, že LLM by v žiadnom prípade nemohli byť dobrými modelmi určitej kognitívnej kapacity 𝜙, pretože ich operácie pozostávajú iba zo súboru štatistických výpočtov, operácií lineárnej algebry alebo predpovedí ďalšieho tokenu. Takéto argumenty sú platné len vtedy, ak sú sprevádzané dôkazmi preukazujúcimi, že systém definovaný v týchto podmienkach nie je vo svojej podstate schopný implementovať 𝜙. Pre ilustráciu, zvážte chybnú logiku tvrdenia, že klavír nemôže produkovať harmóniu, pretože ho možno opísať ako zbierku kladív udierajúcich na struny, alebo (výraznejšie), že mozgová aktivita nemôže implementovať poznanie, pretože ho možno opísať ako súbor nervových výbojov. Kritickou otázkou nie je, či možno operácie LLM zjednodušene opísať nementálnymi termínmi, ale či tieto operácie, ak sú vhodne organizované, môžu implementovať rovnaké procesy alebo algoritmy ako myseľ, keď sú opísané na vhodnej úrovni výpočtovej abstrakcie.  The Redescription Fallacy je symptómom širšieho trendu považovať kľúčové filozofické otázky o umelých neurónových sieťach za čisto teoretické, čo vedie k rozsiahlym zásadným tvrdeniam, ktoré nie sú prístupné empirickému vyvráteniu. Hypotézy by sa tu mali riadiť empirickými dôkazmi týkajúcimi sa kapacít umelých neurónových sietí ako LLM a ich vhodnosti ako kognitívnych modelov (pozri tabuľku 1). V skutočnosti úvahy o architektúre, cieli učenia, veľkosti modelu a tréningových údajoch LLM často nestačia na to, aby sa tieto problémy vyriešili. V skutočnosti sa domnievame, že mnohé z kľúčových filozofických diskusií o kapacitách neurónových sietí vo všeobecnosti, a najmä LLM, sa prinajmenšom čiastočne zakladajú na empirických dôkazoch týkajúcich sa ich vnútorných mechanizmov a vedomostí, ktoré získajú počas tréningu. Inými slovami, mnohé z týchto debát nemožno a priori vyriešiť zvážením všeobecných charakteristík netrénovaných modelov. Skôr musíme brať do úvahy experimentálne zistenia o správaní a vnútornom fungovaní trénovaných modelov.  V tejto časti skúmame dlhodobé debaty o kapacitách umelých neurónových sietí, ktoré boli oživené a transformované rozvojom hlbokého učenia a najmä nedávnym úspechom LLM. Dôkazy o správaní získané z referenčných hodnôt a cielených experimentov sú pre tieto debaty veľmi dôležité. Hneď na začiatku však poznamenávame, že takéto dôkazy tiež nepostačujú na vykreslenie úplného obrazu; v súvislosti s obavami o Blockheads, ktoré sme preskúmali v prvej časti, musíme zvážiť aj dôkazy o tom, ako LLM interne spracovávajú informácie, aby sa vyplnila priepasť medzi tvrdeniami o ich výkone a predpokladanej kompetencii. Boli vyvinuté sofistikované experimentálne metódy na identifikáciu a zásah do reprezentácií a výpočtov získaných vyškolenými LLM. Tieto metódy sú veľkým prísľubom pri rozhodovaní o niektorých filozofických otázkach, ktoré sa tu skúmajú, nad rámec predbežných hypotéz podporovaných dôkazmi o správaní. Podrobnejšiu diskusiu o týchto metódach a zodpovedajúcich experimentálnych zisteniach ponechávame v časti II.  Tento dokument je   pod licenciou CC BY 4.0 DEED. dostupný na arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

I Think, Therefore I am Philosophical (dot tech)

Philosophical: Questions that span centuries, ideas that shape the mind.

philosophical's blog

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Príliš dlho; Čítať

Make resilience your competitive advantage

Ako sa filozofi a vedci pozerajú na kognitívnu AI

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

Mutmut: a Python mutation testing system

Code Smell 298 - How to Fix Microsoft Windows Time Waste

Behavior of a shapely Spider

112 Stories To Learn About Hackernoon Community

Mutmut: a Python mutation testing system

Code Smell 298 - How to Fix Microsoft Windows Time Waste

Behavior of a shapely Spider

112 Stories To Learn About Hackernoon Community

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps