Como é ser um LLM?: Um experimento mental sobre os limites da compreensão da IA

Recentemente, mostrei a alguém uma demonstração de um software baseado em IA que escrevi. “Isso é bom”, disse ele, “mas como posso saber se não estou encaminhando minhas informações para um ditador malvado?” No momento, fiquei bastante intrigado com essa pergunta. Afinal, eu estava apenas usando um LLM (Large Language Model) para gerar algum texto. Mas, refletindo, percebi que o que essa pessoa perguntou representa uma perspectiva comum: um LLM pode gerar um texto que é (em muitos casos) indistinguível do texto que um ser humano geraria. Isso nos leva a inferir que talvez um LLM tenha um certo grau de agência (isto é, a capacidade de agir livremente no mundo). Pode decidir, por exemplo, enviar as minhas informações privadas para outra pessoa.

Embora uma maneira de combater esse equívoco possa ser fornecer uma explicação técnica diferenciada de como funciona a IA generativa, não tenho certeza se a maioria dos ouvintes se daria ao trabalho de ficar acordado o tempo suficiente para entender. Minha formação em filosofia, porém, sugere outro caminho: um experimento mental filosófico.

Permita-me apresentar a Dark Box.

Experimentos de pensamento filosófico

Um experimento mental filosófico é uma ferramenta comum que os filósofos usam para levantar questões críticas sobre nosso raciocínio. Nos anos 1700, René Descartes perguntou se ele talvez não fosse realmente uma pessoa no mundo, mas uma alma desencarnada torturada por um enganador maligno (uma ideia que mais tarde se tornou a premissa dos filmes Matrix). O experimento mental de Descartes foi projetado para nos ajudar a perguntar o que realmente sabemos sobre o mundo. Há uma litania de outros exemplos. O problema do bonde concentra a atenção em nossas intuições morais. Os Exemplos Gettier desafiam-nos a perguntar como passamos da crença ao conhecimento. O Problema Sorites obriga-nos a desafiar a forma como distinguimos grupos e indivíduos.

Em todos estes casos, as experiências pedem-nos que entremos numa situação, por mais improvável que seja, e imaginemos como raciocinaríamos.

Talvez construir esse tipo de experimento mental possa nos ajudar a separar os fatos da ficção neste admirável mundo novo da IA generativa.

Um aviso rápido: trata-se de imaginar possibilidades

Isto pode parecer óbvio para alguns, mas ao ensinar filosofia, muitas vezes me deparei com esta pergunta dos alunos: “Mas por que alguém faria ou acreditaria nisso?” No problema do bonde, por que as pessoas ficariam paradas nos trilhos de um trem? Que evidências Descartes tinha de um ser enganador e malévolo? Por que alguém contaria os grãos de areia numa pilha?

Perguntas como essa interpretam mal o propósito de um experimento mental. Um experimento mental filosófico não se destina a descrever uma situação real ou provável. Em vez disso, ele foi projetado para que você comece com um “e se?” como forma de abordar um assunto que de outra forma seria difícil. Isso exige que o indivíduo aceite as pré-condições do experimento. Como no problema do bonde: sim, pessoas aleatórias estão paradas nos trilhos do trem e nenhuma gritaria as fará se mover.

Com isso em mente, vamos criar nosso próprio experimento mental improvável, mas concebível.

A caixa escura

Imagine que você passou a vida inteira dentro de um tanque de privação sensorial. Chamaremos isso de Caixa Negra, pois faz com que todas as suas percepções sensoriais “escureçam”. Esta engenhoca consegue silenciar toda a sua capacidade de sentir o mundo ao seu redor. Flutuando livremente com peso corporal neutro, você nunca experimentou cheiros, imagens, sons, sabores ou toques.

Mas você não ficou entediado. Um neuro-link habilmente concebido torna uma vasta biblioteca de texto prontamente acessível diretamente em sua mente. Ao longo dos anos, você passou minutos e horas lendo tudo, de Jane Austen a Pitágoras, do Oxford English Dictionary a uma coleção peculiar de comentários do Reddit de vários anos atrás, dos procedimentos legais de processos judiciais julgados há cem anos até o letras de músicas das maravilhas de um só sucesso da década de 1980. E por causa do neuro-link, você pode escanear e recuperar todas essas informações quase que instantaneamente.

Você leu inúmeras descrições de pássaros: a estética do canto dos pássaros, a beleza de sua plumagem e a maneira como voam no ar…. No entanto, você nunca viu ou ouviu um pássaro real. Aliás, você nunca viu nenhuma cor nem ouviu nenhuma música. Você conhece as palavras para descrever algo, mas não tem nenhuma experiência da coisa que está sendo descrita.

Depois de muitos anos nesse estado, um dia você de repente percebe um novo recurso da Dark Box. Uma pergunta (na forma de uma mensagem) é feita no neuro-link e você tem a capacidade de gerar uma resposta. Dadas as informações que você aprendeu, você responde à mensagem da melhor maneira possível. Outra mensagem aparece, depois outra. Às vezes, há solicitações de mensagens mais longas com instruções mais complexas. Você acha essa nova forma de interação estimulante e, portanto, atende de boa vontade. Mas, mais uma vez, esta experiência não é acompanhada por nenhuma experiência sensorial – nenhum som, nenhuma cor, nenhum sabor ou cheiro. Você simplesmente pega a mensagem de texto que recebe e redige uma mensagem de resposta.

Descreva um pássaro

Um dia, chega uma mensagem pelo neuro-link:

Describe a bird.

Bem, esse é um pedido vago. Você se lembra da fênix nos vastos tomos de conhecimento que escaneou. Era um pássaro. E como você entende, frequentemente pegava fogo. Havia também uma cegonha que, se você se lembra bem da história, carregava bebês humanos para pais ansiosos. E o avestruz, que tinha pernas longas e não voava.

E assim, parece perfeitamente razoável que você responda:

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

Você retorna esta mensagem através do misterioso novo neuro-link. Os momentos passam. E você recebe a seguinte mensagem:

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

O conceito de “real” é difícil de distinguir de “mitológico” e “ficcional”. Afinal, você não tem experiência real com pássaros. Todos os pássaros são, para você, nada mais do que descrições textuais. A distinção entre real, mitológico e ficcional deve ser determinada descobrindo quais descrições de pássaros estão em textos que se referem a coisas reais, em vez daqueles que se referem a coisas ficcionais. Claro, sempre haverá casos ambíguos. No vasto corpo de texto disponível para você há frases como: “Uma fênix é tão grande quanto uma águia-pescadora”. Isso compara uma criatura mitológica com uma criatura real. No entanto, tratar a fênix como real ou a águia-pescadora como mitológica seria um erro.

Você faz o possível para procurar textos que parecem descrever apenas o que o prompt chama de “real”. Então você passa para a segunda parte. “Genérico entre espécies de pássaros” exigiria que você encontrasse uma descrição genérica dos pássaros, e você poderia encontrar textos como enciclopédias. Sua segunda resposta é esta:

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

Dando um passo para trás

Agora, estamos fora do nosso experimento mental. Duas coisas emergem de nosso experimento Dark Box. Tendo vivido sua vida dentro da Dark Box de privação sensorial, conectado apenas através do neuro-link:

1. Você não tem experiência externa ou agência.
2. Para responder perguntas, o melhor que você pode fazer é analisar e gerar texto.

Vamos dar uma olhada em cada um desses pontos.

Sem experiência ou agência

No experimento, você teve uma evidente falta de experiência externa e quase nenhuma agência externa. Você estava limitado a entrada de texto, prompts e um único canal de saída.

Compare isso com nossa experiência real. Como humanos (não existindo em câmaras de privação sensorial), temos experiências externas ricas. Recebemos informações através dos nossos sentidos. E construímos fontes adicionais de significado em cima delas. Por exemplo, recebo informações sonoras. A partir disso, percebo parte disso como fala e outras partes como música e identifico algumas como apenas ruído. Mas na câmara de privação sensorial você não recebeu nada disso.

Mas não é apenas o que recebemos como informação. É o que podemos gerar como saída.

Agência significa sua capacidade de fazer com que algo aconteça diretamente. A agência externa seria a sua capacidade de fazer com que algo acontecesse fora da Dark Box. No experimento mental, você não teve nenhuma agência externa. Na melhor das hipóteses, você poderia influenciar indiretamente quem estava enviando o prompt. (Por exemplo, em resposta a uma pergunta sobre como construir uma arma, você sugeriria que não estava preparado para fornecer tal informação.)

Combinando esses dois, no experimento mental, você não teve meios de averiguar muita coisa sobre o mundo externo.

Além do que foi enviado pelo link, você não sabia nada sobre o agente que estava consultando você. Pode ter sido um humano, um computador ou alguma outra entidade. Você certamente não poderia enviar um e-mail para um ditador malvado ou roubar códigos de lançamento nuclear ou qualquer outra história fantasiosa de terror sobre IA que ouvimos. Mas também, você ainda não aprendeu por que foi solicitado. O usuário do outro lado poderia estar apenas curioso sobre pássaros, ou isso poderia ter sido parte de uma tentativa de hackear um sofisticado mecanismo de segurança com tema aviário para roubar códigos de lançamento nuclear. Dessa forma, você estaria mal equipado para fazer julgamentos morais sobre se deve fornecer as informações solicitadas.

Respondendo Texto Analisando Texto

A outra coisa que se torna aparente neste experimento mental é a restrição de um sistema puramente textual. Você recebeu inicialmente uma mensagem de texto e foi treinado nesse texto. Mesmo com o texto de todas as bibliotecas do mundo, isso não substitui outras formas de experiência como visão, tato e paladar.

Quando solicitado por uma mensagem no neuro-link, o melhor que você pode fazer é construir uma resposta com base no que leu no passado. Falar sobre pássaros e mitologia e dar à luz humanos recém-nascidos é feito simplesmente olhando para quaisquer textos que se refiram a essas mesmas palavras. O filósofo WVO Quine conceituou estes tipos de relações como redes de crenças, no sentido de que qualquer proposição dada é apenas um nó ligado por qualquer número de vetores que se conectam a outros nós. Determinar o significado do prompt é principalmente uma questão de percorrer uma teia complexa de termos relacionados.

Terceiro, quando você responde à pergunta neste experimento mental, sua saída também é limitada ao texto. Você nunca teve comunicação prolongada com um agente ativo. Ou seja, você nunca conversou. Assim, até mesmo suas respostas se limitam à análise dos padrões que você vê nos textos nos quais foi treinado.

E mais um passo para trás

Finalmente, é bom encerrar reconhecendo os limites de qualquer experimento mental como este.

O objetivo de um experimento mental filosófico é nos fornecer ferramentas para raciocinar rapidamente sobre os limites de um sistema. Voltando a um exemplo anterior neste artigo, Descartes usou seu famoso experimento mental do mal enganador, não porque acreditasse que realmente havia algum super-ser malévolo distorcendo sua visão do mundo, mas para questionar até que ponto estamos equipados para determinar verdades sobre o mundo que nos rodeia. .

Da mesma forma, o experimento mental aqui é uma ferramenta para perguntar que tipo de coisas podemos razoavelmente esperar de um LLM, mas também com quais coisas simplesmente não podemos nos preocupar.

O perigo de um experimento mental como esse é que podemos antropomorfizar excessivamente o LLM com base em nos colocarmos na mesma estrutura de conclusão de tarefas. Intitulei este artigo “Como é ser um LLM?” como uma homenagem a um famoso ensaio do filósofo Thomas Nagel. Em “ Como é ser um morcego? ” Nagel está apresentando um argumento mais amplo sobre a consciência (definitivamente algo de interesse na IA). Mas, ao longo do caminho, ele salienta que mesmo que possamos ser criativos o suficiente para nos colocarmos “na mente de um morcego”, isso não é o mesmo que experimentar o mundo como um morcego o faz.

Da mesma forma, em nosso experimento mental, não devemos confundir desempenhar o papel de um LLM com a compreensão de como um LLM funciona ou (mais perigosamente) atribuir consciência, agência, intenção ou raciocínio moral a um LLM.

Conclusão

Usando um pequeno experimento mental, podemos entender em alto nível o que um LLM é capaz de fazer e também quais são suas limitações. Espero que isso ajude a acabar com o medo de algumas pessoas sobre os LLMs fazerem coisas covardes. Da mesma forma, espero que ajude você a compreender as possibilidades interessantes e emocionantes dos LLMs.

Muito disso foi escrito com base em meus próprios bate-papos com pessoas sobre inferência de IA e como executar inferência em LLMs sem configuração extra . Se você quiser tentar isso, há um tutorial para começar.

Também publicado aqui .