
 
 Nota: o seguinte é sobre transformadores de baunilha, mas as conclusões e metáforas podem ser estendidas para raciocinar de forma frutífera sobre LLMs mais recentes (que serão cobertos em um artigo posterior). Nota: o seguinte é sobre transformadores de baunilha, mas as conclusões e metáforas podem ser estendidas para raciocinar de forma frutífera sobre LLMs mais recentes (que serão cobertos em um artigo posterior). Muitas pessoas têm a intuição de que um LLM (Large Language Model, por exemplo, ChatGPT) não entende realmente o que está dizendo. Se você tem um pouco de conhecimento técnico, você pode apontar que um LLM é apenas um autocomplete fantástico, ou um "predicionador de token". Isso consolida a intuição um pouco - prever tokens (ou seja, fragmentos de palavras, palavras curtas, símbolos...) parece um grito longe de deliberação - mas permanece uma intuição, que pode ser razoavelmente questionado: você poderia terminar esta frase se você não construiu uma compreensão do que o parágrafo está indo para? Agora, aqueles com mais caridade em relação às nossas máquinas falantes vão argumentar que os LLMs ainda são mal compreendidas “caixas pretas”, e acusar os céticos de reducionismo: não é Natureza cheia de mecanismos “mundanos” que dão origem a fenômenos emergentes, com qualidades que diferem de suas causas básicas? E provavelmente não A chave para entender sobre a perspectiva do preditor de token é que ele não é realmente reducionista - pelo menos não na maneira de chamar o cérebro de "apenas um aglomerado de neurônios". Sim, o modelo em si é um enorme conjunto de pequenas partes, mas todos eles trabalham juntos para satisfazer exatamente uma demanda: dado N tokens anteriores, prever o próximo. a propriedade emergente que você esperaria ser a partir de dados numéricos que fluem através das camadas do modelo. É Mas não poderia algo extra ainda emergir Previsão do token? repetição Em certo sentido, qualquer texto é maior do que a soma de suas partes: o significado de cada palavra é modificado pelo contexto inteiro que o rodeia, de modo que o significado de todo o texto está além de uma concatenação de significados de palavras isoladas. No entanto, para um texto gerado por previsão de token, cada passo é um processo independente em princípio - ele apenas segue uma trajetória implícita nos resultados intermediários. Como veremos, a previsão de token impõe restrições qualitativas inerentes, que não podem ser contornadas pela magia do surgimento. Para chegar lá, examinaremos o que surge em um nível mais alto do que o de textos individuais: e se organizássemos todas as saídas possíveis do modelo em uma única estrutura? Ironicamente, o formalismo "redutivo" é a ferramenta matemática perfeita para este trabalho. Mas primeiro, eu me dirijo para a Biblioteca de Babel de Borges para inspiração 
 
 
 
 
 A história descreve uma biblioteca composta por infinitas salas hexagonais.Cada quarto abriga prateleiras de livros contendo todos os arranjos possíveis de letras, espaços e marcas de pontuação. Consequentemente, a biblioteca contém não só todas as obras significativas - cada verdade, mentira, profecia, descoberta científica ou obra-prima - mas também volumes infinitos de absurdos incompreensíveis. Os habitantes da biblioteca - seus bibliotecários - vagam incansavelmente através dos corredores infinitos, impulsionados por uma busca insatisfatória de significado e iluminação.No entanto, a infinitude da biblioteca torna cada texto significativo efetivamente impossível de encontrar, enterrado em meio a um infinito absurdo.O que é pior, os bibliotecários são assombrados pela impossibilidade de distinguir a verdade da mentira, pois todas as declarações imagináveis estão igualmente presentes. Diferentes seitas se formam entre eles: alguns procuram desesperadamente um mítico "catálogo" do conteúdo da biblioteca, outros destruem livros considerados inúteis, e ainda outros se resignam ao desespero niilista - fé religiosa, fundamentalismo ou niilismo, tudo nascido de um desejo de certeza. A história descreve uma biblioteca composta por infinitas salas hexagonais.Cada quarto abriga prateleiras de livros contendo todos os arranjos possíveis de letras, espaços e marcas de pontuação. Consequentemente, a biblioteca contém não só todas as obras significativas - cada verdade, mentira, profecia, descoberta científica ou obra-prima - mas também volumes infinitos de absurdos incompreensíveis. Os habitantes da biblioteca - seus bibliotecários - vagam incansavelmente através dos corredores infinitos, impulsionados por uma busca insatisfatória de significado e iluminação.No entanto, a infinitude da biblioteca torna cada texto significativo efetivamente impossível de encontrar, enterrado em meio a um infinito absurdo.O que é pior, os bibliotecários são assombrados pela impossibilidade de distinguir a verdade da mentira, pois todas as declarações imagináveis estão igualmente presentes. Diferentes seitas se formam entre eles: alguns procuram desesperadamente um mítico "catálogo" do conteúdo da biblioteca, outros destruem livros considerados inúteis, e ainda outros se resignam ao desespero niilista - fé religiosa, fundamentalismo ou niilismo, tudo nascido de um desejo de certeza. Obrigado por esse resumo, ou melhor ainda, leia-o por si mesmo. É uma história apavorante, mas o que isso tem a ver com modelos de linguagem? Para começar, pense na Biblioteca de Borges como o conjunto de saídas de um modelo de idioma primitivo: um que prevê caracteres em vez de tokens, mas com zero consideração para a precisão. Naturalmente, tal modelo não sugere princípios de organização para suas saídas - pelo menos nenhum que ajude a separar dados do ruído.Borges assume a liberdade artística com o layout hexagonal, mas toda a biblioteca representa um processo de geração aleatória uniforme. Agora considere uma biblioteca analógica baseada em tokens em vez de caracteres: ela conteria todos os textos possíveis até algum número máximo de tokens, representando saídas de um LLM "indiscriminado".Esta nova biblioteca teria basicamente as mesmas propriedades que o original. No entanto, também coincidiria com o conjunto de saídas possíveis para um LLM normal, assumindo que até completos insensatos são representados por probabilidades minúsculas, mas não nulas. Perplexidade - Perplexity Formalmente, perplexidade é definida como a probabilidade média exponencial negativa de log de uma sequência: PP(X) = exp(-1/N ∑ log P(xᵢ|x₁,…,xᵢ₋₁)) Menos formalmente, tratamos um texto dado como uma sequência de resultados de um processo aleatório (não necessariamente uniforme). Cada token é atribuído uma probabilidade, de acordo com o modelo, com base nos tokens anteriores: ele reflete o quão bem cada seguimento se ajusta aos dados de treinamento. As probabilidades são então agregadas de uma forma que permite que uma média útil seja calculada para todo o texto. Finalmente, isso é mapeado em um valor intuitivo que reflete (aproximadamente) o número médio de continuações viáveis em cada passo. Os valores de perplexidade variam de 1 a infinito. 1 significa que o texto é tão previsível que cada passo leva inevitavelmente ao próximo - algo tão típico dos dados de treinamento que sua conclusão é como Valores altos implicam um labirinto de possibilidades ramificadas: o modelo não tem certeza para onde o texto está indo, e o maior número de continuações possíveis significa uma confiança menor em cada um. Rota Recordação Agora, imagine uma estrutura de círculos concentricos Os círculos são fronteiras que dividem uma extensão plana e infinita em anéis. A cada fronteira é atribuído um valor de perplexidade, começando com 1 para o centro circular e aumentando gradualmente à medida que você vai para fora. As áreas entre os círculos adjacentes formam bandas de perplexidade: cada anel abriga todos os textos cujos valores de perplexidade caem na faixa definida por suas fronteiras internas e externas. Esta é a Biblioteca Moderna de Babel. Esta nova biblioteca classifica todas as saídas possíveis do modelo de uma forma que reflita fielmente o que o modelo aprendeu.Para encontrar uma resposta potencial para um pedido dado, você só precisa escolher uma banda, encontrar nele um texto começando com esse pedido e continuar lendo. Parece fácil, mas qual banda escolher? Como os designers do LLM sabem bem, a maioria dos textos que os usuários querem não estão no centro da Biblioteca, embora seja aí que você tenha a maior probabilidade de encontrar declarações verdadeiras (ou, pelo menos, declarações que se alinham perfeitamente com o conhecimento convencional). Considere o que acontece se um usuário quiser a solução para um problema difícil ou aberto: o centro da Biblioteca pode oferecer indicações gerais, ou simplesmente afirmar que não há solução conhecida; ele contém respostas seguras que estão estritamente de acordo com os dados de treinamento. Na prática, quando você está convidando seu chatbot favorito, você está explorando algumas bandas ao redor do centro, onde você pode encontrar algumas saídas "criativas".Como o design do preditor de token não fornece nenhuma maneira inerente de desconectar a correção da criatividade, a escolha de bandas é um ato de equilíbrio.Claro, alguns produtos vêm com um controle de "temperatura" que permite que você explore mais longe; mas é nomeado apropriadamente, porque quando você pega, a pobre IA começa a sofrer de delírio de febre. Se pudermos extrapolar um pouco das observações empíricas, e seguir as implicações da métrica da perplexidade, deveríamos concluir que os textos verdadeiramente inovadores estariam longe do centro: as teorias não escritas de Einstein ou as provas válidas da hipótese de Riemann são inerentemente textos improváveis. Por que não olhar mais longe? Bem, com base na definição de perplexidade, o número de respostas potenciais a uma prompt explode exponencialmente quanto mais longe você sai. Enquanto isso, o número de respostas corretas permanece constante, com apenas tantas maneiras diferentes de declará-las. A proporção de textos úteis a absurdos rapidamente cai. Em outras palavras, enquanto a probabilidade de pelo menos alguns textos conterem obras novas e inovadoras aumenta, a probabilidade de tropeçá-los desaparece. Se você olhar para uma faixa estreita de perplexidade, você está olhando para textos que são (mais ou menos) igualmente "bom" pelo modelo - igualmente provável que seja gerado, independentemente de sua sensibilidade - desde que eles correspondam ao prompt. Em suma, o alcance exterior da nossa Biblioteca de Babel modernizada realmente aproxima a situação do clássico de Borges. Talvez você esteja começando a ver como isso se relaciona com a intuição original: você pode pensar em um texto como um caminho rastreado pelo processo gerativo - um registro de escolhas de token (ha-ha) feitas em cada passo. mas a partir de um prefixo dado (como um prompt), o modelo não tem preferência inerente para qualquer caminho específico fora da variedade oferecida na faixa de perplexidade relevante. Isso sustenta o que significa dizer que o modelo não entende do que está falando: não sabe nem se importa como os diferentes caminhos que poderia tomar se comparam uns com os outros, em termos de verdade, utilidade ou qualquer fator externo - não é um juiz razoável. No entanto, esta Biblioteca Moderna de Babel tem seus bibliotecários: eles são os usuários fervorosos. Alguns deles exploram as periferias para encontrar gemas escondidas da verdade. Outros procuram algo como o Catálogo da história de Borges: se apenas pudessem encontrar a mensagem certa, eles teriam uma resposta confiável a qualquer pergunta. Alguns até procuram um encanto secreto para despertar a Biblioteca para sua própria consciência dormente. Como os bibliotecários de Borges, eles vagam através de corredores intermináveis, narizes presos em volumes infinitos, sem entender o quadro maior desta busca - suas verdadeiras propriedades emergentes. Mas você não pode reverter o mesmo argumento contra os humanos? Por que não hipotetizar uma Biblioteca Humana de Babel?Só organizar todas as saídas potenciais da mente humana com base em uma medida humana de perplexidade. Não penso assim. Para começar, a "perplexidade" humana funciona de forma diferente: se eu estiver lendo um trabalho inovador, ele pode parecer confuso e duvidoso no início. Provisionalmente, eu poderia atribuir-lhe um valor de perplexidade tão alto quanto perplexidade - não seria tão novo se não tivesse começado a partir de premissas incomuns ou embarcado em um caminho improvável. Mas, no final, o trabalho teria se justificado. Entendido como um todo, poderia estar bem alinhado com fatos conhecidos e raciocínio válido. No final, eu poderia acabar atribuindo-lhe um valor de perplexidade tão baixo quanto o das teorias aceitas. Tal reavaliação dramática de tokens anteriores, com sua mudança abrupta em perplexidade, não acontece com LLMs normais baseados em transformadores: um texto incomum pode eventualmente se estabelecer em previsibilidade relativa, dado contexto suficiente, mas a média permanecerá manchada. Mais significativamente, com os preditores de token, há uma simetria entre gerar e avaliar textos. Mas isso não é o caso com os seres humanos: Através da visão profunda, a mente pode sentir conexões entre ideias que parecem distantes e não relacionadas. Para validar e comunicar tal visão, você precisaria mediar entre as ideias explicitamente - para construir um argumento com uma progressão linear que outras mentes possam seguir. Este processo pode ser lento e árduo, mas guiado pelo flash inicial de compreensão que você não pode esperar que o leitor tenha. Isso é um contraste significativo. Quando um LLM gera um texto, ele segue um caminho que se desenrola antes dele para um destino desconhecido. Os degraus - a sucessão de tokens gerados - não são mediadores, mas guias. É exatamente como "perdido" tentando construir um novo texto, como a avaliação de perplexidade do resultado implica. isto é, a maior parte do caminho através, está na borda de seu assento, adivinhando como um leitor sem pistas! Ainda assim, a imagem de um núcleo com círculos concêntricos pode ser útil mesmo para os humanos Deixe o núcleo ser a Terra: Verdade Terrestre. Ao seu redor estão bandas da atmosfera intelectual da humanidade, gradualmente enfraquecendo à medida que atinge um vasto e inexplorado espaço. Algumas idéias ficam no chão, como conclusões óbvias, fáceis de tropeçar. Um monte estão no ar, acima de nossas cabeças, esperando por um salto intuitivo. A maioria está no céu, ou todo o caminho no espaço- teorias não comprovadas, fantasias sem fundamento, delírios absolutos... Mas você também pode imaginar uma montanha: ela começa do chão e vai para cima. O aventureiro intelectual vê seu enredo de longe e traça um curso áspero para o pico. Quando ele começa a subir, a montanha apresenta muitos desafios que ele não previu - tais que só podem ser resolvidos de perto. Finalmente, ele chega ao pico e vê o mundo de um novo ponto de vantagem. Ele fica onde até o ar é fino, mas ele está conectado ao chão através de uma montanha pura. A partir daí, ele pode trazer novos insights de volta ao chão, juntamente com a história de como ele chegou a eles: uma história muito fantástica no início, mas inegavelmente verdadeira no final.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Este áudio é produzido no idioma original da história!

Como o raciocínio da IA espelha a Biblioteca de Babel de Borge

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Telegram: a ponte da Crypto Island para o continente

Uma breve introdução à teoria do cérebro de Boltzmann

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Telegram: a ponte da Crypto Island para o continente

Uma breve introdução à teoria do cérebro de Boltzmann

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps