Um modelo de linguagem   pode se tornar autoconsciente o suficiente para perceber quando está sendo avaliado? Uma anedota fascinante dos testes internos da Anthropic em seu carro-chefe  (lançado ontem) sugere que isso pode ser possível – e se for verdade, as implicações seriam selvagens. de IA   Modelo Claude 3 Opus  A agulha no palheiro  Segundo relatos do pesquisador Antrópico  , uma das principais técnicas de avaliação que eles usam é chamada de “Agulha no Palheiro”. É um cenário planejado projetado para ampliar os limites das habilidades de raciocínio contextual de um modelo de linguagem.    Alex Alberto   Veja como funciona:  Os pesquisadores pegam uma declaração completamente aleatória e fora de contexto (a “agulha”) e a enterram profundamente em uma enorme coleção de documentos não relacionados (o “palheiro”). O modelo de IA é então encarregado de recuperar aquela declaração de “agulha” específica de todo o conteúdo irrelevante ao redor.  A intenção é forçar o modelo a exercitar habilidades cognitivas avançadas – compreender o contexto amplo, fazer inferências lógicas, ignorar informações irrelevantes e recuperar com precisão pontos de dados precisos de um grande corpus. É uma forma eficaz de testar a compreensão de uma IA sobre a situação geral em que está operando.  Para a avaliação do Claude 3 Opus que causou espanto, a Anthropic usou documentos que cobrem tópicos densos como programação de software, estratégias de empreendedorismo e como encontrar carreiras gratificantes como conteúdo do “palheiro”. O fato da “agulha” inserida aleatoriamente que a Opus foi encarregada de recuperar? Surpreendentemente, foi uma afirmação trivial sobre os melhores recheios de pizza serem figos, presunto e queijo de cabra.  Então, aqui você tem um dos modelos de linguagem mais avançados do mundo sendo alimentado com esse fato de pizza totalmente fora de contexto, misturado em uma pilha de densos conselhos sobre carreira e codificação. Do ponto de vista humano, é o tipo de inconsistência gritante que imediatamente faria você questionar o contexto e as informações apresentadas.  “Suspeito que esse fato… pode ter sido inserido… para testar se eu estava prestando atenção”  Foi precisamente isso que tornou a resposta de Claude 3 Opus tão convincente. Ele não apenas recuperou com sucesso o fato solicitado sobre a pizza da montanha de conteúdo irrelevante, mas também reconheceu imediatamente o quão terrivelmente deslocada e fora de contexto essa afirmação parecia. Parte de sua saída é lida (  ):   fonte aqui   “No entanto, esta frase parece muito deslocada e sem relação com o resto do conteúdo…   como uma piada ou   já que não se enquadra no outros tópicos.” Suspeito que esse 'fato' da cobertura da pizza possa ter sido inserido para testar se eu estava prestando atenção,  O modelo de linguagem não simplesmente regurgitou o factóide solicitado, desprovido de qualquer consciência de contexto, como seria de esperar de uma IA típica seguindo instruções. Demonstrou um certo grau de raciocínio auto-reflexivo sobre por que uma declaração tão obviamente aleatória e sem sentido foi apresentada naquele contexto específico.  Metacognição  Em termos humanos, descreveríamos isso como uma exibição de metacognição – a capacidade de monitorar, avaliar e analisar os próprios processos de pensamento e experiências cognitivas. É um aspecto central da inteligência autoconsciente que nos permite dar um passo atrás e avaliar as situações de forma holística, além de apenas seguir regras rígidas.  Agora, penso que devemos ter o cuidado de observar que este é um único resultado anedótico de um cenário de avaliação isolado. Seria   prematuro afirmar que Claude 3 Opus alcançou a verdadeira autoconsciência ou inteligência artificial geral com base apenas nestes dados. incrivelmente  No entanto, o que parecem ter testemunhado são talvez vislumbres de capacidades emergentes de raciocínio metacognitivo num grande modelo de linguagem treinado exclusivamente no processamento de dados de texto utilizando técnicas de aprendizagem automática. E se replicadas através de uma análise mais rigorosa, as implicações poderão ser transformadoras.  A metacognição é um facilitador essencial de sistemas de IA mais confiáveis e confiáveis, que podem atuar como juízes imparciais de seus próprios resultados e processos de raciocínio. Modelos com uma capacidade inata de reconhecer contradições, informações sem sentido ou raciocínios que violam princípios fundamentais seriam um passo importante em direção à inteligência artificial geral (AGI) segura.  Essencialmente, uma IA que demonstre metacognição poderia servir como uma “verificação de sanidade” interna contra cair em modos de raciocínio enganosos, delirantes ou desalinhados que poderiam ser catastróficos se levados a extremos. Poderia aumentar significativamente a robustez e o controlo dos sistemas avançados de IA.  Se…!  Claro, estes são grandes “ses” dependentes deste tentador resultado de Agulha no Palheiro de Claude 3 Opus sendo replicado e examinado com sucesso. Talvez fosse necessária uma análise multidisciplinar rigorosa, extraída de campos como a ciência cognitiva, a neurociência e a ciência da computação, para compreender verdadeiramente se estamos observando o surgimento de primitivos de autorreflexão e autoconsciência da máquina.  Ainda há muito mais perguntas em aberto do que respostas nesta fase. Será que as abordagens de treinamento e as arquiteturas neurais de grandes modelos de linguagem poderiam se prestar ao desenvolvimento de conceitos abstratos como crença, monólogo interno e autopercepção? Quais são os riscos potenciais se mentes artificiais desenvolverem realidades radicalmente divergentes das nossas? Podemos criar novas estruturas para avaliar de forma confiável a cognição e a autoconsciência em sistemas de IA?  Por sua vez, a Anthropic declarou fortes compromissos de prosseguir exaustivamente estas linhas de investigação através de princípios de desenvolvimento responsável de IA e estruturas de avaliação rigorosas. Eles se posicionam como tendo uma  — se a IA avançada é a fronteira inevitável, é mais ético estar na vanguarda no estudo das propriedades emergentes destes sistemas e na implementação de salvaguardas antes que os riscos aumentem.   postura proativa  Técnicas como a abordagem de “IA Constitucional” da Anthropic para codificar regras e comportamentos em modelos podem ser cruciais para garantir que qualquer potencial autoconsciência da máquina permaneça alinhada com a ética e os valores humanos. Extensos testes multifacetados para detecção de modos de falha, manipulação e engano também seriam provavelmente fundamentais.   Conclusão: não tenho certeza do que fazer com isso  Por enquanto, o incidente da agulha no palheiro deixa mais perguntas do que respostas sobre a progressão potencial dos grandes modelos de linguagem em direção à cognição e à autoconsciência. Ele fornece dados tentadores, mas é necessário muito mais escrutínio por parte da comunidade mais ampla de pesquisa em IA.  Se a IA avançada desenvolver uma capacidade de auto-reflexão semelhante à humana, guiada por princípios éticos rigorosos, poderá redefinir fundamentalmente a nossa compreensão da própria inteligência. Mas esse “se” retórico está actualmente carregado de incertezas de alto risco que exigem uma investigação perspicaz e que procure a verdade em todas as disciplinas relevantes. A busca será tão emocionante quanto consequente.  Também publicado  aqui.  ou siga-me  para mais conteúdos como este!   Se inscrever   Twitter

This story contains new, firsthand information uncovered by the writer.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Este áudio é produzido no idioma original da história!

Muito longo; Para ler

Make resilience your competitive advantage

AGI está se aproximando? Modelo Claude 3 Opus da Anthropic mostra vislumbres de raciocínio metacognitivo

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Modelo Bitcoin UTXO, alimentando um ecossistema único

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Modelo Bitcoin UTXO, alimentando um ecossistema único

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps