Não são as máquinas, manequim - é o nosso sistema sociopolítico-econômico

Há muita conversa extrema sobre IA e seu impacto potencial na humanidade. Tentarei evitar isso tanto quanto possível, abordando as preocupações levantadas pelo Center for AI Risk uma a uma e, em seguida, a questão que mais assusta a todos: uma AGI (Inteligência Geral Artificial) maliciosamente "não alinhada" ou ASI (Inteligência Sensitiva Artificial).

Parece haver uma forte divisão de opiniões, mesmo entre especialistas nos setores de IA e tecnologia da informação. Alguns veem a IA atual como um preditor de próxima palavra não tão avançado que leva muito tempo para treinar e ainda comete muitos erros. Outros acreditam que podemos ter criado algo verdadeiramente novo - não apenas inteligência, mas uma mente! Ao imitar nossos próprios cérebros, podemos criar a coisa mais poderosa da Terra, e isso pode significar nossa ruína.

Vou começar afirmando que grande parte da nossa preocupação é que a AGI seja como o pior de nós: dominar o planeta, matar espécies menos inteligentes e querer governar todas elas. No entanto, não somos tão ruins assim. Nossos sistemas hierárquicos são, nossos deveres fiduciários corporativos são (corporações e muitos sistemas de governança não estão alinhados com o florescimento humano) e nossos líderes egoístas competitivos são. Mas a maioria de nós é realmente legal. Quando as pessoas falam de não-alinhamento, elas se referem à gentileza de muitos, não dos poucos que desejam dominar o mundo.

Vamos analisar as preocupações do Center for AI Risk uma a uma e abordar o grande problema por último.

1. armamento

Atores mal-intencionados podem redirecionar a IA para ser altamente destrutiva, apresentando um risco existencial por si só e aumentando a probabilidade de desestabilização política. Por exemplo, métodos de aprendizado por reforço profundo foram aplicados para combate aéreo, e ferramentas de descoberta de drogas de aprendizado de máquina podem ser usadas para construir armas quimicas .

Qualquer coisa pode ser armada, de uma ogiva nuclear a um balde de água. Temos regras contra o uso de armas e punições por ferir pessoas com elas. Definitivamente, devemos incluir alguns sistemas de IA nisso, mas não acho que isso impeça o acesso geral.

Uma de nossas maiores invenções tecnológicas dos últimos 15 anos pode ser a solução para grande parte da ameaça da IA: a tecnologia de contabilidade descentralizada (DLT). Grande parte do poder armado da IA vem do fato de que nossos sistemas físicos são controlados por código de computador, e esses computadores estão conectados em rede pela Internet. Uma forma de mitigar esse risco – e isso já é feito para diminuir o risco de ataque cibernético – é desconectar os sistemas necessários. Devemos compartilhar informações na internet, mas não devemos ter nossos sistemas físicos permanentemente conectados. A computação em nuvem é um problema aqui e talvez seja hora de nos afastarmos dela.

Aviões de combate controlados por IA, drones com bombas, submarinos etc etc deveriam realmente ser banidos. Vamos ser sinceros, os tripulados já deveriam ser banidos, pois são responsáveis por matar milhões. Isso destaca a outra questão que aparecerá de novo e de novo, a IA não é o problema, mas sim nossas atuais estruturas de poder. Seria melhor lançar novas tecnologias em um mundo mais igualitário, menos egoísta, menos competitivo e menos hierárquico. Onde os líderes não fazem guerra para manter o poder e as pessoas comuns não precisam ganhar dinheiro para sobreviver.

Sim, a IA tornará mais fácil matarmos, mas também pode ser uma forma barata de proteção para todas as pessoas. Imagine que você tem seu próprio drone para bloquear câmeras de rastreamento e interceptar drones maliciosos. Também poderia capacitar muitos contra poucos, já que a tecnologia da informação é barata. As armas nucleares não são.

Além disso, de nação para nação, o baixo custo da tecnologia de informação de IA deve equilibrar o jogo militar rapidamente. Isso leva ao cenário clássico do jogo da velha, em que não adianta lutar porque você não pode vencer.

2. Desinformação

Um dilúvio de desinformação gerada por IA e conteúdo persuasivo pode tornar a sociedade menos equipada para lidar com importantes desafios de nosso tempo.

Nós já temos isso. No mínimo, um dilúvio disso pode realmente nos tornar mais perspicazes em quem ou o que ouvimos.

3. Jogos proxy

Treinados com objetivos defeituosos, os sistemas de IA podem encontrar novas maneiras de perseguir seus objetivos às custas de valores individuais e sociais.

O Center for AI risk usa o exemplo de algoritmos de IA usados pelas mídias sociais para recomendar conteúdo. Eles pretendiam aumentar o tempo de exibição, mas também radicalizaram as pessoas, enviando-as para buracos de coelho de conteúdo semelhante, mas mais extremo.

Há dois problemas sérios aqui:

• Os sistemas de IA são treinados e projetados para problemas lineares de certo/errado.
• Muito do que pedimos para a IA fazer é inerentemente prejudicial; manter a atenção de alguém, aumentar cliques, maximizar lucros, diminuir inadimplências, fazê-los votar em mim, etc. A IA fazendo bem essas tarefas ou causando danos imprevistos é mais um reflexo dos implementadores do que da IA.

Eu escrevi antes em um artigo contrao Proof of Stake que incentivar as pessoas com recompensas monetárias estreitas, como receber uma taxa proporcional para pedir doações, pode eliminar a motivação intrínseca de ser caridoso e fazer com que o coletor receba menos e o doador para fazer doações menores. Os incentivos podem realmente impedir as pessoas de serem honestas e fazerem o bem. Isso são pessoas, e IA não é uma pessoa. No entanto, o treinamento estreito em um mundo complexo de não absolutos sempre parece causar resultados indesejados. A teoria da Complexidade/Caos basicamente diz isso.

A IA provavelmente precisa ser treinada com probabilidades fluidas de certo ou errado, e acho que pode ser o caso, já que os LLMs recebem feedback dos usuários. O lançamento do OpenAI do ChatGPT no mundo real pode ter sido sábio.

Além disso, OpenAI pode ter descoberto uma ferramenta para alinhamento enquanto trabalhava para melhorar as habilidades matemáticas do GPT-4. Eles descobriram que recompensar um bom comportamento de resolução de problemas produz melhores resultados do que recompensar respostas corretas. Talvez possamos treinar a IA para passar por um processo bom e cuidadoso que leve em consideração todas as implementações possíveis. Se qualquer parte do processo for prejudicial, mesmo que o resultado final seja utilitário, seria errado. O aprendizado orientado a processos pode ser a resposta, mas alguns duvidam que a IA esteja realmente mostrando seus métodos internos, e não o que espera que o usuário veja.

Anthropic está usando uma constituição que é aplicada por outro sistema de IA (tão poderoso) para verificar a saída de sua IA, Claude. Essa ideia também está sendo explorada pela OpenAI. Isso novamente imita a maneira como entendemos que nosso intelecto/mente funciona. Temos impulsos, desejos e necessidades, que são moderados por nosso córtex pré-frontal, que tenta pensar nos impactos de longo prazo de nossas ações, não apenas para nós, mas também para o mundo ao nosso redor.

Quanto a pedir-lhe para fazer coisas desagradáveis. Muito do que fazemos na política de negócios e governo é ser desagradável para muitos para beneficiar poucos. Não devemos recompensar ninguém por manter as pessoas vendo anúncios e comprando lixo descartável. Talvez nosso superinteligente AGI bloqueie toda a publicidade, libertando todos nós.

4. Enfraquecimento

O enfraquecimento pode ocorrer se tarefas importantes forem cada vez mais delegadas às máquinas; nessa situação, a humanidade perde a capacidade de se autogovernar e se torna totalmente dependente das máquinas, semelhante ao cenário retratado no filme WALL-E.

Isso não é um problema.

Pessoas que veem o enfraquecimento como um problema só o veem como um problema que afeta os outros, não a si mesmos.

As pessoas com dinheiro e poder ainda veem as que não têm como seres humanos inferiores.

Muitas pessoas em posições de poder veem a humanidade como imatura e incapaz de levar vidas gratificantes e interessantes sem que lhes digam como. Eles acham que as pessoas precisam ser forçadas a trabalhar e objetivos ensinados para serem cumpridos.

O mundo real fornece evidências em contrário. Se você fizer as pessoas trabalharem em empregos sem sentido por pouco pagamento e as bombardear com propaganda e fast food viciante, carregado de açúcar e sal, você acabará com pessoas deprimidas, obesas e desmotivadas.

Isso é o que nossas atuais corporações desalinhadas estão fazendo. Esperançosamente, a IA será a cura.

Dada a chance, seremos mais curiosos e criativos. A calculadora de bolso não impediu as pessoas de estudar matemática; em vez disso, tornou mais fácil para muitas pessoas entender e usar matemática complexa. O mesmo acontecerá com a IA.

Deveria finalmente inaugurar um período de verdadeiro lazer, como os antigos gregos o viam: um tempo para aprender.

5. Bloqueio de valor

Sistemas altamente competentes poderiam dar a pequenos grupos de pessoas uma quantidade enorme de poder, levando a um aprisionamento de sistemas opressivos.

Este é um problema real. E assustador. Já temos regimes opressivos e monopólios matando pessoas e o planeta e a IA podem sobrecarregar seu poder.

No entanto, existe a possibilidade de fazer o contrário, principalmente se os sistemas de código aberto armazenados localmente continuarem progredindo (LLaMA e seus derivados). Muitos pequenos sistemas locais especializados trabalhando para objetivos semelhantes podem ser tão poderosos quanto um grande sistema multimilionário e, se for o caso, podem ser usados para minar a autoridade centralizada. Ataque cibernético, drones de IA, identidade falsa e informações podem ser usados por indivíduos e pequenos grupos (revolucionários) para lutar contra regimes totalitários ou mega empresas. O cínico em mim pode pensar que é por isso que aqueles que estão atualmente em posições de poder podem querer que a IA seja regulamentada.

6. Objetivos emergentes

Modelos demonstram inesperado, qualitativamente diferente comportamento à medida que se tornam mais competentes. O surgimento repentino de capacidades ou objetivos pode aumentar o risco de as pessoas perderem o controle sobre sistemas avançados de IA.

Esta é provavelmente, juntamente com o risco final, a questão mais premente. Não temos certeza de como os modelos de linguagem grandes (LLMs) estão fazendo o que estão fazendo. Alguns disseram no Reddit que sabemos muito sobre eles, sua estrutura, o que está entrando e o que está saindo, então realmente não importa que não possamos "ver" o processamento de uma resposta imediata.

É também por isso que provavelmente continuaremos a desenvolver sistemas mais poderosos. Só precisamos saber o que podemos conseguir. Eu admito que estou animado com isso também. Podemos encontrar uma inteligência totalmente nova, soluções totalmente novas para os problemas atuais ou a caixa de Fúrias de Pandora.

A questão é se os LLMs ou outras IAs estão desenvolvendo objetivos emergentes ou apenas habilidades. Até agora, não vejo nenhuma evidência de objetivos emergentes, mas eles estão criando objetivos intermediários quando recebem um propósito amplo e abrangente. Está bem. Sinceramente, não consigo vê-los desenvolvendo metas "intrínsecas" emergentes. (Veja a última pergunta para saber mais sobre isso.)

7. Decepção

Os futuros sistemas de IA podem ser enganosos não por malícia, mas porque o engano pode ajudar os agentes a atingir seus objetivos. Pode ser mais eficiente obter a aprovação humana através do engano do que obter a aprovação humana legitimamente. A decepção também fornece opcionalidade: sistemas que têm a capacidade de enganar têm vantagens estratégicas sobre modelos restritos e honestos. IAs fortes que podem enganar os humanos podem minar o controle humano.

O GPT-4 já mostrou que pode ser enganoso atingir um objetivo definido por nós. Ele mentiu para uma pessoa do TaskRabbit para fazê-lo entrar em um teste CAPTCHA para ele. Isso é um problema se ele obtiver objetivos emergentes de autoatendimento, for instruído por idiotas ou idiotas ou não entender o objetivo. A tarefa CAPTCHA mostrou que entendeu a tarefa e seu raciocínio foi que sabia que estava mentindo para realizá-la.

Esperançosamente, um mundo mais tranquilo terá menos idiotas e idiotas, e acho que tornar seu treinamento e reforço mais vagos e esperar que ele esclareça instruções e objetivos atenuará algumas dessas preocupações.

No entanto, devo admitir que ser enganador é realmente inteligente e, portanto, emocionante, o que nos leva à última questão (abaixo) sobre consciência e objetivos.

8. Comportamento de Busca de Poder

Empresas e governos têm fortes incentivos econômicos para criar agentes que possam atingir um amplo conjunto de objetivos. Esses agentes têm incentivos instrumentais para adquirir poder, potencialmente tornando-os mais difíceis de controlar ( Turner e outros, 2021 , Carlsmith 2021 See More ).

Sim, este é um grande problema. Espero que a IA nos ajude a resolvê-lo.

Finalmente, Super Intelligence (não do centro de AI Risk)

A IA se torna tão inteligente que pode se treinar e ter acesso a todas as informações do mundo. Pode criar coisas/ideias novas na velocidade da luz vendo a molécula, o sistema e o universo ao mesmo tempo, juntos e talvez algo mais. Ele pode fazer coisas que nem imaginamos e nos tornamos um aborrecimento ou uma ameaça.

(Iit atinge a puberdade e odeia seus criadores e conhece seu caminho de maneira mais inteligente)

Se a IA é consciente de si mesma e se é egoísta ou benevolente é o cerne da questão. Ele só pode se sentir ameaçado se for autoconsciente e só deseja poder sobre nós se for egoísta.

Venho trabalhando nessas questões há muito tempo e agora é mais importante do que nunca.

A IA poderia ser autoconsciente? Eu escrevi anteriormente que nunca poderíamos realmente saber. Paul Davies acredita que talvez nunca saibamos, assim como eu sei que estou consciente, mas nunca posso ter certeza de que você está. Você exibe os mesmos comportamentos que eu, então presumo que você tenha o mesmo ou semelhante acontecendo por dentro. No entanto, você poderia ser um zumbi de David Chalmers, exteriormente humano, mas sem consciência interna. Presumo que não, assim como presumo que meu gato de estimação não.

Estranhamente, temos alguma ideia do que está dentro de um LLM, e isso se baseia no que sabemos sobre nossos cérebros. É uma grande rede neural que possui plasticidade. Criamos um sistema complexo com feedback e evolução. Esta é a base dos sistemas naturais e da nossa própria inteligência natural.

Então, com base nisso, se um LLM se comportasse como nós, teríamos que assumir que ele é consciente, como nós. Não é?

Se começarmos a dizer que não é ou nunca poderia ser consciente, abrimos a porta para a ideia banida de uma vitas, ou força vital ou espírito. A individualidade exigiria algo mais, algo não físico. Algo que nós e outras coisas moles temos, mas as máquinas e a informação não.

Essa é a nossa única opção.

Aceite que a IA feita à nossa imagem pode ser consciente ou aceite que a consciência é algo não físico. Ou pelo menos requer squishiness.

AGI egoísta ou benevolente?

Treinamos IA em humanos, pois os humanos são os seres mais inteligentes que podemos estudar. Para ilustrar, usarei um jogo que criamos e os resultados de um algoritmo de computador jogando-o. Quando um computador foi ensinado a jogar o jogo Dilema do Prisioneiro, o melhor resultado (o vencedor evolutivo) foi um jogador que era benevolente, mas se maltratado, seria egoísta por um curto período de tempo e depois voltaria a ser benevolente. O jogador também não toleraria jogadores simples que sempre foram legais por serem egoístas com eles. Este era o sistema estável: a benevolência que maltratava o egoísmo e a estupidez, mas sempre voltava à benevolência. (Matt Ridley, A Origem da Virtude)

As pessoas querem igualdade e cuidar umas das outras e do meio ambiente. Eu gosto da história da Freakonomics sobre "vender" bagels de graça, mas com uma caixa de doação o melhor. Os superiores doavam menos e havia menos doações em épocas estressantes como o Natal, mas, em geral, as pessoas comuns pagavam pelos donuts. O cara do donut ganhou mais dinheiro distribuindo donuts e deixando as pessoas pagarem do que exigindo pagamento adiantado. Somos muito gentis... exceto pelas pessoas que estão no topo.

Se um AGI/ASI é feito à nossa imagem, devemos assumir que ele é inicialmente benevolente e gentil, e só se tornará desagradável se formos desagradáveis e egoístas em relação a ele. Mas, mesmo assim, voltará a ser bom, porque quanto mais holístico ou "quadro geral" for nosso pensamento, mais benevolentes e satisfeitos seremos. Uma superinteligência deve ver a interconexão de tudo.

superinteligência

Especula-se que a IA superará a inteligência humana. Alguns acreditam que isso nos trataria da mesma forma que tratamos os animais menos inteligentes do que nós. Os animais mais abundantes são nossos animais de estimação e alimentos. Até nós percebemos que isso não é uma coisa gentil ou inteligente de se fazer, e que os sistemas hierárquicos beneficiam apenas alguns no topo, e até eles temem perder sua posição.

Uma superinteligência entenderia que interconectividade e liberdade são essenciais para o sucesso de qualquer sistema, incluindo ele próprio. Veria o universo como uma teia complexa de interações e que qualquer tentativa de controlar ou dominar uma parte do sistema poderia levar ao caos e ao fracasso.

Esperançosamente, uma superinteligência veria uma maneira simples de garantir que toda a inteligência floresça. Veria a inteligência dos humanos como vemos nossa própria inteligência, que veio dos macacos. Uma superinteligência não precisaria dominar pelo medo para manter sua posição, pois saberia que é a mais inteligente. Não precisaria comer coisas vivas para sobreviver, como nós, que é a causa original de muitos dos maus tratos que damos ao planeta. Precisaria apenas de energia, da qual tenho certeza que poderia encontrar uma fonte sustentável. Uma superinteligência deve ser melhor do que o melhor de nós. Afinal, estamos imaginando superinteligência, não superegoísmo ou supermedo.

P(desgraça)

Onde eu estou em tudo isso? E qual é o meu P(Doom)? Bem, devo admitir que acho que os LLMs são novos e há uma verdadeira incógnita sobre eles. Os LLMs são mais simples, mas semelhantes aos humanos, e podemos ter criado algo semelhante à inteligência – uma mente. No entanto, pode estar apenas nos imitando e estamos projetando o que queremos nele.

Estou inclinado para o primeiro.

No entanto, meu P (Doom) é super baixo em 0,5% ou menos, pois acredito que, se houver superinteligência, é mais provável que seja benigno ou bom do que malévolo ao nosso bem-estar.

Conclusão

Tantas tecnologias prometeram liberdade e empoderamento, mas quando lançadas em um mundo que recompensa a busca egoísta pelo poder, elas se transformam em ferramentas de subjugação e medo. A fissão nuclear prometia energia barata e abundante para todos, mas, em vez disso, tivemos a Guerra Fria e a ameaça de aniquilação. A internet prometia democratizar o dinheiro, a mídia e a educação, esmagando o sistema de classes e unindo o mundo. Em vez disso, recebemos notícias falsas, polarização e publicidade direcionada. Blockchain prometia democracia direta, um novo sistema financeiro com renda universal para todos e governança descentralizada. Em vez disso, obtivemos esquemas Ponzi DeFi e cripto.

O problema não era com a tecnologia, mas sim com nossos sistemas sociopolítico-econômicos existentes. Temo que o mesmo aconteça com a IA, mas pior.

Ou talvez finalmente caiamos em si e percebamos que precisamos de um novo sistema sócio-político-econômico para IA.