On OpenAI fracassou no golpe de Sam Altman e o perigo de deixar o destino da IA nas mãos de poucos

Mais de 500 humanos do HackerNoon votaram em nossa enquete ontem perguntando o que aconteceria na imprevisível montanha-russa que só pode ser descrita como uma tentativa de golpe de fracasso épico do (agora extinto) OpenAI Board , escolhendo esmagadoramente a opção que Sam Altman acabaria retornar à OpenAI como CEO.

E os leitores do HackerNoon estão certos! A última e última negociação para 'trazer Sam de volta ou desistiremos' pelos funcionários da OpenAI e 'traga Sam ou sairemos' pelos investidores da OpenAI, liderada em grande parte pelo CEO da Microsoft, Satya Nadella, e pelos pesos pesados do Vale do Silicone (eu discutiremos mais adiante neste artigo) finalmente chegou ao seu “final feliz”. O golpe falhou. Sam e Greg seriam agora recebidos, em seu retorno triunfante, por 95% da OpenAI (mais de 778 dos 770 funcionários, segundo a Bloomberg, assinaram a carta), um novo Conselho e mais fama e poder do que nunca!

A arma fumegante ainda não foi divulgada (e não está claro se algum dia será esclarecida), ainda estou semiconfiante de que mais artigos de pesquisa, ações judiciais e até mesmo mudanças políticas serão publicados nos próximos meses, ou anos, para esclarecer o que aconteceu. E este ainda não é o fim da turbulência na OpenAI.

Mas primeiro, uma rápida recapitulação

Para ficar 100% atualizado sobre esse drama, você deve ler minha história de sexta-feira, que anunciou e especulou sobre os detalhes das demissões de Sam Altman, e a de segunda-feira, que traçou um cronograma cronológico do que aconteceu no fim de semana. . Quando paramos, Sam e Greg ainda estavam saindo e se juntando à Microsoft, para serem apenas mais um normie corporativo (risos). Um novo CEO interino foi anunciado (substituindo o já CEO interino Mira Murati, que acabou por ser um leal a Sam): Emmett Shear, mais conhecido por ser o ex-CEO do Twitch. Sim, Twitch. A plataforma de streaming de jogos. Nada relacionado à IA.

Satya Nadella, CEO da Microsoft, embora muito positivo e optimista em todas as suas aparições e anúncios públicos , indicou fortemente que serão absolutamente necessárias mudanças ao nível da Governança Corporativa e que não deverá haver mais surpresas para a Microsoft, uma parte interessada de 49%. e o mais importante parceiro institucional da OpenAI. Eu li isso como: O Conselho tem que ser demitido e não há como a Microsoft voltar a estar nesta situação com o novo Conselho.

E então, por volta da meia-noite de terça-feira, 21 de novembro / madrugada de quarta-feira, 22 de novembro - a Open AI anunciou você sabe o que, a notícia que Sam & Co e a maioria dos otimistas do Vale do Silicone estavam esperando:

SAM 👏 ESTÁ 👏 DE VOLTA 👏

Nesse mesmo anúncio, foi mencionado que o novo Conselho da OpenAI será composto por: Bret Taylor (Presidente), Adam D'eangelo e Larry Summer. Notavelmente, não menciona Sam Altman, Ilya Sutskever, Tasha McCauley e Helen Toner.

O desalinhamento entre organizações sem fins lucrativos e com fins lucrativos: a ruína da existência da OpenAI

Acho que a teoria mais plausível sobre o motivo pelo qual o golpe foi autorizado a acontecer é a seguinte: o (agora extinto) Conselho da OpenAI, uma organização sem fins lucrativos que controla a LLC com fins lucrativos (vai entender), não deveria ter nenhum incentivo para maximizar o lucro, que é o ponto principal da OpenAI que é a criadora do Chatgpt, que arrecadou 13 bilhões da Microsoft, e que tinha o dever fiduciário de ganhar dinheiro para seus investidores. Todos os membros votantes do Conselho, incluindo o próprio Altman, não possuem ações da OpenAI. A sua missão, conforme declarado nos estatutos da empresa, é “garantir que a inteligência artificial geral – sistemas de IA que são geralmente mais inteligentes que os humanos – beneficie toda a humanidade”. Em outras palavras, o Conselho da organização sem fins lucrativos, que supervisiona a LLC com fins lucrativos, não tem nenhum interesse em recuperar o dinheiro para os investidores , os poderes de computação da Microsoft (que são absolutamente necessários para fazer o tipo de pesquisa necessária para implementar a AGI), ou o fato que a OpenAI desde o lançamento do ChatGPT se tornou a empresa de tecnologia zeitgeist de fato em décadas. Tudo o que lhe interessava, e era legalmente obrigado a supervisionar, era a implementação segura da Inteligência Geral Artificial, ou AGI. Em teoria, ficou perfeitamente feliz por não ganhar mais dinheiro, encolher e voltar para um pequeno grupo de pesquisa de elite.

Achei que essa teoria era a mais plausível porque (como mencionei em minha última história ) porque eu , lya Sutskever , cofundador e cientista-chefe da OpenAI, fazia parte da facção original do Conselho que derrubou Sam em primeiro lugar. (Mais tarde, ele se arrependeu de sua decisão e fez uma reviravolta que é seguro dizer que surpreendeu a todos). Ele é uma mente brilhante e é amplamente considerado o cérebro da Operação. Na verdade, ele foi cortejado pela OpenAI pelo próprio Elon Musk (do Google Deepmind), o que, segundo Musk , causou uma aparente ruptura na amizade de longa data de Elon Musk e do CEO do Google, Larry Page. A ruptura na época (em 2015/2016) girava em torno da segurança da IA. Ilya se preocupava com a segurança da IA, Elon também, enquanto Larry não. Então, Ilya se tornou a equipe OpenAI.

Outra razão pela qual pensei que se tratava de um desacordo/desalinhamento fundamental em torno da segurança da IA, é o facto de Helen Toner, um dos três membros do Conselho que votou pela destituição de Sam, ter escrito recentemente um artigo de investigação que (conforme relatado pelo New York Times) foi a favor do concorrente direto da OpenAI, Antrópico, e criticou a abordagem da OpenAI para implementar AGI. O Antrópico, veja bem, foi criado exatamente por causa dessa tensão de segurança da IA. Seus fundadores são Dario Amodei, ex-vice-presidente de pesquisa da OpenAI, e sua irmã, Daniela Amodei, que foi vice-presidente de segurança e política da OpenAI. Vários outros ex-alunos de pesquisa da OpenAI também fizeram parte da equipe fundadora da Anthropic. Ainda mais estranho, foi relatado que o CEO da Anthropic, Dario, foi caçado pelo antigo conselho devido a uma possível fusão com a OpenAI (risos, a empresa da qual ele saiu, em primeiro lugar) e recusou.

E, por último, ontem mesmo, poucas horas antes da notícia do retorno triunfante de Sam e Greg ser divulgada, Elon Musk, o próprio fundador e investidor original da OpenAI, compartilhou em sua própria plataforma X, uma carta de ex-funcionários “preocupados” da OpenAI sobre , entre muitas coisas, um padrão perturbador de comportamento de Sam Altman e companhia, para não ouvir os pesquisadores de segurança. Veja a carta completa aqui . Em outras palavras, a maioria das pessoas que discordaram fortemente da segurança de Sam re/AI ao longo dos anos foram embora. O que resta da OpenAI, em sua maior parte, são os partidários de Sam.

Conheça o novo conselho de administração da OpenAI

Na negociação para o retorno de Sam Altman como CEO, o (antigo) Conselho concordou em ter esses três indivíduos iniciais no Conselho. Então, vamos conhecê-los.

Bret Taylor

Bret Taylor é um dos tecnólogos mais bem conectados e respeitados do Vale do Silício. Ele é mais conhecido por atuar como ex-CEO da Salesforce, empresa líder em serviços de software baseados em nuvem. Mas ainda mais notavelmente, Taylor desempenhou um papel fundamental como presidente do (antigo) Conselho de Administração do Twitter, onde foi fundamental para (forçar a queda) a aquisição do Twitter pela garganta de Elon Musk, depois que o bilionário deu uma cambalhota. do negócio de 44 bilhões de dólares (veja aqui , aqui e aqui ).

Larry verão

Lawrence "Larry" Summers é um economista americano, ex-vice-presidente de Economia do Desenvolvimento e economista-chefe do Banco Mundial, e ex-secretário do Tesouro dos EUA. Ele é mais conhecido por servir como o 27º presidente da Universidade de Harvard. Durante o seu mandato em Harvard, Summers gerou controvérsia com os seus comentários sobre as mulheres na ciência, sugerindo que diferenças intrínsecas de aptidão entre homens e mulheres poderiam ser uma razão para a sub-representação das mulheres nos campos da ciência e da engenharia. Estas observações levaram a críticas generalizadas e desempenharam um papel significativo na sua eventual demissão da presidência de Harvard. Vai saber.

Adam D’Angelo

Adam D'Angelo, CEO do Quora, um popular site de perguntas e respostas. Antes do Quora, ele foi diretor de tecnologia do Facebook e também pode ter sido um de seus muitos cofundadores, além de Mark Zuckerberg. Mais notavelmente, ele é o único membro permanente do Conselho da OpenAI que ainda atuará neste novo conselho. Sim, o Conselho que derrubou Sam em primeiro lugar.

Hmmm, um excelente negociador de negócios ( o único adulto em uma sala que poderia fazer Elon aderir ao seu contrato legalmente vinculativo para comprar o Twitter ), um economista influente, embora controverso (os comentários sexistas de Larry sobre o intelecto das mulheres não seriam um bom presságio para o conselho deposto membros, ambos mulheres!), e um CEO misterioso que raramente dava entrevistas (ninguém sabe por que Adam (supostamente) demitiu Sam, até hoje)... essas são as pessoas que atualmente controlam o destino dos indiscutivelmente mais influentes tecnologia do nosso tempo.

Considerações finais (espero que seja a última vez nesta saga, por enquanto)

A IA pode ser a tecnologia mais importante desta década e das próximas. Mas a história que se desenrolou no fim de semana passado apenas nos mostra o quão incrivelmente falhas são as pessoas sob perigo de serem controladas. Tecnologia experiente + humanos imperfeitos = combinação bastante desastrosa, imho. Não importa o quão falho, irracional e aparentemente louco o agora extinto conselho OpenAi pareça em sua decisão de demitir Sam, ainda há um elefante grande, gigante e enorme na sala que é o evento que desencadeou a decisão no primeiro lugar.

Foi relatado que Sam concordou fundamentalmente com uma investigação completa ao retornar. E até então, permanecerei, na melhor das hipóteses, cético quanto à capacidade deste novo Conselho de defender simultaneamente a elevada missão da OpenAI de salvar a humanidade dos robôs superinteligentes (parafraseados) e, ao mesmo tempo, ganhar muito dinheiro. Parece um paradoxo, tal como o capitalismo, o altruísmo eficaz e os seres humanos.