Sobre AI Winters e o que isso significa para o futuro

Ampliando nossa série sobre a história dos LLMs, hoje, queremos contar a fascinante história dos "invernos de IA" - períodos de financiamento reduzido e interesse em pesquisa de IA. Você verá como a empolgação e a decepção continuam se revezando, mas pesquisas importantes sempre perseveram. Junte-se a nós enquanto exploramos a natureza em evolução da inteligência artificial nesta linha do tempo mais abrangente de invernos de IA. (Se você não tiver tempo agora, salve o artigo para mais tarde! Vale a pena ler com algumas lições para aprender).

Ainda bem que é verão porque estamos mergulhando em:

1. Inverno nº 1, 1966: falha na tradução automática
2. Inverno # 2, 1969: Conexionistas e Eclipse da Pesquisa de Redes Neurais
3. Inverno nº 3, 1974: lacuna de comunicação entre pesquisadores de IA e seus patrocinadores
4. Winter#4, 1987: Colapso do mercado de máquinas LISP
5. Inverno # 5, 1988: Sem inteligência de máquina de alto nível - sem dinheiro

Inverno nº 1, 1966: tradução automática

Conforme discutido na primeira edição desta série, a pesquisa em PNL tem suas raízes no início da década de 1930 e começa sua existência com o trabalho de tradução automática (MT). No entanto, avanços e aplicações significativas começaram a surgir após a publicação do influente memorando de Warren Weaver em 1949.

O memorando gerou grande entusiasmo na comunidade de pesquisa. Nos anos seguintes, ocorreram eventos notáveis: a IBM embarcou no desenvolvimento da primeira máquina, o MIT nomeou seu primeiro professor em tempo integral em tradução automática e várias conferências dedicadas à MT ocorreram. O ponto culminante veio com a demonstração pública da máquina IBM-Georgetown, que atraiu ampla atenção em jornais respeitados em 1954.

Outro fator que impulsionou o campo da tradução mecânica foi o interesse demonstrado pela Agência Central de Inteligência (CIA) . Durante esse período, a CIA acreditou firmemente na importância de desenvolver capacidades de tradução automática e apoiou tais iniciativas. Eles também reconheceram que esse programa tinha implicações que iam além dos interesses da CIA e da comunidade de inteligência.

céticos

Assim como todos os booms de IA que foram seguidos por invernos desesperados de IA, a mídia tendeu a exagerar a importância desses desenvolvimentos. As manchetes sobre o experimento IBM-Georgetown proclamavam frases como " O cérebro eletrônico traduz o russo ", "A máquina bilíngue", "O cérebro do robô traduz o russo para o inglês do rei" e " Criação poliglota ". No entanto, a demonstração real envolveu a tradução de um conjunto curado de apenas 49 frases em russo para o inglês, com o vocabulário da máquina limitado a apenas 250 palavras . Para colocar as coisas em perspectiva, este estudo descobriu que os humanos precisam de um vocabulário de cerca de 8.000 a 9.000 famílias de palavras para compreender textos escritos com 98% de precisão.

Esta demonstração criou uma grande sensação. No entanto, também havia céticos, como o professor Norbert Wiener, considerado um dos primeiros pioneiros em estabelecer as bases teóricas para a pesquisa de IA. Mesmo antes da publicação do memorando de Weaver e certamente, antes da demonstração, Wiener expressou suas dúvidas em uma carta a Weaver em 1947, afirmando:

Sinceramente, temo que os limites das palavras em diferentes idiomas sejam muito vagos e as conotações emocionais e internacionais sejam muito extensas para tornar qualquer esquema de tradução quase mecânico muito esperançoso. [...] Na época atual, a mecanização da linguagem, além de uma etapa como a concepção de oportunidades de leitura fotoelétrica para cegos, parece muito prematura.

Apoiadores e o financiamento do MT

No entanto, parece que os céticos estavam em minoria, pois os sonhadores ofuscaram suas preocupações e garantiram com sucesso o financiamento necessário. Cinco agências governamentais desempenharam um papel no patrocínio da pesquisa: a National Science Foundation (NSF) sendo o principal contribuinte, junto com a Agência Central de Inteligência (CIA), Exército, Marinha e Força Aérea. Em 1960, essas organizações haviam investido coletivamente quase US$ 5 milhões em projetos relacionados à tradução mecânica.

Em 1954, a pesquisa de tradução mecânica ganhou interesse suficiente para receber o reconhecimento da National Science Foundation (NSF), que concedeu uma bolsa ao Instituto de Tecnologia de Massachusetts (MIT). A CIA e a NSF iniciaram negociações, resultando em correspondência entre os dois diretores no início de 1956. A NSF concordou em administrar qualquer programa de pesquisa desejável em tradução automática que fosse acordado por todas as partes envolvidas. De acordo com o testemunho da National Science Foundation em 1960, 11 grupos nos Estados Unidos estavam envolvidos em vários aspectos da pesquisa de tradução mecânica apoiada pelo Governo Federal. Também houve grande interesse da Força Aérea, do Exército dos EUA e da Marinha dos EUA.

início da IA

No ano seguinte à demonstração pública da máquina IBM-Georgetown, o termo "IA" foi cunhado por McCarthy na proposta para a Conferência de Verão de Dartmouth, publicada em 1955. Este evento provocou uma nova onda de sonhos e esperanças, reforçando ainda mais as já existentes entusiasmo.

Surgiram novos centros de pesquisa, equipados com maior poder computacional e maior capacidade de memória. Simultaneamente, ocorreu o desenvolvimento de linguagens de programação de alto nível. Esses avanços foram possíveis, em parte, por investimentos significativos do Departamento de Defesa, um dos principais apoiadores da pesquisa em PNL.

O progresso na linguística, particularmente no campo dos modelos gramaticais formais propostos por Chomsky, inspirou vários projetos de tradução. Esses desenvolvimentos pareciam prometer recursos de tradução significativamente aprimorados.

Como John Hutchins escreve em " The History of Machine Translation in a Nutshell ", houve inúmeras previsões de "descobertas" iminentes. No entanto, os pesquisadores logo encontraram "barreiras semânticas" que apresentavam desafios complexos sem soluções diretas, levando a um crescente sentimento de desilusão.

desilusão

Em " The Whiskey Was Invisible ", um exemplo bem usado é citado por John Hutchins, a história de um sistema MT convertendo o ditado bíblico "O espírito está disposto, mas a carne é fraca" para o russo, que foi então traduzido de volta como "O uísque é forte, mas a carne está podre", é mencionado. Embora a precisão dessa anedota seja questionável e Isidore Pinchuk até diga que a história pode ser apócrifa, Elaine Rich a usou para mostrar a incapacidade dos primeiros sistemas de tradução automática para lidar com expressões idiomáticas. Em geral, este exemplo ilustra os problemas dos sistemas MT relacionados à semântica das palavras.

Ditado bíblico "O espírito está pronto, mas a carne é fraca"

Traduzido pelo sistema MT como "O uísque é forte, mas a carne está podre"

O principal sucesso veio das descobertas do grupo ALPAC, encomendado pelo governo dos Estados Unidos e chefiado pelo Dr. Leland Haworth, diretor da National Science Foundation, que apóia a ideia subjacente que está sendo ilustrada. Em seu relatório, a tradução automática é comparada à tradução humana de vários textos em física e ciências da terra. A conclusão: os resultados da tradução automática foram menos precisos, mais lentos, mais caros e menos abrangentes do que a tradução humana em todos os exemplos analisados.

Em 1966, o National Research Council cessou abruptamente todo o apoio à pesquisa de tradução automática nos Estados Unidos. Após o uso bem-sucedido de computadores para descriptografar códigos secretos alemães na Inglaterra, os cientistas acreditaram erroneamente que traduzir textos escritos entre idiomas não seria mais desafiador do que decodificar cifras. No entanto, as complexidades do processamento da "linguagem natural" mostraram-se muito mais formidáveis ​​do que o previsto. Tentativas de automatizar a consulta ao dicionário e aplicar regras gramaticais produziram resultados absurdos. Depois de duas décadas e vinte milhões de dólares investidos, nenhuma solução estava à vista, levando o comitê do Conselho Nacional de Pesquisa a encerrar o esforço de pesquisa.

A desilusão surgiu devido às altas expectativas de aplicações práticas no campo, apesar da falta de fundamentos teóricos suficientes em lingüística. Os pesquisadores estavam mais focados em aspectos teóricos do que em implementações práticas. Além disso, a disponibilidade limitada de hardware e a imaturidade das soluções tecnológicas representam desafios adicionais.

Inverno # 2, 1969: Conexionistas e Eclipse da Pesquisa de Redes Neurais

A segunda onda de decepção chegou rapidamente após a primeira, servindo como um alerta para os pesquisadores de IA sobre os perigos de afirmações exageradas. No entanto, antes de mergulhar nos problemas que se seguiram, algumas informações básicas são necessárias.

Na década de 1940, McCulloch e Walter Pitts embarcaram na compreensão dos princípios fundamentais da mente e desenvolveram as primeiras versões de redes neurais artificiais, inspirando-se na estrutura das redes neurais biológicas.

Cerca de uma década depois, na década de 1950, a ciência cognitiva emergiu como uma disciplina distinta, chamada de "revolução cognitiva". Muitos dos primeiros modelos de IA foram influenciados pelo funcionamento do cérebro humano. Um exemplo notável é o sistema SNARC de Marvin Minsky, a primeira rede neural artificial computadorizada que simulou um rato navegando em um labirinto.

No entanto, no final da década de 1950, essas abordagens foram amplamente abandonadas quando os pesquisadores voltaram sua atenção para o raciocínio simbólico como a chave para a inteligência. O sucesso de programas como o Logic Theorist (1956), considerado o primeiro programa de IA, e o General Problem Solver (1957), concebido como uma máquina universal de resolução de problemas por Allen Newell, Herbert A. Simon e Cliff Shaw da Rand Corporation, desempenhou um papel nessa mudança.

Um tipo de trabalho conexionista continuou: o estudo dos perceptrons, defendido por Frank Rosenblatt com entusiasmo inabalável, persistiu. Rosenblatt inicialmente simulou perceptrons em um computador IBM 704 no Cornell Aeronautical Laboratory em 1957. No entanto, esta linha de pesquisa parou abruptamente em 1969 com a publicação do livro Perceptrons de Marvin Minsky e Seymour Papert, que delineou as limitações percebidas dos perceptrons.

Como Daniel Crevier escreveu :

Logo após o aparecimento dos Perceptrons, um evento trágico retardou ainda mais a pesquisa no campo: Frank Rosenblatt, então um homem quebrado de acordo com rumores, se afogou em um acidente de barco. Tendo perdido seu promotor mais convincente, a pesquisa de redes neurais entrou em um eclipse que durou quinze anos.

Durante esse tempo, avanços significativos na pesquisa conexionista ainda estavam sendo feitos, embora em menor escala. A introdução de backpropagation por Paul Werbos em 1974, um algoritmo crucial para o treinamento de redes neurais, continuou a progredir, embora com recursos limitados. Garantir financiamento importante para projetos conexionistas continuou sendo um desafio, levando a um declínio em sua busca.

Não foi até meados da década de 1980 que ocorreu um ponto de virada. O inverno chegou ao fim quando pesquisadores notáveis ​​como John Hopfield, David Rumelhart e outros reviveram um interesse renovado e generalizado em redes neurais. Seu trabalho reacendeu o entusiasmo pelas abordagens conexionistas e abriu caminho para o ressurgimento da pesquisa e desenvolvimento em larga escala no campo das redes neurais.

Inverno nº 3, 1974: lacuna de comunicação entre pesquisadores de IA e seus patrocinadores

Altas expectativas e reivindicações ambiciosas costumam ser um caminho direto para a decepção. No final dos anos 1960 e início dos anos 1970, Minsky e Papert lideraram o projeto Micro Worlds no MIT, onde desenvolveram modelos simplificados chamados micro-mundos. Eles definiram o impulso geral do esforço como:

Sentimos que [os micromundos] são tão importantes que estamos dedicando grande parte do nosso esforço ao desenvolvimento de uma coleção desses micromundos e descobrindo como usar os poderes sugestivos e preditivos dos modelos sem sermos vencidos por sua incompatibilidade com os verdade literal.

Logo os proponentes dos micromundos perceberam que mesmo os aspectos mais específicos do uso humano não poderiam ser definidos sem considerar o contexto mais amplo da cultura humana. Por exemplo, as técnicas usadas em SHRDLU foram limitadas a domínios específicos de especialização. A abordagem dos micromundos não levou a uma solução gradual para a inteligência geral. Minsky, Papert e seus alunos não podiam generalizar progressivamente um micromundo em um universo maior ou simplesmente combinar vários micromundos em um conjunto maior.

Dificuldades semelhantes em atender às expectativas foram enfrentadas em outros laboratórios de IA em todo o país. O projeto do robô Shakey em Stanford, por exemplo, não atendeu às expectativas de se tornar um dispositivo de espionagem automatizado. Os pesquisadores se viram presos em um ciclo de exagero crescente, onde prometiam mais do que podiam entregar em suas propostas. Os resultados finais muitas vezes ficaram aquém e ficaram longe das promessas iniciais.

A DARPA, a agência do Departamento de Defesa que financia muitos desses projetos, começou a reavaliar sua abordagem e a exigir expectativas mais realistas dos pesquisadores.

1971–75: cortes da DARPA

No início dos anos 1970, o programa Speech Understanding Research (SUR) da DARPA visava desenvolver sistemas de computador capazes de compreender comandos verbais e dados para interação direta em cenários de combate. Após cinco anos e um gasto de quinze milhões de dólares, a DARPA encerrou abruptamente o projeto, embora os motivos exatos permaneçam obscuros. Instituições proeminentes como Stanford, MIT e Carnegie Mellon viram seus contratos multimilionários reduzidos a quase insignificância.

Daniel Crevier escreve em seu livro sobre a filosofia de financiamento da DARPA na época:

A filosofia da DARPA era “Financiar pessoas, não projetos!” Minsky havia sido aluno de Licklider em Harvard e o conhecia bem. Como Minsky me disse, “Licklider nos deu o dinheiro de uma só vez”, e não se importou particularmente com os detalhes.

Vários empreiteiros renomados, incluindo Bolt, Beranek e Newman, Inc. (BBN) e Carnegie Mellon, produziram sistemas notáveis ​​durante esses cinco anos. Esses sistemas incluíam SPEECHLESS, HIM, HEARSAY-I, DRAGON, HARPY e HEARSAY-II, que fizeram avanços significativos na compreensão da fala conectada e no processamento de sentenças de vários falantes com um vocabulário de mil palavras.

Esses sistemas tinham limitações na compreensão da entrada irrestrita , deixando os usuários adivinharem quais comandos se aplicavam a eles devido à gramática restrita. Apesar da decepção nesse aspecto, os pesquisadores de IA consideravam esses projetos com orgulho. Por exemplo, o HEARSAY-II, conhecido por integrar múltiplas fontes de conhecimento usando um dispositivo de "quadro-negro", foi aclamado como um dos programas de IA mais influentes já escritos.

Mas, neste ponto, a lacuna de comunicação entre os pesquisadores de IA e seus patrocinadores sobre as expectativas tornou-se muito grande.

1973: grande diminuição na pesquisa de IA no Reino Unido em resposta ao relatório Lighthill

A maré vazante da pesquisa de IA não era exclusiva dos pesquisadores americanos. Na Inglaterra, um relatório de Sir James Lighthill, uma figura distinta em dinâmica de fluidos e ex-ocupante da Cátedra Lucasian de Matemática Aplicada da Universidade de Cambridge, desferiu um golpe devastador no estado da pesquisa de IA. Lighthill categorizou sua pesquisa em três partes, conhecidas como "O ABC do assunto".

"A" representava Automação Avançada, com o objetivo de substituir os humanos por máquinas construídas para esse fim. "C" denota pesquisa do sistema nervoso central (SNC) baseada em computador. Por fim, o “B” simboliza a própria inteligência artificial, servindo de ponte entre as categorias A e C.

Enquanto as categorias A e C experimentaram períodos alternados de sucesso e fracasso, Lighthill enfatizou o sentimento generalizado e profundo de desânimo em torno da pretendida Bridge Activity da categoria B. Como ele diz: “ Isso levanta dúvidas sobre se todo o conceito de IA como um campo integrado de pesquisa é válida. ”

O relatório gerou um acalorado debate que foi transmitido na série "Controvérsia" da BBC em 1973. Intitulado "O robô de uso geral é uma miragem", o debate ocorreu no Royal Institution, com Sir James Lighthill enfrentando Donald Michie, John McCarthy e Richard Gregory.

Infelizmente, as repercussões do relatório foram severas, levando ao completo desmantelamento da pesquisa em IA na Inglaterra. Apenas um punhado de universidades, como Edimburgo, Essex e Sussex, continuaram seus esforços de pesquisa em IA. Não foi até 1983 que a pesquisa de IA experimentou um renascimento em uma escala maior. Esse ressurgimento foi motivado pela iniciativa de financiamento do governo britânico chamada Alvey, que alocou £ 350 milhões para pesquisa de IA em resposta ao Projeto Japonês de Quinta Geração.

Winter#4, 1987: Colapso do mercado de máquinas LISP

Durante o período conhecido como o inverno conexionista, sistemas simbólicos como Logical Theorist (1956) e General Problem Solver (1957) continuaram a progredir enquanto enfrentavam limitações de hardware. Esses sistemas só podiam lidar com exemplos de brinquedos devido aos recursos limitados do computador na época. Isto é o que Herbert Simon disse sobre a situação nas décadas de 1950-1960:

As pessoas estavam se afastando de tarefas que faziam do conhecimento o centro das coisas porque não podíamos construir grandes bancos de dados com os computadores que tínhamos na época. Nosso primeiro programa de xadrez e o Logic Theorist foram feitos em um computador que tinha um núcleo de 64 a 100 palavras e um tambor com 10.000 palavras de espaço utilizável. Portanto, semântica não era o nome do jogo. Lembro-me de um aluno que tive que queria fazer uma tese sobre como você extraía informações de uma grande loja. Eu disse a ele “De jeito nenhum! Você só pode fazer essa tese em um exemplo de brinquedo, e não teremos nenhuma evidência de como ele aumenta. É melhor você encontrar outra coisa para fazer. Assim, as pessoas evitavam problemas em que o conhecimento era a questão essencial.

Por volta de 1960, McCarthy e Minsky no MIT desenvolveram LISP , uma linguagem de programação baseada em funções recursivas. O LISP tornou-se tão importante devido às suas habilidades de processamento simbólico e flexibilidade no gerenciamento de tarefas complexas, o que é crucial para o desenvolvimento inicial da IA. Foi uma das primeiras linguagens usadas na pesquisa de IA. No entanto, foi somente no início dos anos 1970, com o advento dos computadores com capacidades de memória significativas, que os programadores puderam implementar aplicativos intensivos em conhecimento.

Esses sistemas formaram a base para os "sistemas especialistas", que visavam incorporar a experiência humana e substituir os humanos em certas tarefas. A década de 1980 marcou o surgimento dos sistemas especialistas, transformando a IA de um campo acadêmico em aplicações práticas, e o LISP tornou-se a linguagem de programação preferida para isso. O LISP “foi um afastamento radical das linguagens existentes” e introduziu nove ideias inovadoras, de acordo com o ensaio de Paul Graham, programador de computador e cofundador da Y Combinator e Hacker News.

O desenvolvimento de sistemas especialistas representou um marco significativo no campo da IA, preenchendo a lacuna entre a pesquisa acadêmica e as aplicações práticas. John McDermott da Carnegie Mellon University propôs o primeiro sistema especialista chamado XCON (eXpert CONfigurer) em janeiro de 1980. O XCON foi contratado pela Digital Equipment Corporation (DEC) para agilizar o processo de configuração de seus computadores VAX. Em 1987, a XCON processou um número significativo de pedidos, demonstrando seu impacto e eficácia.

Em 1981, a CMU começou a trabalhar em um novo sistema chamado Xsel. O desenvolvimento foi posteriormente assumido pela DEC e os testes de campo começaram em outubro de 1982. Enquanto Xcon e Xsel receberam publicidade significativa, eles ainda estavam no estágio de protótipo. Bruce Macdonald, então gerente do programa Xsel, começou a protestar que a publicidade superava em muito as realizações, mas o vice-presidente de vendas não ia parar. De fato, Macdonald se lembra da reunião com executivos seniores em que o vice-presidente de vendas olhou para ele e disse: “Você está trabalhando nisso há três anos. Não está pronto?”

O início dos anos 80 viu um influxo de histórias de sucesso de sistemas especialistas, levando à formação de grupos de IA em muitas grandes empresas. A ascensão dos computadores pessoais, a popularidade dos filmes Star Wars e revistas como Discover e High Technology contribuíram para o fascínio do público pela IA. O boom bilionário da biotecnologia no final da década de 1970 alimentou o interesse de investimento em alta tecnologia, levando os principais especialistas em IA a embarcar em novos empreendimentos :

• Edward Feigenbaum, frequentemente chamado de "pai dos sistemas especialistas", com alguns de seus colegas de Stanford, formou a Teknowledge, Inc.
• Pesquisadores da Carnegie Mellon incorporaram o Grupo Carnegie.
• Houve spin-offs do MIT suficientes para criar uma faixa em Cambridge, Massachusetts, conhecida como AI Alley. Essas startups incluíam Symbolics, Lisp Machines, Inc. e a Thinking Machines Corporation.
• O pesquisador Larry Harris deixou Dartmouth para formar a Artificial Intelligence Corporation.
• Roger Schank, em Yale, supervisionou a formação da Cognitive Systems, Inc.

As empresas surgidas nessa época podem ser divididas em três grandes áreas listadas desde a de maior faturamento até a de menor faturamento:

1. Hardware e software relacionados à IA, especificamente microcomputadores chamados de máquinas LISP, dedicados a executar programas LISP em velocidades próximas às do mainframe
2. O software chamado “ferramentas de desenvolvimento de sistemas especializados” ou “shells” foi usado por grandes corporações para desenvolver seus sistemas especializados internos.
3. Aplicações reais de sistemas especialistas

Em 1985, US$ 1 bilhão foi gasto coletivamente por 150 empresas em grupos internos de IA . Em 1986, as vendas de hardware e software relacionados à IA nos Estados Unidos atingiram US$ 425 milhões, com a formação de 40 novas empresas e investimentos totais de US$ 300 milhões.

O crescimento explosivo trouxe desafios à medida que a academia se sentia lotada com o influxo de repórteres, capitalistas de risco, headhunters da indústria e empreendedores. A reunião inaugural da Associação Americana de Inteligência Artificial em 1980 atraiu cerca de mil pesquisadores , enquanto em 1985, uma reunião conjunta da AAAI e IJCAI viu a participação de quase seis mil . A atmosfera mudou de roupas casuais para roupas formais.

Em 1984, na reunião anual da AAAI, Roger Schank e Marvin Minsky alertaram sobre a chegada do “Inverno da IA”, prevendo um estouro iminente da bolha da IA, que aconteceu três anos depois, e o mercado de IA especializada baseada em LISP hardware entrou em colapso .

A Sun Microsystems e empresas como a Lucid ofereciam poderosas estações de trabalho e ambientes LISP como alternativas. Estações de trabalho de uso geral representam desafios para máquinas LISP, levando empresas como Lucid e Franz LISP a desenvolver versões cada vez mais poderosas e portáteis de LISP para sistemas UNIX. Mais tarde, os computadores desktop da Apple e da IBM surgiram com arquiteturas mais simples para executar aplicativos LISP. Em 1987, essas alternativas equiparavam-se ao desempenho de caras máquinas LISP, tornando obsoletas as máquinas especializadas. A indústria no valor de meio bilhão de dólares foi rapidamente substituída em um único ano.

Década de 1990: Resistência à implantação e manutenção de novos sistemas especialistas

Após o colapso do mercado de máquinas LISP, máquinas mais avançadas tomaram seu lugar, mas eventualmente tiveram o mesmo destino. No início da década de 1990, a maioria das empresas LISP comerciais, incluindo a Symbolics e a Lucid Inc., faliram. A Texas Instruments e a Xerox também se retiraram do campo. Algumas empresas clientes continuaram a manter sistemas construídos em LISP, mas isso exigia trabalho de suporte.

Na década de 1990 e além, o termo "sistema especialista" e o conceito de sistemas autônomos de IA praticamente desapareceram do léxico de TI. Existem duas interpretações disso. Uma visão é que "os sistemas especialistas falharam" porque não puderam cumprir sua promessa exagerada, levando o mundo de TI a seguir em frente. A outra perspectiva é que os sistemas especialistas foram vítimas de seu sucesso. À medida que os profissionais de TI adotaram conceitos como mecanismos de regras, essas ferramentas passaram de ferramentas independentes para desenvolver sistemas especialistas especializados para se tornarem ferramentas padrão entre muitas.

Inverno # 5, 1988: Sem inteligência de máquina de alto nível - sem dinheiro

Em 1981, os japoneses revelaram seu ambicioso plano para o projeto do computador de Quinta Geração, causando preocupação em todo o mundo. Os Estados Unidos, com sua história de financiamento do Departamento de Defesa para pesquisa de IA e especialização técnica, responderam lançando a Iniciativa de Computação Estratégica (SCI) em 1983. A SCI visava desenvolver hardware de computador avançado e IA em um prazo de dez anos. Os autores de Strate gic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993 descrevem “a máquina imaginada pela SCI”:

Ele executaria dez bilhões de instruções por segundo para ver, ouvir, falar e pensar como um ser humano. O grau de integração exigido rivalizaria com o alcançado pelo cérebro humano, o instrumento mais complexo conhecido pelo homem.

Um projeto notável sob a Iniciativa de Computação Estratégica (SCI) foi o projeto "Caminhão Inteligente" ou Veículo Terrestre Autônomo (ALV) . Recebeu uma parcela significativa do orçamento anual da SCI e visava desenvolver um robô versátil para várias missões. Essas missões incluíam entrega de armas, reconhecimento, manuseio de munição e reabastecimento de retaguarda. O objetivo era criar um veículo que pudesse navegar em terrenos acidentados, superar obstáculos e utilizar camuflagem. Inicialmente, os protótipos com rodas limitavam-se a estradas e terrenos planos, mas o produto final foi concebido para atravessar qualquer terreno com pernas mecânicas.

No final da década de 1980, ficou evidente que o projeto não estava nem perto de atingir os níveis desejados de inteligência de máquina. O principal desafio surgiu da falta de uma estrutura de gerenciamento eficaz e estável que pudesse coordenar diferentes aspectos do programa e avançá-los coletivamente em direção à meta de inteligência de máquina. Várias tentativas foram feitas para impor esquemas de gerenciamento na SCI, mas nenhuma teve sucesso. Além disso, os objetivos ambiciosos do SCI, como a capacidade de direção autônoma do projeto ALV, excederam o que era alcançável na época e se assemelhavam aos sistemas multimodais contemporâneos de IA e ao conceito indescritível de AGI (Artificial General Intelligence).

Sob a liderança de Jack Schwarz, que assumiu o controle do Information Processing Technology Office (IPTO) em 1987, o financiamento para pesquisa de IA dentro da DARPA foi reduzido . Em Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence , Pamela McCorduck descreve a atitude de Schwarz em relação à Iniciativa de Computação Estratégica e o papel da IA:

Schwartz acreditava que a DARPA estava usando um modelo de natação – estabelecendo uma meta e remando em direção a ela independentemente das correntes ou tempestades. A DARPA deveria, em vez disso, usar um modelo de surfista - esperando a grande onda, o que permitiria que seus fundos relativamente modestos surfassem graciosamente e com sucesso em direção ao mesmo objetivo. A longo prazo, a IA era possível e promissora, mas sua onda ainda não havia surgido.

Apesar de não conseguir alcançar inteligência de máquina de alto nível, o SCI alcançou marcos técnicos específicos. Por exemplo, em 1987, o ALV demonstrou capacidade de direção autônoma em estradas de duas pistas, desvio de obstáculos e direção off-road em diferentes condições. O uso de câmeras de vídeo, scanners a laser e unidades de navegação inercial pioneiras do programa SCI ALV estabeleceu as bases para os desenvolvimentos de carros sem motorista comerciais de hoje.

O Departamento de Defesa investiu $ 1.000.417.775,68 no SCI entre 1983 e 1993, conforme dito em Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993 . O projeto acabou sendo sucedido pela Iniciativa de Computação Estratégica Acelerada na década de 1990 e mais tarde pelo Programa de Simulação e Computação Avançada.

Conclusão

Frio! Os invernos de IA certamente não eram divertidos. Mas parte da pesquisa que possibilitou os recentes avanços com modelos de linguagem grandes (LLMs) foi feita durante esses tempos. Durante o auge dos sistemas especializados simbólicos, os pesquisadores conexionistas continuaram seu trabalho em redes neurais, embora em menor escala. A descoberta de backpropagation por Paul Werbos, um algoritmo crucial para o treinamento de redes neurais, foi crucial para o progresso futuro.

Em meados da década de 1980, o "inverno conexionista" chegou ao fim quando pesquisadores como Hopfield, Rumelhart, Williams, Hinton e outros demonstraram a eficácia da retropropagação em redes neurais e sua capacidade de representar distribuições complexas. Esse ressurgimento ocorreu simultaneamente com o declínio dos sistemas especializados simbólicos.

Após esse período, a pesquisa em redes neurais floresceu sem mais contratempos, levando ao desenvolvimento de inúmeros novos modelos, abrindo caminho para o surgimento dos LLMs modernos. Na próxima edição, vamos nos aprofundar neste período frutífero de pesquisa em redes neurais. Fique atento!

História dos LLMs por Turing Post:

1. A era da tradução mecânica e como ela caiu
2. Fascinante nascimento da IA, os primeiros chatbots e o poder do Departamento de Defesa dos EUA
3. A história de AI Winters e o que ela nos ensina hoje

Continua…