Uma Breve História da Computação e Análise de Dados – Dos Cartões Perfurados à “Pilha de Dados Moderna”

Uma jornada desde as origens da computação e da análise de dados até o que hoje chamamos de "Pilha de Dados Moderna". O que vem depois?

As origens da computação e da análise de dados

As origens da computação e da análise de dados começaram em meados da década de 1950 e começaram a tomar forma com a introdução do SQL em 1970:

• 1954: Processamento de Linguagem Natural (PNL) - “ Experimento Georgetown-IBM ”, tradução automática de russo para inglês.

• 1960: Cartões Perfurados

• 1970: Linguagem de Consulta Estruturada (SQL)
• Década de 1970: Sistemas Interativos de Planejamento Financeiro - Criar uma linguagem para “permitir que os executivos construam modelos sem intermediários”
• 1972: C, LUNAR - Uma das primeiras aplicações da computação moderna, um sistema de recuperação de informações em linguagem natural, ajudou os geólogos a acessar, comparar e avaliar dados de análise química sobre rochas lunares e composição do solo
• 1975: Express - O primeiro sistema de Processamento Analítico Online (OLAP), destinado a analisar dados de negócios de diferentes pontos de vista
• 1979: VisiCalc - O primeiro programa de planilha eletrônica

• Década de 1980: Sistemas de Apoio à Decisão em Grupo - “Sistema Informatizado de Trabalho Colaborativo”

A “pilha de dados moderna”

A "Modern Data Stack" é um conjunto de tecnologias e ferramentas usadas para coletar, armazenar, processar, analisar e visualizar dados em uma plataforma bem integrada baseada em nuvem. Embora o QlikView fosse pré-nuvem, é o exemplo mais antigo do que a maioria reconheceria como um painel analítico usado por plataformas modernas como Tableau e PowerBI:

• 1994: QlikView - “Análise baseada em painel”

• 2003: Quadro
• 2009: Wolfram Alpha - “Mecanismo de busca computacional”
• 2015: Power BI
• 2017: ThoughtSpot - “Análise baseada em pesquisa”

Papel, linguagens de consulta, planilhas, painéis, pesquisa, o que vem a seguir?

Algumas das aplicações analíticas mais inovadoras, pelo menos em termos de experiência do usuário, convertem a linguagem humana em alguma saída computacional:

• Texto para SQL: uma história tão antiga quanto o tempo, o LUNAR foi desenvolvido pela primeira vez na década de 70 para ajudar os geólogos a acessar, comparar e avaliar dados de análises químicas usando linguagem natural. O Salesforce WikiSQL introduziu o primeiro extenso compêndio de dados criado para o caso de uso de texto para SQL, mas continha apenas consultas SQL simples. O conjunto de dados Yale Spider introduziu um benchmark para consultas mais complexas e, mais recentemente, o BIRD introduziu consultas “sujas” do mundo real e pontuações de eficiência para criar um benchmark adequado para aplicativos de texto para SQL.
• Texto para linguagem computacional: Wolfram Alpha, ThoughtSpot
• Texto para código: análise avançada de dados ChatGPT

A "análise de dados baseada em conversas" é uma evolução natural?

• A UX de interfaces analíticas modernas, como pesquisa e chat, está evoluindo , tornando-se mais intuitiva, possibilitada por PNL e LLMs
• As interfaces analíticas têm origem na capacitação dos tomadores de decisão, mas os tomadores de decisão ainda dependem em grande parte dos analistas de dados
• Muitas consultas dos tomadores de decisão são ad-hoc , mais adequadas para “análises descartáveis”
• A geração de insights é um processo criativo onde muitos insights são obtidos em conversas sobre dados, possivelmente com colegas
• O fluxo de trabalho da análise de dados é desarticulado , desde a imaginação da análise até a apresentação dos resultados

Agradecimentos

Datas para a seção "As Origens da Computação e Análise de Dados" graças a https://web.paristech.com/hs-fs/file-2487731396.pdf e http://dssresources.com/history/dsshistoryv28.html .