Estratégias para uma governança responsável da IA

A adoção generalizada da IA exige proteções metódicas para governar, gerenciar e proteger seu uso.

Nos últimos tempos, o mundo testemunhou um aumento significativo no uso da inteligência artificial , permeando todos os aspectos do cenário digital. Do processamento automatizado aos algoritmos avançados, a inteligência artificial está lentamente se tornando parte integrante de nossa vida diária e de nossas operações comerciais. A utilização de tecnologias de inteligência artificial em diversas indústrias e setores está a aumentar a uma escala sem precedentes e de forma exponencial. Isto também resultou em impactos profundos na sociedade, bem como em perigos e riscos para os direitos fundamentais dos indivíduos.

O que é Inteligência Artificial?

A Inteligência Artificial (IA) é um campo amplo que abrange várias técnicas e abordagens de aprendizado de máquina, lógica e baseadas em conhecimento para criar sistemas que podem executar tarefas normalmente executadas por humanos ou que exigem habilidades cognitivas humanas. Isso inclui tarefas como processamento de linguagem natural, reconhecimento de imagens, resolução de problemas e tomada de decisões. De acordo com a Lei de IA da União Europeia e o Relatório da OCDE sobre Gestão de Riscos de IA, um sistema de IA é um sistema baseado em máquina que, para objetivos explícitos ou implícitos, infere a partir das informações que recebe como gerar resultados, como previsões, conteúdo, recomendações, ou decisões que podem influenciar ambientes físicos ou virtuais.

Existem duas classificações amplas:

• IA discriminativa – só poderia fazer classificação de dados. Exemplo: regressão logística, k-vizinhos mais próximos, máquinas de vetores de suporte e árvores de decisão com gradiente aumentado. Arquiteturas neurais, como redes neurais convolucionais (CNN) e unidades de memória de longo e curto prazo (LSTM), são frequentemente usadas para construir modelos discriminativos de tamanho razoável para entradas muito longas e de comprimento variável.
• IA generativa - geração de novo conteúdo semelhante ao conteúdo no qual foi treinado. Exemplo: Redes Adversariais Gerativas (GANs), modelos de difusão e modelos autorregressivos.

GANs são estruturas de aprendizado de máquina que consistem em duas redes neurais, um gerador e um discriminador. O gerador gera dados moldando o ruído aleatório alimentado em um formato de destino. Os geradores por si só não podem avaliar a qualidade da sua produção. É aqui que entra o modelo discriminador. O discriminador visa diferenciar entre dados reais e dados falsos gerados pelo gerador. Os dois são treinados simultaneamente, com o discriminador treinado para diferenciar dados reais e geradores, e o gerador treinado para confundir o discriminador criando dados cada vez mais realistas. À medida que o treinamento avança, cada modelo se torna cada vez melhor em sua tarefa, resultando na capacidade do gerador de criar conteúdo de aparência realista. O desafio dos GANs é treiná-los. Por exemplo, GANs podem sofrer colapso de modelo no treinamento, no qual o gerador aprende apenas a gerar uma pequena variedade de amostras suficientes para confundir o discriminador, mas não o suficiente para serem úteis. É aqui que entra o modelo de difusão. Em essência, os modelos de difusão são treinados para recuperar dados de treinamento de suas versões de campo ruidoso. Após o treinamento, a difusão pode idealizar imagens inteiramente novas a partir de uma entrada de ruído puro. Ele constrói iterativamente uma imagem por meio de um processo gradual de remoção de ruído.

Em seguida, os modelos autorregressivos estão enraizados em estatísticas. Ele gera sequências de dados modelando a probabilidade do próximo elemento em uma sequência condicionada aos elementos anteriores. O próximo elemento é então selecionado aleatoriamente desta distribuição, o uso de um parâmetro de “temperatura” pode tornar os resultados mais determinísticos ou mais aleatórios, e o processo é repetido. Componentes populares de redes neurais para modelos autorregressivos incluem LSTMs e transformadores (que permitem que redes neurais aprendam padrões em volumes muito grandes de dados de treinamento de texto). Em vez de apenas completar uma sequência fornecida a ele, adicionamos um estágio de alinhamento aos modelos autorregressivos. Aqui, o modelo é adicionalmente treinado para preferir certos pares de entrada-saída a outros com base no feedback humano. Por exemplo, no alinhamento de LLMs, ensinou com sucesso aos modelos como responder a perguntas e comandos (aprendizado por reforço).

Principais benefícios da IA

• Automação para Eficiência – automatiza tarefas repetitivas, levando ao aumento da produtividade e eficiência operacional;
• Insights baseados em dados – extraia insights valiosos de grandes conjuntos de dados, proporcionando às empresas uma vantagem competitiva por meio de tomadas de decisão baseadas em dados;
• Resolução Criativa de Problemas - gerar soluções e ideias inovadoras, mesmo quando fornecidas com instruções ambíguas ou incompletas, potenciando a resolução de problemas e a criatividade;
• Criação de Conteúdo - produza conteúdo de alta qualidade com rapidez e larga escala, beneficiando o marketing de conteúdo, a publicidade e o envolvimento do cliente;
• Tomada de decisão autônoma – permite níveis de tomada de decisão autônoma que não eram possíveis com gerações anteriores de IA.

Importância dos dados na IA generativa

Os dados desempenham um papel central no desenvolvimento de modelos generativos de IA, particularmente Modelos de Grandes Linguagens (LLMs). Esses modelos dependem de grandes quantidades de dados para treinamento e refinamento. Por exemplo, o ChatGPT da OpenAI foi treinado em um extenso conjunto de dados que compreende mais de 45 terabytes de dados de texto coletados da Internet, incluindo livros digitalizados e entradas da Wikipédia. No entanto, a grande necessidade de recolha de dados na IA generativa pode suscitar preocupações significativas, incluindo a recolha e utilização inadvertidas de dados pessoais sem o consentimento dos indivíduos. Os pesquisadores de IA do Google também reconheceram que esses conjuntos de dados, muitas vezes grandes e provenientes de vários lugares, podem conter informações pessoais confidenciais, mesmo que sejam derivadas de dados disponíveis publicamente.

Existem basicamente duas fontes comuns para coleta de dados:

• Dados publicamente acessíveis - Web scraping é o método mais comum usado para coletar dados. Envolve a extração de grandes volumes de informações de páginas da web acessíveis ao público. Esses dados são então utilizados para fins de treinamento ou podem ser reaproveitados para venda ou disponibilizados gratuitamente para outros desenvolvedores de IA. Os dados obtidos por meio de web scraping geralmente incluem informações pessoais compartilhadas por usuários em plataformas de mídia social como Facebook, Twitter, LinkedIn, Venmo e outros sites. Embora os indivíduos possam publicar informações pessoais nessas plataformas por vários motivos, como conectar-se com potenciais empregadores ou fazer novos amigos, normalmente não pretendem que os seus dados sejam utilizados para treinar modelos generativos de IA.

  
  

• Dados do usuário - Os dados compartilhados pelos usuários com aplicações generativas de IA, como chatbots, podem ser armazenados e usados para treinamento sem o conhecimento ou consentimento dos titulares dos dados. Por exemplo, os utilizadores que interagem com chatbots que fornecem aconselhamento sobre cuidados de saúde, terapia, serviços financeiros e outros serviços podem divulgar informações pessoais sensíveis. Embora esses chatbots possam fornecer termos de serviço mencionando que os dados do usuário podem ser usados para “desenvolver e melhorar o serviço”, os críticos poderiam argumentar que os modelos generativos de IA deveriam buscar o consentimento afirmativo dos usuários ou fornecer divulgações claras sobre a coleta, uso e retenção de dados do usuário.

Muitas organizações também incorporaram modelos generativos de IA em seus produtos ou serviços para aprimorar suas ofertas. Tal integração, em alguns casos, também pode servir como fonte de dados, inclusive dados pessoais dos consumidores, para treinamento e aperfeiçoamento desses modelos.

As ameaças potenciais incluem:

• Vigilância em massa não autorizada de indivíduos e sociedades
• Violações inesperadas e não intencionais de informações pessoais de indivíduos
• Manipulação de dados pessoais em grande escala para diversos fins
• Geração de falsificações profundas críveis e manipuladoras de indivíduos
• Ampliar e mascarar as influências de preconceitos culturais, racismo e preconceitos em resultados jurídicos e socialmente significativos
• Violação dos princípios de proteção de dados de limitação de finalidade, limitação de armazenamento e minimização de dados
• Discriminação contra grupos específicos de indivíduos e preconceito social
• Desinformação e apresentação de informações factualmente imprecisas
• Propriedade intelectual e violações de direitos autorais

Governança de IA

À medida que entramos numa era fortemente influenciada pelas tecnologias generativas de IA, a governação da inteligência artificial torna-se uma prioridade cada vez mais vital para as empresas que pretendem permitir a utilização segura de dados e de IA, ao mesmo tempo que cumprem os requisitos legais e éticos. Em outubro de 2023, o uso “seguro, protegido e confiável” da inteligência artificial justificou uma ordem executiva da administração Biden-Harris nos EUA, uma emissão que seguiu de perto a Lei de IA da UE, a primeira lei abrangente de IA do mundo. lei nos livros. Outros países, como a China, o Reino Unido e o Canadá, e até mesmo vários estados dos EUA, traçaram os seus próprios limites, propondo ou promulgando legislação que destaca a importância da segurança, da proteção e da transparência na IA.

Os gerentes de produto e, em geral, os líderes empresariais precisam adotar essa mentalidade segura de uso de IA ao mesmo tempo em que incorporam a IA em suas práticas de negócios. A governação eficaz da IA proporciona controlo e supervisão, garantindo que as empresas desenvolvem e gerem os seus serviços de IA de forma responsável, ética e em conformidade com as políticas internas e regulamentos externos de uma forma documentada, eficiente e demonstrável. Permitirá que as empresas mantenham a confiança e também acrescentem responsabilidade.

A governação da IA refere-se à imposição de quadros, regras, padrões, requisitos legais, políticas e melhores práticas que governam, gerem e monitorizam a utilização da inteligência artificial. Envolve dirigir, gerenciar e monitorar atividades de IA para atender aos requisitos legais e éticos. No plano ético, as empresas devem concentrar-se em garantir um elevado nível de transparência, segurança e proteção nos seus modelos de IA para construir e manter a confiança dos clientes. No plano jurídico, as empresas devem cumprir os requisitos legais e satisfazer os reguladores ou correr o risco de sanções financeiras substanciais e prejudicar a reputação da marca.

A investigação da McKinsey estima que a IA generativa poderá contribuir entre 2,6 biliões e 4,4 biliões de dólares em valor anual no futuro. No entanto, para concretizar este potencial, as organizações devem implementar a IA de uma forma que seja transparente, segura e confiável. Na verdade, o Gartner sugere que as organizações que operacionalizarem com sucesso a IA segura e confiável poderão ver um aumento de 50% na adoção da IA e no alcance dos objetivos de negócios.

Principais impulsionadores da governança da IA nas empresas

Isso inclui o seguinte:

• Inovação – A governação da IA proporciona um quadro estruturado, mas flexível, que incentiva a inovação responsável.
• Eficiência – ao padronizar e otimizar o desenvolvimento e implantação de IA, a governança de IA permite que as empresas coloquem produtos de IA no mercado mais rapidamente, reduzindo custos.
• Conformidade – A governança da IA alinha as soluções e a tomada de decisões de IA com as regulamentações do setor e os padrões legais globais. Isto garante que as práticas de IA cumprem os requisitos legais, reduzindo os riscos legais para o negócio e promovendo a sua conformidade regulamentar.
• Confiança – A governança da IA concentra-se na construção de sistemas de IA confiáveis e transparentes. Esta prática é crucial para manter os direitos e a satisfação do cliente e, ao mesmo tempo, proteger o valor da marca da organização. A IA confiável aumenta a confiança e a fidelidade do cliente, ao mesmo tempo que reduz o risco de ações regulatórias.

Um exemplo de estrutura de governança de IA desenvolvida pelo Gartner é AI TRiSM - estrutura de gerenciamento de confiança, risco e segurança de IA que se concentra na mitigação de riscos e no alinhamento com as leis de privacidade de dados no uso de IA. Possui quatro pilares: 1) Explicabilidade e monitoramento do modelo - para garantir transparência e confiabilidade. 2) Operações de modelo – envolve o desenvolvimento de processos e sistemas para gerenciar modelos de IA ao longo de seu ciclo de vida. 3) Segurança de aplicações de IA – para manter os modelos seguros e protegidos contra ameaças cibernéticas. 4) Privacidade do modelo - para proteger os dados usados para treinar ou testar modelos de IA, gerenciando fluxos de dados de acordo com as leis de privacidade (finalidade/limitações de armazenamento de dados, princípios de minimização/proteção de dados). No geral, TRiSM é uma abordagem para aumentar a confiabilidade, confiabilidade, segurança e privacidade dos modelos de IA.

Ações a serem tomadas para uma melhor governança da IA

• Visibilidade aprimorada em sistemas de IA: descubra e catalogue modelos de IA. O objetivo aqui é fornecer às empresas uma visão geral completa e abrangente de seu uso de IA, identificando e registrando detalhes de todos os modelos de IA usados em nuvens públicas, ambientes privados e aplicativos de terceiros. Abrange as finalidades dos modelos, dados de treinamento, arquitetura, entradas, saídas e interações, incluindo modelos de IA não documentados ou não sancionados. A criação de um catálogo centralizado destas informações aumenta a transparência, a governação e a utilização eficaz da IA, apoiando melhores decisões e gestão de riscos. É essencial para revelar toda a gama de aplicações de IA e quebrar silos operacionais dentro da organização.

  
  

• Avaliação Abrangente de Riscos - avalie riscos e classifique modelos de IA. O objetivo aqui é avaliar os riscos dos seus sistemas de IA nas fases de pré-desenvolvimento e desenvolvimento e implementar medidas de mitigação de riscos. Envolve o aproveitamento de cartões de modelo que oferecem avaliações de risco predefinidas para modelos de IA, incluindo descrições de modelos, uso pretendido, limitações e considerações éticas. Estas classificações de risco fornecem detalhes abrangentes que cobrem aspectos como toxicidade, maldade, preconceito, considerações de direitos autorais, riscos de alucinação e até mesmo eficiência do modelo em termos de consumo de energia e tempo de execução de inferência. Com base nessas classificações, as organizações podem decidir quais modelos sancionar para implantação e uso, quais modelos bloquear e quais modelos precisam de proteções adicionais antes do consumo.

  
  

• Práticas de dados transparentes – mapeie e monitore dados para fluxos de IA. Os dados fluem para os sistemas de IA para treinamento, ajuste e inferência e os dados fluem para fora dos sistemas de IA como saída. Ele permite que as empresas descubram todo o contexto em torno de seus modelos e sistemas de IA. Isso significa mapear modelos e sistemas de IA para fontes e sistemas de dados associados, processamento de dados, aplicativos SaaS, riscos potenciais e obrigações de conformidade. Este mapeamento abrangente permite que as equipes de privacidade, conformidade, segurança e dados identifiquem dependências, identifiquem possíveis pontos de falha e garantam que a governança da IA seja proativa e não reativa.

  
  

• Controles de segurança robustos – implemente dados em controles de IA. Permite o estabelecimento de controles rigorosos para a segurança e confidencialidade dos dados inseridos e gerados a partir de modelos de IA. Esses controles incluem controles de segurança de dados e privacidade exigidos por estruturas de segurança e leis de privacidade, respectivamente. Por exemplo, técnicas de redação ou anonimização podem ser aplicadas para remover valores identificáveis dos conjuntos de dados. Ele garante a ingestão segura de dados em modelos de IA, alinhando-se às políticas de dados empresariais e aos direitos do usuário. Se dados confidenciais chegarem aos modelos LLM, a segurança se tornará extremamente difícil. Da mesma forma, se os dados corporativos forem convertidos em formatos vetoriais, protegê-los se tornará mais desafiador. Do lado da geração e saída de dados, proteger as interações de IA exige cautela contra ataques externos, uso interno malicioso e configurações incorretas. Para garantir conversas seguras com assistentes, bots e agentes de IA, firewalls LLM devem ser implantados para filtrar prompts, recuperações e respostas prejudiciais. Esses firewalls devem ser capazes de se defender contra várias vulnerabilidades destacadas no OWASP Top 10 para LLMs e nas estruturas NIST AI RMF, incluindo ataques de injeção imediata e ataques de exfiltração de dados.

  
  

• Conformidade diligente com estruturas regulatórias - cumpra os regulamentos. As empresas que utilizam sistemas de IA devem cumprir regulamentos e padrões específicos de IA, bem como obrigações de privacidade de dados relacionadas ao uso de IA. Para agilizar esse exigente processo de conformidade, as empresas podem aproveitar a automação abrangente de conformidade adaptada à IA. Esse sistema oferece um amplo catálogo de regulamentações e estruturas globais de IA, incluindo o NIST AI RMF e a EU AI Act, entre outros. Facilita a criação de projetos distintos de IA dentro da sua estrutura, permitindo aos usuários identificar e aplicar os controles necessários para cada projeto. Este processo inclui verificações e avaliações automatizadas que exigem a contribuição das partes interessadas, proporcionando uma abordagem holística para garantir a conformidade.

Vantagens de implementar a governança de IA

As empresas que implementarem com sucesso a governação da IA alcançarão

a) Transparência total em seus sistemas de IA sancionados e não sancionados

b) Visibilidade clara dos riscos da IA

c) Mapeamento de IA e dados

d) Fortes controles automatizados de IA + dados

e) Conformidade com os regulamentos globais de IA.

Globalmente, precisamos de garantir a utilização segura da IA. Embora a priorização da segurança possa resultar em lucros empresariais ligeiramente inferiores no curto prazo imediato, os benefícios a médio e longo prazo são substanciais.