paint-brush
Shadow AI: remodelando o futuro, mas a que custo?por@viceasytiger
1,404 leituras
1,404 leituras

Shadow AI: remodelando o futuro, mas a que custo?

por Vik Bogdanov7m2024/02/17
Read on Terminal Reader

Muito longo; Para ler

Em resposta às vulnerabilidades de segurança emergentes de ferramentas de IA como Amazon Q e ChatGPT, grandes empresas como Amazon, Samsung e Apple implementaram políticas rígidas de uso de IA. Apesar destes esforços, surgiu uma cultura de “IA sombra”, com os funcionários a contornar as restrições para utilizar a IA para fins de eficiência, destacando uma lacuna significativa entre a política e a prática. Estudos recentes mostram uma utilização não oficial generalizada de IA generativa no local de trabalho, apesar das proibições corporativas. Este cenário sublinha os desafios de equilibrar as preocupações de segurança com os benefícios da IA, incentivando as organizações a explorar estratégias para gerir a Shadow AI, incluindo o desenvolvimento de políticas abrangentes de utilização de IA, promovendo uma cultura de inovação e melhorando a governação de dados para mitigar riscos e aproveitar o potencial da IA de forma responsável. .
featured image - Shadow AI: remodelando o futuro, mas a que custo?
Vik Bogdanov HackerNoon profile picture


Explorando o impacto da Shadow AI nos negócios: riscos, estratégias e a busca por um futuro seguro e inovador. Como as empresas navegarão nesta nova fronteira?


Em dezembro de 2023, a Amazon revelou seu mais recente empreendimento de IA , Q, prometendo uma alternativa mais segura aos chatbots voltados para o consumidor, como o ChatGPT. No entanto, a excitação durou pouco. Apenas três dias após o anúncio, o Amazon Q estava envolvido em polêmica. Os funcionários ficaram alarmados com as medidas inadequadas de segurança e privacidade, revelando que Q estava aquém dos rigorosos padrões corporativos da Amazon. Os críticos destacaram sua tendência para "alucinações" e vazamento de informações confidenciais, incluindo locais de data centers da AWS, recursos de produtos não lançados e programas de descontos internos. Os engenheiros da Amazon foram forçados a entrar no modo de controle de danos, abordando problemas críticos marcados como emergência “sev 2” para evitar consequências futuras.


Na mesma época, a Samsung Electronics Co. enfrentou sua própria dor de cabeça induzida pela IA. Código-fonte interno sensível chegou ao ChatGPT, destacando vulnerabilidades de segurança gritantes. A resposta foi rápida: a proibição de ferramentas de IA generativas em toda a empresa foi comunicada através de um memorando interno. A decisão da Samsung ressaltou as dificuldades de gerenciamento de dados em plataformas externas de IA, como Google Gemini e Microsoft Copilot, onde o controle sobre a recuperação e exclusão de dados é difícil. Esta medida reflectiu as preocupações de 65% dos funcionários da Samsung , que viam estes serviços de IA como um cavalo de Tróia digital. Apesar do impacto da proibição na produtividade, a Samsung permaneceu firme, optando por desenvolver soluções internas de IA para tradução, resumo de documentos e desenvolvimento de software até que um ambiente seguro de utilização de IA pudesse ser estabelecido.


A Apple também entrou na briga, proibindo seus funcionários de usar ChatGPT e ferramentas similares baseadas em IA. A proibição foi parcialmente alimentada pelas afiliações das ferramentas à Microsoft, um concorrente direto, alimentando temores sobre a segurança de dados confidenciais da Apple. Esta tendência não era exclusiva dos gigantes da tecnologia; gigantes financeiros como JPMorgan Chase , Deutsche Bank, Wells Fargo e outros também limitaram o uso de chatbots de IA, com o objetivo de proteger informações financeiras confidenciais de olhares de terceiros.


No entanto, estas restrições deram origem inadvertidamente a uma cultura de “Shadow AI”, em que os funcionários utilizam os seus dispositivos pessoais no trabalho na sua busca por eficiência e poupança de tempo, destacando uma lacuna significativa nas práticas políticas na utilização da IA.

Shadow AI: ameaça invisível

Embora os dados concretos sejam escassos, vários indivíduos em empresas com restrições de IA confessaram ter empregado tais soluções alternativas – esses são apenas os que estão abertos sobre isso! Este uso da Shadow AI é predominante em muitas organizações, incentivando o uso da IA de maneiras que contradizem ou violam as políticas da empresa, tornando-se assim uma atividade que os funcionários se sentem obrigados a ocultar.


À medida que me aprofundei nesta questão, encontrei alguns estudos recentes que confirmam que, apesar das inúmeras histórias sobre empresas que restringem o uso da genAI no local de trabalho, os funcionários não parecem estar a usá-la menos . Uma pesquisa recente da Dell indica que 91% dos entrevistados já se envolveram com IA generativa em suas vidas de alguma forma, com outros 71% relatando que a usaram especificamente no trabalho.


O estudo conduzido pela ISACA destaca uma lacuna significativa entre a adoção da IA no local de trabalho e as políticas formais que regem a sua utilização na Austrália e na Nova Zelândia. Embora 63% dos funcionários nessas regiões utilizem IA para diversas tarefas, apenas 36% das organizações permitem isso oficialmente. A pesquisa revela que a IA está sendo aplicada para criar conteúdo escrito (51%), aumentar a produtividade (37%), automatizar tarefas repetitivas (37%), melhorar a tomada de decisões (29%) e atendimento ao cliente (20%). No entanto, apenas 11% das organizações têm uma política abrangente para a utilização de IA e 21% não têm intenção de estabelecer nenhuma.


Além disso, o estudo da ISACA indica uma falta de formação relacionada com a IA nas organizações, com apenas 4% a oferecê-la a todo o pessoal e 57% a não fornecer qualquer formação, mesmo aos diretamente afetados pelas tecnologias de IA. Esta situação levanta preocupações semelhantes às relativas ao Shadow IT, onde os funcionários utilizam recursos de TI sem aprovação formal, colocando potencialmente em risco a segurança e a governação organizacional.


Navegando na Nova Fronteira de Risco e Responsabilidade

Assim como a Shadow IT apareceu sorrateiramente nas empresas, a Shadow AI já está presente, forçando as organizações a confrontar de frente sua postura GenAI enquanto ainda descobrem como usá-la.


Os especialistas acreditam que as proteções não impedirão os funcionários de usar ferramentas de IA, pois aumentam significativamente a produtividade e economizam tempo. Portanto, os CIOs das empresas devem enfrentar esta questão e explorar estratégias de mitigação que se alinhem com a tolerância ao risco da sua organização. Inevitavelmente, os funcionários com boas intenções utilizarão estas ferramentas para aumentar a sua eficiência, para que os líderes tecnológicos corporativos possam evitar qualquer dano potencial à organização, abordando proativamente esta tendência e gerindo-a de forma eficaz.


A interação de cada funcionário com ferramentas de IA pode ser um potencial ponto de vulnerabilidade.


A história da Shadow IT é marcada por violações de dados significativas, como os infames incidentes envolvendo buckets inseguros do Amazon S3 , que levaram à exposição pública dos dados pessoais de 30.000 indivíduos. Estes precedentes históricos servem como um alerta, enfatizando a necessidade de uma governação de dados rigorosa na era da IA.


Shadow AI é um desafio mais formidável do que Shadow IT por vários motivos. Em primeiro lugar, a natureza descentralizada da utilização de ferramentas de IA significa que o potencial de utilização indevida ou fuga de dados não se limita a um subconjunto técnico de funcionários (por exemplo, programadores), mas estende-se a toda a organização. Além disso, os modelos AIaaS (AI como serviço) aprendem inerentemente com os dados que processam, criando uma dupla camada de risco: a possibilidade de acesso a dados confidenciais por fornecedores de IA e a capacidade aprimorada de maus atores para descobrir e explorar dados expostos.

Estratégias para enfrentar a Shadow AI

De acordo com Amir Sohrabi , vice-presidente regional da EMEA e Ásia e chefe de transformação digital do SAS, os líderes tecnológicos com uma mentalidade que prioriza os dados serão capazes de impulsionar eficiências aprimoradas em 2024 e além. Isto porque a maximização dos benefícios das ferramentas generativas de IA depende de dados bem organizados, necessitando de práticas robustas de gestão de dados que abrangem acesso, higiene e governação de dados.


Em seu artigo para CIO.com, Nick Brackney, Gen AI & Cloud Evangelist Leader da Dell Technologies, aponta “três maneiras prescritivas” que as empresas devem usar para combater com sucesso a Shadow AI.


Primeiro, estabeleça uma estratégia centralizada para o uso generativo de IA, envolvendo a liderança executiva para definir casos de uso, criar acesso seguro e proteger os dados. Esta abordagem simplifica a aplicação e a expansão em toda a organização, ao mesmo tempo que exige esforço para construir e identificar vitórias fáceis para garantir o sucesso.


Em segundo lugar, mantenha seus dados organizados e entenda quais tipos não devem ser colocados em ofertas de IA em nuvem pública ou privada hospedada, como segredos comerciais e informações confidenciais. Use soluções de IA que permitam controle total ou não retenham registros de conversas para esses tipos de dados.


Terceiro, controle o serviço de IA trazendo-o para seus dados, seja no local ou por meio de soluções seguras em nuvem, para aproveitar vantagens em governança, produtividade dos funcionários e acesso seguro aos dados. Esta abordagem melhora a experiência do usuário final, garantindo a conformidade e reduzindo o risco de exposição de dados.


Elaborar uma Política de Uso Aceitável de IA clara é crucial para delinear práticas impróprias de IA que podem prejudicar sua organização e para orientar a integração de aplicações de IA em linha com protocolos de segurança de dados e estratégias de gerenciamento de risco. Esta política serve como referência, permitindo que os decisores avaliem a utilização de ferramentas de IA na organização em relação às diretrizes estabelecidas, identifiquem rapidamente quaisquer exposições a riscos e determinem as ações corretivas necessárias.


Ethan Mollick, professor da Wharton School da Universidade da Pensilvânia, oferece outra abordagem instigante. Ele acredita que os métodos tradicionais de integração de novas tecnologias são ineficazes para a IA devido à sua natureza centralizada e ao ritmo lento, tornando difícil para os departamentos de TI desenvolverem modelos internos competitivos de IA ou para os consultores fornecerem orientações específicas. O verdadeiro potencial para a aplicação da IA reside nos funcionários que são especialistas nas suas próprias funções, sugerindo que, para que as organizações beneficiem verdadeiramente da IA, devem envolver a sua força de trabalho (também conhecida como "Ciborgues Secretos") na utilização de tecnologias de IA.


Em primeiro lugar, as marcas devem reconhecer que os funcionários de qualquer nível podem possuir competências valiosas em IA, independentemente da sua função formal ou do seu desempenho passado. Tendo detectado os ciborgues secretos entre os seus funcionários experientes em IA, as empresas devem promover um ambiente de aprendizagem colectiva, como bibliotecas colaborativas e criar uma cultura que diminua a apreensão em torno da IA, oferecendo garantias contra a perda de emprego devido à IA, promovendo o uso de IA para eliminar tarefas mundanas e incentivar um trabalho mais envolvente.


Estabelecer segurança psicológica é crucial para incentivar o uso aberto de IA entre os funcionários.


Os empregadores devem ser capazes de oferecer recompensas substanciais pela identificação de oportunidades significativas onde a IA possa ajudar a organização. Isto pode incluir incentivos financeiros, promoções ou condições de trabalho flexíveis e ser tratado através da gamificação.


As organizações atuais devem agir rapidamente para determinar como serão utilizados os ganhos de produtividade provenientes da IA, como os processos de trabalho devem ser reorganizados à luz das capacidades da IA e como gerir os riscos potenciais associados à utilização da IA, tais como alucinações de dados e preocupações com a propriedade intelectual. Isto exige uma abordagem proativa para a elaboração de políticas abrangentes de IA, envolvendo funcionários de todos os níveis para aproveitar os seus conhecimentos e promovendo uma cultura que recompense a inovação impulsionada pela IA.


À medida que os tecnófilos e as empresas navegam pelas complexidades da integração da IA, que estratégias irá implementar para aproveitar de forma responsável e inovadora esta tecnologia transformadora na sua organização ou projetos pessoais, garantindo uma abordagem equilibrada à privacidade, segurança e eficiência?


Não se esqueça de verificar meu artigo anterior para descobrir o segredo sujo da IA !