A interatividade e a imprevisibilidade das plataformas de conteúdo gerado pelo usuário (UGC) são uma grande parte do motivo pelo qual são tão populares. Mas essa imprevisibilidade significa que as comunidades devem ser diligentes no monitoramento de seu conteúdo para garantir que ele atenda às diretrizes da comunidade ou à política de uso aceitável e seja apropriado, seguro e acolhedor para todos os usuários. Isso geralmente resulta em um sistema de moderação em que os usuários relatam possíveis ofensas às diretrizes da comunidade e os moderadores ou administradores tomam as medidas necessárias. Muitas vezes, esse é um processo manual que deixa muito a desejar. de transmissão ao vivo As ferramentas (IA) e Aprendizado de Máquina (ML) melhoraram nos últimos anos, e os desenvolvedores podem usar essas ferramentas para auxiliar na moderação de suas comunidades. Nesta postagem, veremos uma maneira de fazer isso com o Amazon Interactive Video Service (Amazon IVS) e o Amazon Rekognition. de Inteligência Artificial Visão geral da solução Analisar cada quadro de cada transmissão ao vivo em um aplicativo com seria uma tarefa muito cara e difícil. Em vez disso, os desenvolvedores podem analisar amostras das transmissões ao vivo em seus aplicativos em uma frequência especificada para ajudar seus moderadores, alertando-os se houver conteúdo que precise de revisão adicional por um moderador humano. Não é uma solução 100% perfeita, mas é uma maneira de automatizar a moderação de conteúdo e ajudar a facilitar o trabalho dos moderadores. AI/ML Esta solução envolve os seguintes passos: configurar em seus canais Amazon IVS para salvar imagens em miniatura em uma frequência especificada gravação automática de transmissões ao vivo para Amazon Simple Storage Service (Amazon S3) Crie uma regra do Amazon EventBridge que seja acionada quando um novo objeto for criado no bucket do Amazon S3 Crie uma função do AWS Lambda que seja acionada pela regra EventBridge e use o Amazon Rekognition para detectar conteúdo como nudez, violência ou jogos de azar que podem precisar ser moderados por um moderador humano Crie uma função AWS Lambda e exponha-a por meio do Amazon API Gateway para fornecer um meio de interromper uma transmissão ao vivo, se necessário Envie um evento personalizado para um contendo os resultados da análise Sala de bate-papo do Amazon IVS Criação da regra do Amazon EventBridge e das funções do AWS Lambda Usaremos o AWS Serverless Application Model (SAM) para facilitar a criação da regra e das funções. Aqui está todo o arquivo que descreve as permissões necessárias, a regra do Amazon EventBridge, a camada AWS Lambda (para a dependência do AWS SDK) e as definições de função. Vamos detalhar isso abaixo. template.yaml AWSTemplateFormatVersion: '2010-09-09' Transform: 'AWS::Serverless-2016-10-31' Description: Amazon IVS Moderation Functions Globals: Function: Runtime: nodejs18.x Timeout: 30 MemorySize: 128 Api: EndpointConfiguration: Type: REGIONAL Cors: AllowMethods: "'GET, POST, OPTIONS'" AllowHeaders: "'Content-Type'" AllowOrigin: "'*'" MaxAge: "'600'" Resources: IvsChatLambdaRefLayer: Type: AWS::Serverless::LayerVersion Properties: LayerName: sam-app-dependencies Description: Dependencies for sam app ContentUri: dependencies/ CompatibleRuntimes: - nodejs18.x LicenseInfo: "MIT" RetentionPolicy: Retain IVSAccessPolicy: Type: AWS::IAM::Policy Properties: PolicyName: IVSModerationAccessPolicy PolicyDocument: Version: "2012-10-17" Statement: - Effect: Allow Action: - 's3:GetObject' - 's3:GetObjectAcl' - 'ivschat:SendEvent' - 'ivs:StopStream' - 'rekognition:DetectModerationLabels' Resource: '*' Roles: - Ref: ModerateImageRole - Ref: StopStreamRole ApiAccessPolicy: Type: AWS::IAM::Policy Properties: PolicyName: ApiAccessPolicy PolicyDocument: Version: "2012-10-17" Statement: - Effect: Allow Action: - 'sts:AssumeRole' Resource: '*' Roles: - Ref: ModerateImageRole - Ref: StopStreamRole EventRule: Type: AWS::Events::Rule Properties: Description: EventRule State: ENABLED EventPattern: source: - aws.s3 detail-type: - "Object Created" detail: bucket: name: - ivs-demo-channel-stream-archive object: key: - suffix: .jpg Targets: - Arn: !GetAtt ModerateImage.Arn Id: MyLambdaFunctionTarget PermissionForEventsToInvokeLambda: Type: AWS::Lambda::Permission Properties: FunctionName: !Ref ModerateImage Action: lambda:InvokeFunction Principal: events.amazonaws.com SourceArn: !GetAtt EventRule.Arn ModerateImage: Type: 'AWS::Serverless::Function' Properties: Environment: Variables: DEMO_CHAT_ARN: 'arn:aws:ivschat:us-east-1:[redacted]:room/[redacted]' DEMO_CHANNEL_ARN: 'arn:aws:ivs:us-east-1:[redacted]:channel/[redacted]' Handler: index.moderateImage Layers: - !Ref IvsChatLambdaRefLayer CodeUri: lambda/ StopStream: Type: 'AWS::Serverless::Function' Properties: Environment: Variables: DEMO_CHAT_ARN: 'arn:aws:ivschat:us-east-1:[redacted]:room/[redacted]' DEMO_CHANNEL_ARN: 'arn:aws:ivs:us-east-1:[redacted]:channel/[redacted]' Handler: index.stopStream Layers: - !Ref IvsChatLambdaRefLayer CodeUri: lambda/ Events: Api1: Type: Api Properties: Path: /stop-stream Method: POST Outputs: ApiURL: Description: "API endpoint URL for Prod environment" Value: !Sub "https://${ServerlessRestApi}.execute-api.${AWS::Region}.amazonaws.com/Prod/" Há muita coisa acontecendo nesse arquivo, então vamos dividi-lo um pouco. Primeiro, criamos uma camada para habilitar a inclusão do AWS SDK for JavaScript (v3) em nossa função. IvsChatLambdaRefLayer: Type: AWS::Serverless::LayerVersion Properties: LayerName: sam-app-dependencies Description: Dependencies for sam app ContentUri: dependencies/ CompatibleRuntimes: - nodejs18.x LicenseInfo: "MIT" RetentionPolicy: Retain No diretório , há um arquivo que inclui os módulos que nossa função precisa. dependencies/nodejs package.json { "dependencies": { "@aws-sdk/client-ivs": "^3.289.0", "@aws-sdk/client-ivschat": "^3.289.0", "@aws-sdk/client-rekognition": "^3.289.0" } } A próxima seção, identificada pelas chaves e , fornece ao nosso aplicativo sem servidor a capacidade de acessar as APIs necessárias ( , , , e ) e expor o método stop stream que criaremos abaixo por meio do Amazon API Gateway. IVSAccessPolicy APIAccessPolicy s3:GetObject s3:GetObjectAcl ivschat:SendEvent ivs:StopStream rekognition:DetectModerationLabels Em seguida, criamos a regra do Amazon EventBridge. A propriedade em deve corresponder ao nome do bucket do Amazon S3 que você configurou em sua configuração de gravação. A gravação no Amazon S3 cria vários arquivos, incluindo listas de reprodução e mídia HLS, para que possamos filtrar essa regra para disparar apenas para nossas miniaturas, definindo a sob como . name bucket key object suffix: jpg EventRule: Type: AWS::Events::Rule Properties: Description: EventRule State: ENABLED EventPattern: source: - aws.s3 detail-type: - "Object Created" detail: bucket: name: - ivs-demo-channel-stream-archive object: key: - suffix: .jpg Targets: - Arn: !GetAtt ModerateImage.Arn Id: MyLambdaFunctionTarget Em seguida, damos à regra as permissões necessárias para invocar a função AWS Lambda. PermissionForEventsToInvokeLambda: Type: AWS::Lambda::Permission Properties: FunctionName: !Ref ModerateImage Action: lambda:InvokeFunction Principal: events.amazonaws.com SourceArn: !GetAtt EventRule.Arn Agora podemos definir nossa função que será invocada pela regra do Amazon EventBridge. ModerateImage: Type: 'AWS::Serverless::Function' Properties: Environment: Variables: DEMO_CHAT_ARN: 'arn:aws:ivschat:us-east-1:[redacted]:room/[redacted]' DEMO_CHANNEL_ARN: 'arn:aws:ivs:us-east-1:[redacted]:channel/[redacted]' Handler: index.moderateImage Layers: - !Ref IvsChatLambdaRefLayer CodeUri: lambda/ estou declarando e como variáveis de ambiente, mas seu aplicativo provavelmente derivaria os valores ARN do evento passado para a função, pois você provavelmente usaria essa funcionalidade com mais do que apenas um único canal do Amazon IVS. Observação: DEMO_CHAT_ARN DEMO_CHANNEL_ARN Por fim, podemos definir a função que será utilizada para interromper um stream, caso seja necessário. StopStream: Type: 'AWS::Serverless::Function' Properties: Environment: Variables: DEMO_CHAT_ARN: 'arn:aws:ivschat:us-east-1:[redacted]:room/[redacted]' DEMO_CHANNEL_ARN: 'arn:aws:ivs:us-east-1:[redacted]:channel/[redacted]' Handler: index.stopStream Layers: - !Ref IvsChatLambdaRefLayer CodeUri: lambda/ Events: Api1: Type: Api Properties: Path: /stop-stream Method: POST Criando as funções do AWS Lambda Agora que descrevemos nossa infraestrutura com AWS SAM, vamos criar as funções que descrevemos. Em , as classes SDK, recuperamos os valores das variáveis de ambiente que passamos e criamos instâncias dos clientes necessários para nossas funções. index.mjs import Arn import { IvsClient, StopStreamCommand } from "@aws-sdk/client-ivs"; import { IvschatClient, SendEventCommand } from "@aws-sdk/client-ivschat"; import { RekognitionClient, DetectModerationLabelsCommand } from "@aws-sdk/client-rekognition"; const chatArn = process.env.DEMO_CHAT_ARN; const channelArn = process.env.DEMO_CHANNEL_ARN; const ivsClient = new IvsClient(); const ivsChatClient = new IvschatClient(); const rekognitionClient = new RekognitionClient(); A função receberá o evento Amazon EventBridge, extrairá o e do evento e enviará um por meio do para detectar qualquer conteúdo inapropriado ou ofensivo em imagens com base nas categorias . moderateImage bucket key DetectModerationLabelsCommand rekognitionClient listado aqui export const moderateImage = async (event) => { console.log('moderateImage:', JSON.stringify(event, null, 2)); const bucket = event.detail.bucket.name; const key = event.detail.object.key; const detectLabelsCommandInput = { Image: { S3Object: { Bucket: bucket, Name: key, } }, }; const detectLabelsRequest = new DetectModerationLabelsCommand(detectLabelsCommandInput); const detectLabelsResponse = await rekognitionClient.send(detectLabelsRequest); if (detectLabelsResponse.ModerationLabels) { sendEvent('STREAM_MODERATION', detectLabelsResponse.ModerationLabels); } }; Se necessário, a função chama para publicar um evento personalizado para qualquer cliente front-end conectado a uma determinada sala de bate-papo do Amazon IVS. moderateImage sendEvent const sendEvent = async (eventName, eventDetails) => { const sendEventInput = { roomIdentifier: chatArn, attributes: { streamModerationEvent: JSON.stringify(eventDetails), }, eventName, }; const sendEventRequest = new SendEventCommand(sendEventInput); await ivsChatClient.send(sendEventRequest); }; Seu front-end pode decidir como lidar com esse evento e a lógica para publicar esse evento dependerá de suas necessidades de negócios. Talvez você prefira acionar um alarme personalizado no CloudWatch, enviar um e-mail ou publicar uma notificação via Amazon SNS? As necessidades de cada aplicativo diferem, mas os dados de moderação estão disponíveis neste ponto para fazer o que você precisa. O método usa o para enviar um . Novamente, a implementação disso depende de você. Você pode até automatizar totalmente esse comando se o resultado do Amazon Rekognition corresponder a uma determinada categoria ou exceder um nível de confiança. stopStream ivsClient StopStreamCommand export const stopStream = async (event) => { console.log('stopStream:', JSON.stringify(event, null, 2)); try { const stopStreamRequest = new StopStreamCommand({ channelArn }); const stopStreamResponse = await ivsClient.send(stopStreamRequest); responseObject.body = JSON.stringify(stopStreamResponse); } catch (err) { responseObject.statusCode = err?.name === 'ChannelNotBroadcasting' ? 404 : 500; responseObject.body = JSON.stringify(err); } return responseObject; }; Demonstração Em minha demonstração, decidi ouvir os eventos personalizados e exibir os resultados em uma exibição de moderador que mostra o item detectado e o nível de confiança. Também apresento ao moderador um botão 'Stop Stream' que invoca o método por meio do Amazon API Gateway exposto. stopStream Resumo Nesta postagem, aprendemos como usar o Amazon Rekognition para ajudar os moderadores humanos a moderar o conteúdo nos aplicativos que eles criam usando o Amazon IVS. Se você quiser saber mais sobre como o Amazon IVS pode ajudar a criar comunidades UGC mais seguras, confira as seguintes postagens de blog: Moderando mensagens de bate-papo do Amazon IVS com uma função AWS Lambda Moderando manualmente as mensagens de bate-papo do Amazon IVS
