Cómo agregar subtítulos (CC) a transmisiones en vivo de Amazon IVS

Hay dos tipos de personas en este mundo: los que ven programas de televisión con subtítulos y los que son raros.

Bromas aparte, la importancia de los subtítulos para video no puede subestimarse. Además de ser cruciales para las personas sordas y con problemas de audición, los subtítulos también son importantes cuando el audio no está disponible o no se escucha con claridad. Tal vez esté viendo un video en un lugar público y el audio se vea ahogado por el ruido ambiental. O tal vez la persona que habla en el video está usando un micrófono que no es de la mejor calidad, o habla con un acento o dialecto que no es familiar para el espectador. Los subtítulos son siempre una buena cosa. Desafortunadamente, subtitular el audio en una transmisión en vivo es complicado.

Antes de profundizar en el problema de subtitular transmisiones en vivo, hablemos un poco sobre la semántica. ¿Sabías que existe una diferencia entre los términos subtítulos y subtítulos ? especificación HTML describe los subtítulos como:

transcripción o traducción del diálogo, adecuada para cuando el sonido está disponible pero no se entiende (por ejemplo, porque el usuario no entiende el idioma de la pista de audio del recurso multimedia). Superpuesto en el video.

La especificación describe los subtítulos como:

Transcripción o traducción del diálogo, efectos de sonido, pistas musicales relevantes y otra información de audio relevante, adecuado para cuando el sonido no está disponible o no se escucha claramente (por ejemplo, porque está silenciado, ahogado por el ruido ambiental o porque el usuario es sordo) ). Superpuesto en el video; etiquetados como apropiados para personas con problemas de audición.

Esto significa que cuando hablamos de "subtítulos ocultos" para videos en vivo, generalmente nos referimos a subtítulos , ya que los subtítulos generalmente incluyen información descriptiva. Piensa en una escena de un programa de televisión en la que un actor se sube al coche para salir de casa y se despide de su cónyuge. La leyenda de esta escena podría decir "Adiós, querida. [arranca el motor del automóvil]".

No estamos cerca de tener sistemas de inteligencia artificial que describan información contextual como esta para nosotros, por lo que estamos limitados a agregar subtítulos de "voz a texto" puros a nuestra transmisión en vivo; podemos hacer eso usando el siguiente método.

Nota: Notarás que el título y el cuerpo de esta publicación de blog usan los términos "subtítulos" o "subtítulos ocultos", aunque en realidad estamos hablando aquí de subtítulos basados en las definiciones anteriores. Desafortunadamente, dado que el término "subtítulos ocultos" se usa con tanta frecuencia de manera incorrecta, tiene más sentido usarlo incorrectamente para ayudar a los desarrolladores a encontrar esta publicación de blog y aprender cómo agregar esta función a sus transmisiones en vivo. ¡Solo sé que de lo que realmente estamos hablando aquí son subtítulos!

Agregar subtítulos a transmisiones en vivo de Amazon IVS

La solución que analizamos en esta publicación se centra en la transmisión a una transmisión en vivo de Amazon Interactive Video Service (Amazon IVS) desde Estudio OBS . OBS no ofrece soporte nativo para subtítulos, pero hay varios complementos que pueden realizar la conversión de voz a texto necesaria y publicar los subtítulos en una transmisión RTMP en el Formato CEA-708/EIA-608 compatible con Amazon IVS .

Para esta demostración, elegí usar el OBS-captions-plugin de ratwithacompiler ( GitHub y página de complementos ). Para comenzar con este complemento, Descargalo y instalarlo . Una vez que lo hayas instalado en OBS, selecciona Muelles y asegúrate de que el muelle de subtítulos esté habilitado.

A continuación, seleccione el icono de 'engranaje' en el panel de subtítulos para modificar la configuración.

Asegúrese de seleccionar una fuente de subtítulos y modifique la configuración del complemento para que se ajuste a sus necesidades. Por ejemplo, el Tiempo de espera de subtítulos predeterminado para mí se estableció en 15.0 segundos, pero encontré que 5.0 segundos era un mejor valor.

Una vez que haya guardado su configuración y haya comenzado una nueva transmisión en vivo, el complemento se encarga de convertir su voz en texto y producir la información de subtítulos requerida para la transmisión en vivo.

Para reproducir los datos de subtítulos con el reproductor de Amazon IVS, podemos agregar un detector de eventos para escuchar el evento TextCue ( documentos ).

 ivsPlayer.addEventListener(IVSPlayer.PlayerEventType.TEXT_CUE, (evt) => { console.log(evt); }

El controlador, tal como se configuró anteriormente, registra todos los eventos TextCue entrantes en la consola.

La propiedad text del evento TextCue contiene los datos del título.

Con algo de HTML y CSS, podemos representar los datos de los subtítulos como una superposición en el elemento <video> . Esta implementación depende en gran medida de sus necesidades, pero debe tener en cuenta la ocultación automática de la superposición después de un período específico sin datos de subtítulos.

Resumen

En esta publicación, analizamos cómo usar un complemento OBS para convertir voz en texto y publicar ese texto como datos de subtítulos en una transmisión en vivo de Amazon IVS.