긴 비디오 질문 답변을 위한 요약 후 검색 방법: 방법

링크 표

• 초록 및 소개
• 방법
• 실험
• 관련된 일
• 결론
• 제한 사항 및 참조
• 가. 실험 내용
• B. 프롬프트 샘플

2. 방법

2.1. 플롯 생성

2.2. 내러티브 검색

요약된 설명과 질문이 주어지면 긴 비디오에서 질문과 관련된 상대적으로 짧은 클립을 검색하려고 합니다. 언어 모델은 불규칙하고 종종 시끄러운 개방형 텍스트를 생성합니다. 비디오의 정확한 부분을 검색하기 위해 텍스트 형식이 아닌 플롯의 인덱스를 출력하도록 모델을 구동합니다.

생성된 인덱스는 언어 모델의 개방형 특성으로 인해 여전히 노이즈가 있을 수 있습니다. 모델이 텍스트 형식으로 답변을 출력할 때 rouge-l [19] 점수를 사용하여 생성된 문장과의 유사성이 지정된 임계값 α ≥ 0.5보다 높은 줄거리 조각 후보를 찾습니다.

2.3. 시각적 확인