长视频问答的“先总结后搜索”方法：结论

链接表

• 摘要和简介
• 方法
• 实验
• 相关工作
• 结论
• 限制和参考
• A. 实验细节
• B. 即时样本

5. 结论

我们引入了 Long Story Short，这是一种先总结后搜索的方法，用于了解视频叙事问答的全局叙事和相关细节。当问答背景非常广泛且需要与此类背景进行高级交互才能解决所述问答时，我们的方法非常有效，长视频问答就是这种情况。此外，我们建议通过使用 CLIPCheck 进行事后检查视觉对齐来进一步增强模型生成答案的视觉基础。我们的零样本方法改进了 MovieQA 和 DramaQA 基准中的监督式最新方法。我们计划向公众发布代码和生成的情节数据。

除了这项工作之外，还有两个可能的研究方向：首先，通过角色重新识别和共指解析提供与故事更一致的视觉描述，可以提高 GPT-3 的输入质量。其次，可以设计一种更具动态性的多跳搜索，以分层方式结合全局和局部信息。