京东开源全球首个全栈实时视频视觉语言交互模型，对比竞品胜率最高达87.9%

【导语近日京东开源了实时视频视觉语言交互模型JoyAI-VL-Interaction这是全球首个全栈开源的interaction模型和系统能让大模型从“一问一答”走向“边看边说”在评测中对比竞品优势明显。】全球首个开源开启实时视频交互新范式京东近日开源的JoyAI-VL-Interaction是全球首个全栈开源的interaction模型和系统还获得了vLLM-Omni的day-0原生支持。此模型让大模型从传统的“一问一答”模式转变为“边看边说”开发者基于该框架能快速搭建实景AI助手可实现持续观察、自主判断和即时响应。三重突破超越传统模型局限相比传统模型JoyAI-VL-Interaction有三重显著突破。首先是主动判断传统模型需等用户发起问题才处理画面而它能持续观察视频流自主判断何时说话或沉默。例如用户设置“裁判出示红牌时提醒我”模型会自动预警。其次是实时响应传统视频理解多在上传完整视频后分析而它面向正在发生的视频流画面变化时就能响应在安防预警等场景中更具价值。最后是适时智能体委托它具备后台任务委派能力遇到复杂任务可交给后台大模型或Agent前台继续观察开启了AI与人类协作的新范式。高灵活性支持多类型输入与组件替换JoyAI-VL-Interaction支持摄像头、直播流、监控流等多种视频输入也支持语音输入输出、可视化界面等。其ASR、TTS等组件都可按需替换开发者能接入自己的语音服务、Agent等具有很高的灵活性。评测获胜对比竞品优势明显在评测中JoyAI-VL-Interaction覆盖多个真实流式场景。在58个真人盲评案例中对比豆包视频通话助手总体胜率达77.6%对比Gemini视频通话助手总体胜率达87.9%尤其在监控预警场景中对两个基线均取得100%胜率。编辑观点京东开源的JoyAI-VL-Interaction为实时视频交互领域带来新突破其三重优势和高灵活性使其在实际应用中表现出色有望推动相关产业发展。