6月22日,京东黑板报宣布,近日,京东开源实时视频视觉语言交互模型JoyAI-VL-Interaction。这是全球首个全栈开源的interaction模型和系统,并获得vLLM-Omni的day-0原生支持。
据介绍,JoyAI-VL-Interaction让大模型从“一问一答”走向“边看边说”,开发者基于这套框架,可以快速搭建能持续观察、自主判断、即时响应的实景AI助手。
京东表示,相比传统模型,JoyAI-VL-Interaction有三重突破:主动判断;实时响应;适时智能体委托,同时保持观察和交互。支持摄像头、直播流、监控流等多种视频输入,也支持语音输入输出、可视化界面、长期记忆、后台模型接口和vLLM部署方案。