ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Vision-Agents 实时视频风格迁移:从摄像头到动画风只要一段代码

Vision-Agents 实时视频风格迁移:从摄像头到动画风只要一段代码 Vision-Agents 实时视频风格迁移从摄像头到动画风只要一段代码【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Streams edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-AgentsVision-Agents 的实时视频风格迁移功能可以把你的摄像头画面变成动画风格。链路不复杂本地摄像头画面发给 Decart 的实时换风格服务转换后回来。画面里的人不卡顿变的只是观感。左侧画面是帧经过 Decart 实时换风格服务之后的结果右侧是原始画面对比一目了然。帧的链路从哪来、经过什么、到哪去三步说清。你的本地视频轨道先被 Decart 插件里的换帧组件RestylingProcessor接住它把帧通过 WebSocket 逐帧推到 Decart 的实时 API等转换后的帧回来再作为一个新的视频轨道发布出去。mirage_v2是为实时视频风格迁移专门调过的模型帧流进来就有产出。这就是 Decart 视频风格化的全部动作帧推出去风格化帧收回来。风格一变背景和画面里的人一起变因为风格化作用于整帧。配好密钥写一段代码跑通第一个风格准备工作一句话uv sync装依赖.env里填DECART_API_KEY、STREAM_API_KEY、STREAM_API_SECRET三个密钥。processor decart.RestylingProcessor( initial_promptStudio Ghibli animation style, modelmirage_v2 )这里只指定风格提示词和模型mirage_v2负责实际的帧转换。把处理器挂到 agent 上就能跑agent Agent( edgegetstream.Edge(), agent_userUser(nameStyled AI), # ... 省略无关配置 processors[ decart.RestylingProcessor( initial_promptStudio Ghibli animation style, modelmirage_v2 ) ] )agent 走 Stream 边缘网络收送音视频处理器挂在视频链路上顺路完成实时视频风格转换。可直接运行的完整版本在 plugins/decart/example/decart_example.py照抄、替换密钥即可运行。让 LLM 自己决定什么时候换风格初始风格在启动时定好但没必要永远不动。把change_prompt注册给 LLMllm.register_function( descriptionThis function changes the prompt of the Decart processor which in turn changes the style of the video and users background ) async def change_prompt(prompt: str) - str: await processor.update_prompt(prompt) return fPrompt changed to {prompt}这样对话中由 LLM 自己决定何时换风格故事讲到黑暗的暴风雨夜晚视频风格就跟着切过去不用重启进程。把 demo 往三个方向再玩一玩initial_prompt换成别的美术风格画面就是另一套。风格化作用于整帧背景和人物会同步切换风格。同一条链路换到视频通话或直播场景也能用入口换个采集源就行。效果不对时先检查initial_prompt的措辞和model参数确认链路细节就去读 plugins/decart/example/decart_example.py看它是怎么把整条流程接起来的。【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Streams edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-Agents创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表