dsh-media-lens

drscrewdriver/dsh-media-lens
★ —Added 2026-10-22🔧 工具与能力视觉与多模态

About

liustack/modlens 的全媒体(视频/音频/图像)延伸:把本地媒体转成结构化证据(时间线/转写/版面区域)注入对话,让纯文本模型能引用具体帧、秒、说话人——Evidence, not imagination。每个媒体一条 failover 链,逐跳记录在 meta.attempts(降级绝不静默):宿主已注册全模态模型优先,其次自配 OpenAI-compatible 端点(逗号分隔多 key 轮换),再落到本地 ffmpeg 抽帧 / 本地 ASR CLI,末位仅元数据降级。吸收 modlens 实战经验——仅 auth/quota 类失败触发冷却且软化垫队尾(不剔除)、错误文本先脱密后截断、magic-byte 校验绝不信任扩展名。可选 vision-bridge 把透镜包装成模型选择器可见的 media-lens 包装 provider,让纯文本主力获得图/音/视频视野。多模态模型的注册/认证与真正的音视频直传依赖两个姊妹插件配合(均声明为 optional peer,未装则能力自动降级、不报错):dsh-thinking-levels 承接模型配置录入/登记面,dsh-llm-openai-completions 做 OpenAI-compatible 传输接管、把 file 块序列化成 video_url / input_audio 真正上送。隐私:媒体缺省会发往远端 provider,开启 strictLocalOnly 则不出本机。不随包分发的安装前提:PATH 上的 ffmpeg/ffprobe(抽帧/重编码/时长探测,缺失时降为仅元数据),以及音频兜底需用户自备本地 ASR CLI。支持宿主 0.1.7 / 0.2.0 / 0.2.1 共 6 个 rc(engines.dsh 精确枚举)。npm 包名:dsh-media-lens。

Install

curl -fsSL https://www.dshhub.co/install.sh -o dshhub-install.sh && bash dshhub-install.sh

Already have DSH? Skip the wizard and install the market directly:dsh plugin --profile web add dshhub-market

This plugin installs only from the plugin side.

← Back to catalog