Leeminjing / dsh-eyes

dsh-eyes

给 DeepSeek Harness 里的纯文本大模型（如 DeepSeek）装上「随时可用的眼睛」：图片粘贴/附件后留在后台，模型自己在需要时调用 view_image 工具去看图（底层走任意 OpenAI 兼容视觉接口，默认百炼 Qwen），就像模型原生具备多模态一样。

快速体验：上传图片，自然丝滑

不需要开关、不需要手动调用工具——直接 Ctrl+V 粘贴一张截图，像发普通消息一样提问即可。DeepSeek 会在思考里自然地决定「我要看这张图」，自己调用 view_image，然后直接给出结构化回答，一气呵成：

上图实拍：粘贴一张 MSN 截图，问「介绍这个页面的布局」。注意中间的 Think → Tool call · view_image → Think 过程——识别不是被强行塞进第一步，而是模型在需要时自己决定看图；视觉提取与最终回答无缝衔接，就像 DeepSeek 原生具备多模态一样丝滑。

解决的问题

DeepSeek 是纯文本模型，Harness 默认不允许给「当前模型不支持图片」的会话发送带图消息。本插件：

• 让带图消息能通过发送准入并被持久化保存；
• 在把消息交给主模型之前把图片剥离成一句引用说明；
• 注册 view_image 工具，主模型随时调用它看图，视觉模型提取描述/OCR 文字后交给主模型继续回答。

安装

# 1) 安装插件（github 方式，也可以换成 npm 包名）
dsh plugin --profile web add github:Leeminjing/dsh-eyes

# 2) 配置 API Key（Windows；换成你所用视觉提供商的 key）
setx VISION_API_KEY "sk-你的key"

# 3) 配置视觉模型（必填，换成你账号里可用的视觉模型）
setx VISION_MODEL "qwen-vl-plus"

# 4) 配置接口端点（默认百炼；换其他 OpenAI 兼容提供商时必改）
setx VISION_ENDPOINT "https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions"

# 5) 重启 dsh，让环境变量生效

setx 只对新启动的进程生效，所以配置后要重启 dsh。 模型名与端点因提供商而异：百炼用 qwen-vl-plus/qwen-vl-max，OpenAI 用 gpt-4o，OpenRouter 用 qwen/qwen2.5-vl-72b-instruct 等。详见下表。

使用

1. 在会话里粘贴一张图片（Ctrl+V）或拖拽/点附件；
2. 发一句问题，例如「这张图里写了什么？」；
3. 主模型收到的是「图片引用说明」，它需要看图时会自动调 view_image(attachment_id=…)；
4. view_image 用视觉模型提取图片内容，主模型基于这些文字回答。

你可以在后续任意一轮继续追问同一张图（「再看一下图里第二行的数字」），图片一直留在后台，可反复查看。

工作原理

粘贴图片 + 提问
   │
   ▼
发送准入 ──(1) 把目标模型标记为“支持图片”── 图片持久化(生成 attachment_id)
   │
   ▼
请求派发前 ──(2) 剥离图片：image 块 → 【图片N attachment_id=…】引用说明，登记到本会话分片
   │
   ▼
主模型收到纯文本(引用说明 + 你的问题)
   │   主模型决定看图时
   ▼
调用 view_image(attachment_id) ──(3) 读字节 → base64 → 调视觉接口
   │
   ▼
视觉模型返回描述/OCR 文字
   │
   ▼
主模型基于文字作答

三个环节：

1. 准入放行：包装 llm.resolveModelInfo，让目标主模型声明 inputModalities: ['text','image']，使带图消息能通过 Host 的发送准入检查并被保存。
2. 图片剥离：包装 llm.streamWithRegistration，在请求派发给模型前把每个 image 块（含嵌套在 tool-result 里的）换成带序号的引用说明（【图片N attachment_id=…】），并按 sessionId 分片登记 attachment_id → ImageAttachmentRef。构造新的 options 对象传下去（原对象可能被冻结）。
3. view_image 工具：按单个 attachment_id、或 attachment_ids 数组一次看多张（或本地 image_path）读出图片字节，转成 data: URL，POST 到配置的视觉接口（按 VISION_API_STYLE 自动选用 Chat Completions 或 Responses 协议），返回文本（多图时带【图片N】分段）。

配置

配置项	环境变量	默认值
API Key	VISION_API_KEY	（必填）
视觉模型	VISION_MODEL	（必填，无默认）
接口端点	VISION_ENDPOINT	https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions
API 风格	VISION_API_STYLE	auto（按端点路径自动判断）
目标主模型	—（代码内 targetProvider）	deepseek-official
本地图片大小上限（image_path）	—（代码内 maxImageBytes）	15 MB

粘贴/附件图片的大小受 Harness 附件存储限制（默认 5 MB），与上表「本地文件」上限无关。

同时支持 Chat Completions 与 Responses API：VISION_API_STYLE 取值 auto（默认）/ chat / responses。

• auto：按端点路径自动识别——.../chat/completions → Chat Completions，.../responses → Responses API；裸 base URL 默认 Chat Completions 并自动补全路径。
• chat / responses：强制指定，插件会把端点路径自动归一化到对应协议。 请求体与响应解析都随风格切换（messages/image_url ↔ input/input_image），对使用方式完全透明，切换无需任何改动。

常见 OpenAI 兼容视觉提供商：

提供商	端点	模型示例
阿里云百炼	https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions	qwen-vl-plus / qwen-vl-max
OpenAI	https://api.openai.com/v1/chat/completions	gpt-4o / gpt-4o-mini
Moonshot	https://api.moonshot.cn/v1/chat/completions	moonshot-v1-8k-vision-preview
OpenRouter	https://openrouter.ai/api/v1/chat/completions	qwen/qwen2.5-vl-72b-instruct

也可在 cordis.patch.yml 里给该行传 config（会覆盖默认值 / 环境变量）：

- insert:
    - id: dsh-eyes
      name: dsh-eyes
      config:
        apiKey: sk-xxx          # 同 VISION_API_KEY
        model: qwen-vl-plus     # 同 VISION_MODEL
        # endpoint, targetProvider, maxImageBytes 同理

已知限制与说明

• 两个内部包装点：因为 Harness 目前没有公开的扩展点用于「发送准入的图片能力判断」和「派发前剥离图片」，本插件直接包装了 llm.resolveModelInfo 与 llm.streamWithRegistration 两个方法。副作用是：纯文本主模型会在模型选择器里显示为支持图片（这是有意为之，才能放行带图消息）。
• 主模型自动适配：任何纯文本主模型（不限 provider）都会被自动保护；本身原生支持图片的多模态主模型不受干预，图片直接原生通过。
• 视觉接口要求 OpenAI 兼容（Chat Completions 或 Responses API）；Anthropic / Gemini 的原生接口不直接支持，需走它们的 OpenAI 兼容网关。
• 会话隔离与持久化：图片引用索引按 sessionId 分片（一个会话只能查看自己的附件），并持久化到 .dsh/attachments/v1/dsh-eyes-index.json（启动时读回、新图落盘）。因此即使上下文被压缩、或进程重启，模型仍能通过 attachment_id 查看历史图片。
• API Key 请用环境变量 / 凭证服务管理，不要硬编码进仓库。

License

MIT