fzs356113-oss / dsh-knowledge-forge

知识熔炉 Knowledge Forge 🔥

An LLM-compiled knowledge base plugin for DeepSeek Harness — zero Python, zero vector DB, zero TF-IDF. Retrieval is thinking.

English Overview: Knowledge Forge is a Karpathy-style "LLM-compiled knowledge base" built natively on the DeepSeek Harness (DSH) agent framework. Instead of Python scripts, vector databases or TF-IDF scoring, every knowledge-processing step — summarizing raw notes, extracting concepts, writing articles, weaving wikilinks, spaced-repetition review and question answering — is performed by full DSH subagents coordinated by tiny workflow scripts. The vault is treated as a living organism with a metabolism: raw input goes in, a compiled wiki comes out, and every Q&A answer is archived back into the knowledge base so it grows smarter with use. Five drop-in workflows (compile, link-weaver, metabolism, qa-archive, health-check) ship in the DSH double-file format (*.meta.json + *.workflow.js).

✨ 亮点

• 零依赖三件套 — 不写一行 Python、不装向量数据库、不算 TF-IDF。编排脚本只做协调,所有知识处理由 DSH 子代理完成;子代理自带 read/write/grep/glob/pwsh/web_search 全套工具,能真正"读懂"笔记再下笔。
• 检索即思考 — 检索不走向量相似度,而是 grep/glob 粗筛 + 智能体重排(智能RAG选择性检索);问答答案归档回写 wiki,知识库越问越聪明。
• 递进编译 — raw → summaries → concepts → articles → indexes 五级流水线,LLM 写、人读、全程可追溯,每条 wiki 笔记都链接回原始素材。
• 代谢律驱动 — 回顾队列到期自动出队、生成批注、更新间隔,防止"只囤积不代谢"导致的系统失灵(知识库的代谢律)。
• 双文件即插即用 — 5 个工作流全部遵循 DSH 双文件格式(*.meta.json + *.workflow.js),复制进 DSH 即用,零配置。

灵感来源

本项目是 DeepSeek Harness 生态的开源插件,灵感来自以下中文概念:

• LLM 编译式知识库 — Karpathy 的核心洞察: LLM 写、人读,知识库像代码一样被"编译"维护
• 知识库的代谢律 — 输入、链接、回顾三个环节任何一个堆积,系统都会失灵
• 自我改进 Agent — 每次问答的答案都归档回写,知识库自我增强
• 智能 RAG 选择性检索 — 检索即思考: 粗筛 + 智能体重排,而非无脑向量检索
• CAD 自动化装配 / MCP 协议与 CAD 集成 — DSH 生态把智能体接入真实世界的同类实践

架构

flowchart LR
    subgraph In["📥 输入"]
        R["raw/ 原始素材<br/>问题 / 回顾队列"]
    end
    subgraph Forge["⚒️ Knowledge Forge 知识熔炉"]
        C["compile 编译<br/>scout→summarize→<br/>concepts→articles→index"]
        LW["link-weaver 织网"]
        MB["metabolism 代谢"]
        QA["qa-archive 问答归档"]
        HC["health-check 体检"]
    end
    R --> C
    C --> W["wiki/ 结构化知识"]
    W --> LW
    W --> MB
    W --> QA
    W --> HC
    HC -->|"问题清单"| LW
    QA -->|"新洞见回写"| W
    MB -->|"回顾批注"| W
    LW -->|"补链"| W
    W --> H["🧠 人阅读 / 检索"]
    H -->|"新素材"| R
    H -->|"提问"| QA

五条流水线

工作流	阶段	职责	产物
compile	scout 侦察 → summarize 摘要 → concepts 概念 → articles 文章 → index 索引重建	把 raw/ 原始素材递进编译为结构化 wiki	wiki/summaries wiki/concepts wiki/articles wiki/indexes/索引.md
link-weaver	scan 扫描 → weave 织网	找出孤儿笔记与低链接笔记,基于内容补真实 [[wikilinks]]	补链后的笔记 + 建议清单
metabolism	queue 队列 → review 回顾 → update 更新	回顾队列到期出队、生成批注、更新间隔	06-回顾/回顾日志.md + 更新后的队列
qa-archive	retrieve 检索 → answer 作答 → archive 归档	检索即思考地回答问题,答案归档回写 wiki	outputs/qa/<slug>.md + wiki 增强
health-check	scan 扫描 → audit 审计	死链 / 孤儿 / 链接密度 / 目录统计,产出体检报告	wiki/indexes/health-report.md

与传统 Python 版对比

维度	传统 Python 版(wiki_compiler.py / engine.py / qa_agent.py)	Knowledge Forge
运行时	需 Python 环境、LLM client、本地 HTTP 服务	纯 DSH 工作流,npx @deepseek-ai/dsh web 即用
检索	TF-IDF + 余弦相似度	grep/glob 粗筛 + 智能体重排(检索即思考)
知识处理	固定 prompt 模板 + 代码逻辑	每个阶段一个完整 DSH 智能体,自带工具、可读文件、可推理
编译流水线	手工运行 python 脚本	compile 工作流 5 阶段自动编排,子代理并行处理
闭环能力	索引 / 生长日志 / 仪表盘	compile + link-weaver + metabolism + qa-archive + health-check 五闭环
扩展性	改 Python 代码	改 prompt、加阶段、换 agent,零代码

目录结构

dsh-knowledge-forge/
├── README.md                  # 本文件
├── LICENSE                    # MIT
├── .gitignore
├── docs/
│   ├── 01-philosophy.md       # 七大设计原则
│   ├── 02-pipeline.md         # 总架构与各工作流输入输出
│   └── 03-migration.md        # 从 Python 版迁移指南
├── workflows/                 # DSH 双文件工作流
│   ├── compile.meta.json / compile.workflow.js
│   ├── link-weaver.meta.json / link-weaver.workflow.js
│   ├── metabolism.meta.json / metabolism.workflow.js
│   ├── qa-archive.meta.json / qa-archive.workflow.js
│   └── health-check.meta.json / health-check.workflow.js
├── skills/
│   └── knowledge-forge/SKILL.md   # DSH 技能(触发词: 编译/归档/体检/代谢)
├── templates/                 # Zettelkasten 笔记模板
│   ├── 闪念笔记模板.md / 文献笔记模板.md
│   └── 永久笔记模板.md / MOC模板.md
└── examples/
    ├── demo-vault/            # 可直接运行的演示知识库
    └── demo-output/           # 演示输出占位目录

快速开始

前提

1. 安装 Node.js 18+ 与 pnpm
2. 启动 DSH Web:

npx @deepseek-ai/dsh web

3. (可选)安装技能: 把 skills/knowledge-forge/ 整个目录(含 SKILL.md)复制到以下任一官方技能目录(推荐项目级 .dsh/skills):

   • 用户级: <dshHome>/skills/knowledge-forge/SKILL.md(Windows 上默认 dshHome 即 DSH 的 data 目录)
   • 项目级: <projectRoot>/.dsh/skills/knowledge-forge/SKILL.md(推荐)
   • 项目级: <projectRoot>/.agents/skills/knowledge-forge/SKILL.md

   官方技能发现不支持递归扫描 **/SKILL.md,请保持 skills/<name>/SKILL.md 一层结构(本仓库已是此结构)。

   安装后对智能体说"编译我的知识库""知识库体检""做一次代谢回顾"即可自动触发对应工作流。

运行工作流

打开 DSH Web,调用 workflow 工具:

• meta 参数: 粘贴对应 workflows/<name>.meta.json 的内容
• script 参数: 粘贴对应 workflows/<name>.workflow.js 的内容
• args 参数: 传入 JSON,例如:

{
  "vaultRoot": "E:/知识库/04-项目/dsh-knowledge-forge/examples/demo-vault"
}

示例(compile 工作流):

1. 复制 examples/demo-vault 到你的 vault,把原始素材放进 raw/
2. 按上面方式运行 compile —— DSH 依次派发 scout → summarize → concepts → articles → index 五批子代理,自动产出 wiki/ 全部内容
3. 再依次运行 health-check(体检)、link-weaver(织网)、metabolism(代谢);用 qa-archive 对知识库提问
4. 体检报告 / 问答答案分别落在 wiki/indexes/health-report.md 与 outputs/qa/ 中

文件清单

文件	用途
workflows/compile.*	递进编译流水线: raw → summaries/concepts/articles/indexes
workflows/link-weaver.*	孤儿笔记织网,补真实双向链接
workflows/metabolism.*	代谢回顾: 队列到期出队、批注、更新间隔
workflows/qa-archive.*	检索即思考问答 + 答案归档回写
workflows/health-check.*	死链/孤儿/密度统计 + 体检报告
skills/knowledge-forge/SKILL.md	DSH 技能: 把 vault 当作会生长的有机体
templates/*.md	闪念/文献/永久/MOC 四种笔记模板
examples/demo-vault/	可运行的演示知识库(含样例 raw 素材与回顾队列)
examples/demo-output/	演示输出占位目录
docs/*.md	哲学 / 流水线 / 迁移三份文档
docs/verification.md	真实运行验证报告(compile 已实跑)

文档

• docs/01-philosophy.md — 七大设计原则: 原子化 / 密集链接 / 活文档 / 间隔重复 / 渐进压缩 / 生成式综合 / 代谢律
• docs/02-pipeline.md — 总架构图与每个工作流的输入、输出、phases 表
• docs/03-migration.md — 从传统 Python 版迁移指南与模块对照表

License

MIT © 2026 ZF。详见 LICENSE。

相关项目

• dsh-knowledge-forge — 本仓库: LLM 编译式知识库
• dsh-cad-copilot — CAD 自动化装配与 MCP 集成
• dsh-self-evolving-agent — 自我改进 Agent
• dsh-workflow-symphony — 多工作流交响乐编排