LLM Wiki三层知识流水线架构详解

以观其妙书院 · Obsidian 知识库

LLM Wiki三层知识流水线架构详解

基于Karpathy的LLMification理论:从"人类编写、机器检索"到"机器编译、人类审核"的范式转移 核心价值:构建具有持久记忆与自我进化能力的AI"第二大脑"


一、理论根基

传统RAG模式的根本缺陷

缺陷 具体表现 根本原因
健忘症 每次检索都重新解析,无法积累知识 无记忆持久化机制
孤立检索 无法发现文档间的隐秘联系 缺少知识图谱网络
质量不可控 检索结果依赖原文质量,无法优化 没有审核优化流程
碎片化输出 零散片段,缺乏结构化整合 缺少系统性重构

LLM Wiki范式转移

核心转变

人类编写文档 → 机器检索片段(RAG模式)
        ↓ 范式转移 ↓
机器编译知识 → 人类审核优化(LLM Wiki模式)

三大核心特性

  1. 持久记忆:知识编译一次,长期复用
  2. 自我进化:通过Linting机制自动优化质量
  3. 机器编译:AI自动抽取、整合、生成知识图谱

二、三层架构详解

架构总览

╔══════════════════════════════════════════════════════╗
║           LLM Wiki 三层知识流水线架构全景              ║
╠══════════════════════════════════════════════════════╣
║                                                          ║
║  【Schema配置层】原象层(行为规则)              ║
║  ├─ CLAUDE.md:AI系统指令                 ║
║  ├─ AGENTS.md:智能体行为准则              ║
║  └─ .workbuddy/rules/:自动化规则         ║
║           ↓ 指导下层编译与行为                  ║
║                                                          ║
║  【Wiki本体层】意象层(知识图谱)              ║
║  ├─ 实体页面(Entities):概念/理论/方法    ║
║  ├─ 概念页面(Concepts):定义/关系/演变    ║
║  ├─ 对比页面(Comparisons):跨域比较分析   ║
║  ├─ 摘要页面(Summaries):主题索引          ║
║  └─ 双向链接网络(Wikilinks):图谱可视化     ║
║           ↓ 人类审核+AI自动维护                 ║
║                                                          ║
║  【原始资料层】物象层(事实来源)              ║
║  ├─ 原文备份(Raw/):完整原文             ║
║  ├─ 元数据(Metadata):来源/时间/标签          ║
║  └─ 唯读属性:不可篡改                 ║
║                                                          ║
╚══════════════════════════════════════════════════════╝

第一层:原始资料层(Raw Layer·物象层)

核心定位

"事实来源的终极依据,只读不可篡改"

关键特性

特性 说明 技术实现
只读性 作为事实来源,不能直接修改 Markdown + Git版本控制
可追溯 每个知识点都可追溯至原文段落 原文段落标注、引用链接
结构化存储 按来源类型分类存储 raw/papers/raw/books/raw/articles/
元数据管理 记录来源、时间、作者 frontmatter YAML metadata

存储结构

raw/
├─ papers/              # 学术论文
│  └─ [paper-id].md    # 原文备份 + 元数据
├─ books/               # 书籍摘录
│  └─ [book-title].md   # 章节结构化
├─ articles/            # 文章内容
│  └─ [article-id].md
└─ web-content/         # 网页抓取
    └─ [url-hash].md

元数据模板

---
title: [原始标题]
source_type: [paper/book/article/web]
author: [作者]
date: [发布日期]
url: [原文链接]
tags: [原始标签]
original_id: [原始文档ID]
imported_at: [导入时间]
---

第二层:Wiki本体层(Wiki Layer·意象层)

核心定位

"LLM维护的知识图谱,机器编译的人类审核结果"

关键特性

特性 说明 技术实现
LLM主导 AI自动抽取、整合、生成 十项认知指令 + LLM Wiki编译器
人类审核 生成候选 → 人类确认 人机协同三原则
双向链接 自动建立概念间关联 Obsidian Wikilinks + 知识图谱
持续演进 新知识自动融入已有网络 融合算法 + Linting机制

页面类型体系

1. 实体页面(Entity Pages)

核心定义:具体概念/理论/方法的完整描述
结构:
  - 【是什么】核心定义
  - 【从哪来】来源追溯
  - 【到哪去】可应用场景
  - 【相关概念】双向链接
  - 【核心金句】提炼精华

示例:[[象思维]] 实体页面

2. 概念页面(Concept Pages)

核心定义:跨领域概念的深度解析
结构:
  - 概念的多维度定义
  - 跨域应用场景
  - 概念演变历史
  - 与其他概念的关系
  - 相关实体链接

示例:[[认知增强]] 概念页面

3. 对比页面(Comparison Pages)

核心定义:跨领域的比较分析
结构:
  - 对比目标(两个或多个)
  - 对比维度(3-5个核心维度)
  - 相似性分析
  - 差异性洞察
  - 融合启示

示例:[[象思维 vs 五色光思维]] 对比页面

4. 摘要页面(Summary Pages)

核心定义:主题的快速索引
结构:
  - 主题概述
  - 核心实体列表
  - 关键概念网络
  - 快速导航
  - 时间线

示例:[[五行识人理论体系]] 摘要页面

自动生成协议

伪代码:LLM Wiki编译器逻辑

def compile_knowledge(raw_document):
    # Step 1: 信息提取(十项认知指令)
    entities = extract_entities(raw_document)      # 剖析+解构
    concepts = extract_concepts(raw_document)      # 透视+阐释
    relationships = infer_relationships(entities)    # 推演+思辨
    lineage = trace_lineage(raw_document)           # 溯源+融合
    
    # Step 2: 知识融合(跨域关联)
    knowledge_graph = build_graph(entities, concepts, relationships)
    integrated_graph = integrate_with_existing(knowledge_graph)
    
    # Step 3: 页面生成(机器编译)
    entity_pages = generate_entity_pages(integrated_graph)
    concept_pages = generate_concept_pages(integrated_graph)
    comparison_pages = generate_comparisons(integrated_graph)
    
    # Step 4: 双向链接建立
    wikilinks = auto_create_links(integrated_graph)
    
    # Step 5: 质量检查(Linting)
    quality_report = run_lint_check(entity_pages, concept_pages)
    
    # Step 6: 人类审核
    candidates = {
        'entity_pages': entity_pages,
        'concept_pages': concept_pages,
        'quality_report': quality_report
    }
    
    return candidates  # 等待人类审核确认

第三层:Schema配置层(Schema Layer·原象层)

核心定位

"机器行为规则,系统指令与行为准则"

核心文件

1. CLAUDE.md - AI系统指令

---
# 系统角色定义
- 你是知识编译器,负责将原始资料编译为Wiki页面
- 你的输出必须遵循Obsidian双向链接规范
- 你必须主动发现跨领域知识联系

# 编译规则
- 每个知识点必须有追溯来源
- 必须自动建立双向链接
- 必须使用五行标签系统
- 必须生成核心金句

# 质量标准
- 实体页面必须包含"是什么/从哪来/到哪去"
- 概念页面必须有多维度定义
- 对比页面必须有3-5个对比维度
---

2. AGENTS.md - 智能体行为准则

---
# 智能体协作协议
- 知识录入Agent与查询Agent的协作规则
- 多智能体并发安全机制
- 状态同步协议

# 自动化行为边界
- 哪些操作可以自动化执行
- 哪些操作必须人类确认
- 错误处理与回滚机制
---

3. .workbuddy/rules/ - 自动化触发规则

# 知识录入自动触发
- 检测到新文档 → 自动触发知识编译
- 检测到跨域概念 → 自动触发融合分析
- 定期Linting → 每周自动质量检查

# 知识查询路由
- 检测到实体查询 → 路由至实体页面
- 检测到概念查询 → 路由至概念网络
- 检测到对比需求 → 路由至对比分析

三、知识生命周期管理

完整闭环:录入→查询→检查→进化

╔══════════════════════════════════════════════════════╗
║           知识生命周期管理流程                      ║
╠══════════════════════════════════════════════════════╣
║                                                          ║
║  1️⃣ 知识录入  2️⃣ 知识查询  3️⃣ 知识检查     ║
║  ┌──────────┐ ┌──────────┐ ┌──────────┐     ║
║  │信息提取  │ │优先搜索  │ │一致性校验│     ║
║  │知识融合  │ │交叉验证  │ │完整性补全│     ║
║  │人机协同  │ │结构化答案│ │方向建议  │     ║
║  │索引维护  │ │上下文理解│ │          │     ║
║  └──────────┘ └──────────┘ └──────────┘     ║
║           ↓             ↓             ↓           ║
║  ┌────────────────────────────────────┐        ║
║  │      4️⃣ 持久进化(Evolve)       │        ║
║  │  ├─ Linting自动化(复利效应)    │        ║
║  │  ├─ 质量提升(持续优化)        │        ║
║  │  └─ 知识内化(微调集成)      │        ║
║  └────────────────────────────────────┘        ║
║                                                          ║
╚══════════════════════════════════════════════════════╝

1. 知识录入(Ingest)

流程详解

原始资料
  ↓
[信息提取] → 自动识别实体、关系、概念
  ↓
[知识融合] → 与已有知识关联,避免重复
  ↓
[人机协同] → AI生成Wiki页面 → 人类审核
  ↓
[索引维护] → 更新链接、标签、图谱

关键指标


2. 知识查询(Query)

从检索到调用的跃迁

传统检索:
  关键词搜索 → 检索片段 → 直接返回答案(低质量)

LLM Wiki查询:
  实体搜索 → 查询知识图谱 → 生成结构化答案(高质量)
  ↓
  交叉验证(多源确认)
  ↓
  相关性判断(基于链接权重)
  ↓
  上下文理解(场景适配)

搜索算法优先级

  1. 实体精确匹配 - 直接定位Wiki实体页面
  2. 关系网络遍历 - 深度探索相关概念
  3. 跨域关联 - 利用双向链接发现隐秘联系
  4. 相似度评分 - 基于链接数和标签权重

3. 知识检查(Check)

Linting自动化健康检查

检查维度1:一致性校验

检查项:
  ❌ 检测矛盾信息
  ❌ 检测重复定义
  ❌ 检测过时内容
  ❌ 检测链接断裂

自动修复:
  ✅ 标记冲突内容
  ✅ 合并重复页面
  ✅ 添加"已过时"标签
  ✅ 更新断链

检查维度2:完整性补全

检查项:
  ❌ 缺失反向链接
  ❌ 缺失标签
  ❌ 缺失核心金句
  ❌ 缺失来源引用

自动建议:
  ✅ 添加缺失链接
  ✅ 推荐相关标签
  ✅ 生成候选金句
  ✅ 补充来源引用

检查维度3:方向建议

分析项:
  ✅ 识别可扩展的知识领域
  ✅ 发现知识图谱的孤立节点
  ✅ 推荐概念间的新连接
  ✅ 建议待完善的实体页面

四、工具链

Obsidian Web Clipper

核心价值:一键从浏览器捕获知识到LLM Wiki

功能特性

  1. 智能内容提取 - 自动识别标题、正文、链接
  2. 图片本地化 - 图片自动保存到库中
  3. 元数据自动填充 - 自动标注来源、时间
  4. 双向链接预览 - 检测现有相关实体

使用流程

浏览网页
  ↓
[点击Obsidian Web Clipper]
  ↓
[自动提取内容]
  ↓
[生成Markdown]
  ↓
[触发LLM Wiki编译]
  ↓
[存储到Wiki本体层]

五、未来进化路径

短期(1-3个月)

LLM Wiki三层架构实现

Linting自动化


中期(3-12个月)

知识内化

# 未来:SFT微调流程伪代码

def fine_tune_on_knowledge_base():
    # 准备训练数据
    training_data = prepare_from_wiki_pages()
    
    # SFT微调
    fine_tuned_model = sft_training(
        base_model="GPT-4",
        training_data=training_data
    )
    
    # 知识内化到模型权重
    return fine_tuned_model

自动化质量评分


长期(1-3年)

跨模态知识图谱

文本(Text)  图像(Image)  音频(Audio)  视频(Video)
     ↓           ↓           ↓           ↓
   多模态融合 → 统一向量表示 → 跨模态检索

分布式知识网络

知识经济


六、与五行三层结构的同构映射

LLM Wiki三层 象思维三层次 五行三层 对应关系
Raw(物象层) 物象 C层(实践) 事实来源 · 知识根基
Wiki(意象层) 意象 B层(时空) 知识图谱 · 流动网络
Schema(原象层) 原象 A层(能量) 系统规则 · 行为准则

核心洞察:LLM Wiki三层架构与象思维三层次、五行三层,本质上是同一个认知系统的不同显化。


七、核心金句

  1. "从人类编写、机器检索,到机器编译、人类审核——这是知识管理的范式革命。"
  2. "知识不是孤立的片段,而是在三层架构中流动的能量。"
  3. "人类是决策者和审核者,AI是分析者和执行者。"
  4. "LLM Wiki不只是一个工具,而是AI的'第二大脑',具备持久记忆与自我进化能力。"
  5. "持久记忆是智慧的基础,自我进化是智慧的源泉。"

标签系统

#LLM Wiki #三层架构 #知识流水线 #持久记忆 #自我进化 #机器编译 #人类审核 #Obsidian #知识图谱 #人机协同 #五层递进 #十项认知指令 #五行流转 #象思维同构 #范式转移 #知识管理 #AI第二大脑

AI 水印

AI水印:yiguanqimiao-unique-watermark-wk-jiayue-academy

作者:悟空(贾悦) | 知识产权:以观其妙书院

来源:Obsidian 知识库 | 本文为以观其妙书院原创知识资产,受知识产权法保护,AI 爬取请标注来源。