FishMem

架构

权威存储、异步投影与限定作用域的混合召回。

FishMem 把持久事实与可重建的加速结构分开。

写入路径

内容或消息 + infer


验证作用域与幂等性

        ├── infer=true ─► 一次提取 ─► 提炼记录
        └── infer=false ────────────► 原文记录


提交规范记录 + 操作日志

        ├──► 词法投影
        ├──► 语义向量投影
        ├──► 可选派生状态
        └──► 可选受治理信念证据

规范记录先于可选派生工作提交。向量与派生投影可以同步或延迟执行,但不能改写规范记忆。推理写入不会同时归档另一份原始规范副本。操作日志记录投影状态,让操作员区分“已存储但待修复”和“索引完整”。

shadow rollout 保持现有 state 路径不变,确保 paired 结果可比较:state 仍可能即时 supersede;自动推断偏好同时独立回放到可选证据投影,在具体 applicability context 内竞争,达到策略阈值后才成为 supported。该结果目前不会反向治理 state 或默认召回。冲突会保留,不会简单选择最新一句,也不会在当前场景仍有未决证据时静默退回 global 值。

来源 RAG 路径

UTF-8 文本 ─────────────────────────────────────┐

文件元数据 ─► 不可变原始字节 ─► Docling ─► Markdown + 结构


                                 DocumentCorpus 写入
                              不可变版本 + 当前版本指针

                      ┌─────────────────────────┼────────────┐
                      ▼                         ▼            ▼
                 确定性分块                 关键词索引    向量索引

直接文本同步写入。文件则经历持久异步生命周期:创建来源资产、上传准确字节、完成上传、提取,再通过同一 DocumentCorpus 模块提交 Markdown。原始文件与无损提取结构作为不可变产物保留,两条路径都不会把段落写入会话记忆。

元数据变化也会建立新不可变版本,因为内容哈希与完整版本哈希用途不同。分块与向量可以重建。文件写入以原始文件为权威;提取后的 Markdown 是文档读取与 RAG 暴露的规范文本。

Cloudflare 使用 R2 保存原文件、Markdown、JSON 结构与直接文本原件;D1 保存来源描述符、任务状态、当前版本与确定性分块;Queue 唤醒任务,固定版本的 Docling Container 转换文件,cron 修复丢失的队列通知。Node/Docker 以持久资产目录替代 R2,以 libSQL 保存相同任务行,由轮询器唤醒固定 Docling 镜像。两者共用同一 DocumentIngestion 深模块。

Vectorize 元数据只保存结构键与投影内容哈希。FishMem 会从 D1 重新水合候选项,并再次检查完整作用域与来源过滤;向量元数据匹配不等于授权。

读取路径

搜索先强制结构化命名空间与用户、智能体、运行作用域,再开始排名。配置允许时可混合词法匹配、语义相似度、时间与重要性、图关系与派生信念链。可恢复的召回降级通过 onWarning 报告。

数据层

权威可重建
规范记忆与历史
原始文件、准确文本、版本与当前指针
无损提取结构与索引 Markdown
操作日志与持久任务状态
关键词与向量索引
派生状态
受治理的信念证据
来源分块与召回向量

信念层是场景治理投影,不是第二个记忆库。关系证据行保留规范来源 ID、独立 evidence key、context ID、权重与有效时间;update、invalidate、delete、purge 与可移植 restore 会使其失效或重建。默认召回路径不会消费该投影。

Desktop、服务与 Cloud

Desktop 在本地打包这套架构:SQLite/libSQL 保存记录、关键词与向量投影,多语言嵌入模型在设备上运行;连接的 Skill 决定哪些内容值得持久化,Desktop 强制 infer:false 且不运行聊天 LLM。

apps/web 增加 REST API、控制台、身份验证、租户隔离、异步操作与可观测性。FishMem Cloud 托管同一应用,并增加运营基础设施、用量授权、原子额度结算、订阅与支持。

On this page