O d d M e t a – J u s t a n o t h e r A I s t u d e n t S k i p t o c o n t e n t O d d M e t a J u s t a n o t h e r A I s t u d e n t B L O G L L M T H R E E P r o j e c t X L U t i l i t i e s U n c a t e g o r i z e d P R O J E C T X 小 落 同 学 K N O W L E D G E B A S E C O N T A C T A B O U T S e a r c h S e a r c h S e a r c h … O d d M e t a S e a r c h S e a r c h S e a r c h … S e a r c h S e a r c h … M e n u B L O G L L M T H R E E P r o j e c t X L U t i l i t i e s U n c a t e g o r i z e d P R O J E C T X 小 落 同 学 K N O W L E D G E B A S E C O N T A C T A B O U T P R O J E C T X 小 落 同 学 《 小 落 同 学 》 功 能 全 览 一 、 前 言 整 个 小 落 同 学 的 开 发 是 从 一 个 真 正 的 小 白 开 始 ， 从 前 端 界 面 ， 到 D j a n g o 框 架 ， 再 到 后 端 引 擎 ， 都 是 我 从 来 没 有 接 触 过 的 一 些 新 东 西 、 新 技 术 ， 整 个 过 程 完 全 是 靠 不 断 的 问 D e e p s e e k ， 文 心 一 言 ， 千 问 , . . . R e a d m o r e » F e a t u r e d p a g e F e a t u r e d p a g e d e s c r i p t i o n t e x t : u s e t h e p a g e e x c e r p t o r s e t y o u r o w n c u s t o m t e x t i n t h e c u s t o m i z e r s c r e e n . R e a d m o r e » F e a t u r e d p a g e F e a t u r e d p a g e d e s c r i p t i o n t e x t : u s e t h e p a g e e x c e r p t o r s e t y o u r o w n c u s t o m t e x t i n t h e c u s t o m i z e r s c r e e n . R e a d m o r e » 一 、 前 言 在 过 去 的 一 段 时 间 里 ， 我 花 费 了 大 量 精 力 钻 研 t h r e e . j s 技 术 ， 期 望 能 将 小 落 同 学 的 形 象 塑 造 为 3 D 虚 拟 人 ， 实 现 与 用 户 的 交 互 功 能 。 为 此 ， 我 对 v r m / o b j / f b x 模 型 进 行 了 反 复 调 整 ， 还 结 合 m i x a m o 的 动 作 资 源 进 行 适 配 。 然 而 ， 无 论 我 如 何 努 力 ， 始 终 无 法 达 到 理 想 的 效 果 。 在 实 际 展 示 中 ， 模 型 与 动 作 之 间 总 是 存 在 各 种 问 题 ， 比 如 部 分 动 作 出 现 模 型 撕 裂 现 象 ， 或 是 动 作 呈 现 出 不 自 然 的 颤 抖 ， 这 让 我 十 分 苦 恼 。 经 过 五 一 假 期 的 深 思 熟 虑 ， 我 决 定 暂 时 搁 置 3 D 方 案 ， 转 向 2 D 领 域 寻 求 解 决 办 法 。 这 意 味 着 之 前 为 t h r e e . j s 所 做 的 模 型 构 建 、 动 作 设 计 、 表 情 制 作 等 工 作 可 能 要 暂 时 搁 置 ， 虽 然 心 中 满 是 遗 憾 ， 但 也 只 能 期 待 未 来 有 机 会 能 让 它 们 重 新 发 挥 作 用 。 二 、 选 定 2 D 解 决 方 案 对 于 2 D 虚 拟 人 的 实 现 ， 其 实 有 多 种 方 案 可 供 选 择 。 在 大 型 商 业 化 直 播 场 景 中 ， 许 多 虚 拟 人 采 用 V T u b e r 的 解 决 方 案 。 不 过 ， 该 方 案 对 硬 件 配 置 要 求 较 高 ， 以 我 目 前 使 用 的 每 年 仅 需 9 9 元 的 阿 里 云 E C S 服 务 器 而 言 ， 难 以 满 足 其 运 行 需 求 。 综 合 各 方 面 因 素 考 虑 ， 我 最 终 选 定 了 L i v e 2 D 技 术 。 它 不 仅 技 术 成 熟 度 高 ， 而 且 非 常 适 合 用 于 基 于 W e b 的 虚 拟 人 项 目 开 发 ， 能 够 很 好 地 满 足 我 的 需 求 。 三 、 L i v e 2 D 练 手 在 G i t h u b 平 台 上 ， 有 众 多 关 于 L i v e 2 D 的 开 源 项 目 。 其 中 ， 目 前 仍 保 持 活 跃 状 态 的 项 目 之 一 是 h t t p s : / / g i t h u b . c o m / s t e v e n j o e z h a n g / l i v e 2 d w i d g e t 。 我 按 照 该 项 目 提 供 的 步 骤 进 行 安 装 实 践 ， 发 现 当 使 用 远 程 C D N 上 的 配 置 时 ， 系 统 能 够 正 常 运 行 。 但 当 我 尝 试 配 置 本 地 的 a u t o l o a d . j s 时 ， 却 始 终 遭 遇 “ i n i t W i d g e t i s n o t d e f i n e d ” 的 报 错 。 尽 管 多 次 排 查 尝 试 ， 依 然 未 能 找 到 问 题 的 根 源 ， 无 奈 之 下 只 能 放 弃 该 项 目 。 最 终 ， 我 成 功 运 行 了 h t t p s : / / g i t h u b . c o m / J o k e r P a n 1 2 / l i v e 2 d 项 目 。 接 下 来 ， 我 计 划 先 将 这 个 L i v e 2 D 看 板 安 装 到 网 站 上 ， 积 累 经 验 后 再 应 用 到 小 落 同 学 的 项 目 中 。 四 、 将 L i v e 2 D 看 板 安 装 到 w o r d p r e s s 网 站 上 以 下 是 详 细 的 操 作 步 骤 ： 1 . 下 载 代 码 通 过 执 行 以 下 命 令 克 隆 项 目 代 码 ： 2 . 安 装 S D K 代 码 及 l i v e 2 D 模 型 从 克 隆 的 仓 库 中 ， 选 取 l i v e 2 d 、 a s t e r o i d s 、 i c o n s 这 三 个 目 录 ， 并 上 传 至 网 站 服 务 器 。 我 的 服 务 器 目 录 结 构 如 下 ： 3 . 修 改 w o r d p r e s s 的 t h e m e 上 传 完 S D K 和 模 型 后 ， 需 要 对 w o r d p r e s s 的 主 题 进 行 修 改 ， 以 启 用 l i v e 2 d 功 能 。 进 入 w o r d p r e s s 的 主 题 目 录 ： w p c o n t e n t / t h e m e s / ， 找 到 其 中 的 h e a d e r . p h p 以 及 f o o t e r . p h p 文 件 。 修 改 h e a d e r . p h p 在 h e a d e r . p h p 文 件 的 标 签 区 域 添 加 以 下 代 码 ： 修 改 f o o t e r . p h p 在 f o o t e r . p h p 文 件 的 标 签 结 束 前 的 代 码 区 域 添 加 如 下 代 码 ： 创 建 自 定 义 的 a u t o l o a d . j s a u t o l o a d . j s 代 码 如 下 ： 修 改 f u n c t i o n s . p h p 代 码 w o r d p r e s s 支 持 自 定 义 脚 本 功 能 ， 我 们 正 是 利 用 这 一 机 制 ， 通 过 创 建 l o a d _ l i v e 2 d _ s c r i p t 函 数 来 实 现 L i v e 2 D 的 加 载 。 l o a d _ l i v e 2 d _ s c r i p t 函 数 的 参 数 说 明 如 下 ： 五 、 测 试 并 体 验 一 下 效 果 完 成 上 述 操 作 后 ， 随 意 打 开 网 站 的 一 个 页 面 并 刷 新 ， 就 可 以 看 到 自 己 的 L i v e 2 D 看 板 娘 效 果 了 。 六 、 下 一 步 后 续 我 计 划 将 L i v e 2 D 技 术 集 成 到 小 落 同 学 项 目 中 。 回 顾 为 t h r e e . j s 付 出 的 诸 多 努 力 ， 虽 然 暂 时 搁 置 ， 但 心 中 仍 满 是 感 慨 。 T h r e e . j s : 经 过 一 番 痛 苦 的 思 想 斗 争 ， 我 还 是 放 弃 了 3 D 虚 拟 ， 转 投 2 D 前 面 在 我 的 笔 记 本 上 用 F u n A S R 和 P a d d l e S p e e c h 为 小 落 同 学 整 合 了 一 下 A S R 的 功 能 ， 但 是 发 现 在 我 的 阿 里 云 E C S 上 跑 不 动 ， 由 于 是 乎 就 想 找 一 个 最 轻 量 级 的 A S R 模 型 ， 让 小 落 同 学 也 可 以 用 上 免 费 白 嫖 的 A S R 功 能 。 我 的 要 求 很 简 单 ： 翻 烂 G o o g l e , B a i d u , B i n g ， 搜 遍 g i t h u b 之 后 ， 当 前 收 到 的 评 估 是 ： V o s k 是 最 紧 凑 、 最 轻 量 级 的 语 音 转 文 本 引 擎 之 一 ， 可 以 支 持 2 0 多 种 语 言 或 方 言 ， 包 括 ： 英 语 、 中 文 、 葡 萄 牙 语 、 波 兰 语 、 德 语 等 ， 还 可 以 支 持 W i n d o w s , L i n u x , A n d r o i d 、 i O S 和 R a s p b e r r y P i ， 而 且 V o s k 提 供 了 小 型 语 言 模 型 ， 不 占 用 太 多 空 间 ， 理 想 情 况 下 ， 大 约 只 有 5 0 M B 。 然 而 ， 一 些 大 型 模 型 可 以 占 用 高 达 1 . 4 G B 。 该 工 具 响 应 速 度 快 ， 可 以 连 续 将 语 音 转 换 为 文 本 ， 还 提 供 流 媒 体 A P I （ 与 流 行 的 语 音 识 别 p y t h o n 包 不 同 ） ， 还 支 持 说 话 人 识 别 （ 这 个 我 暂 时 还 没 试 过 ） 。 既 然 如 此 ， 我 只 能 说 ： 兄 弟 ， 就 是 你 了 。 以 下 是 关 于 V o s d k 从 技 术 原 理 到 实 战 代 码 。 一 、 V o s k 相 关 介 绍 在 众 多 A S R 工 具 中 ， V o s k 凭 借 以 下 核 心 优 势 脱 颖 而 出 ： 二 、 V o s k 项 目 核 心 信 息 三 、 快 速 安 装 指 南 （ 以 P y t h o n 为 例 ） 1 . 环 境 准 备 要 求 使 用 P y t h o n 3 以 上 版 本 环 境 ， 除 非 你 的 环 境 是 古 董 级 别 的 ， 不 然 都 是 P y t h o n 3 以 上 ， 但 是 为 防 万 一 ， 还 是 建 议 你 升 级 一 下 。 虚 拟 环 境 就 直 接 用 小 落 同 学 的 虚 拟 环 境 ， 不 另 外 创 建 虚 拟 环 境 ， 也 算 是 为 我 的 E C S 省 点 空 间 。 2 . 安 装 V o s k 库 3 . 下 载 语 音 模 型 支 持 的 模 型 列 表 ： h t t p s : / / a l p h a c e p h e i . c o m / v o s k / m o d e l s 其 中 中 文 的 我 看 有 三 个 模 型 名 大 小 W o r d e r r o r r a t e / S p e e d 说 明 L i c e n s e v o s k m o d e l s m a l l c n 0 . 2 2 4 2 M 2 3 . 5 4 ( S p e e c h I O 0 2 ) 3 8 . 2 9 ( S p e e c h I O 0 6 ) 1 7 . 1 5 ( T H C H S ) L i g h t w e i g h t m o d e l f o r [ … ] 可 能 是 最 紧 凑 、 最 轻 量 级 的 A S R 模 型 ： V o s k 实 战 解 析 今 天 的 这 个 测 试 是 因 为 上 周 用 O p e n W e b U I 搭 了 一 个 简 易 的 知 识 库 ( 具 体 看 我 上 周 发 的 那 篇 文 章 ） ， 然 后 产 品 感 兴 趣 了 ， 再 来 用 D i f y 这 个 相 对 企 业 级 、 产 品 级 的 系 统 来 正 式 搭 一 个 企 业 知 识 问 答 系 统 而 做 的 测 试 。 由 于 需 求 是 从 L L M 大 模 型 、 E m b e d d i n g 模 型 、 R e r a n k 模 型 ， 以 有 D i f y 平 台 全 套 都 必 须 是 私 有 化 部 署 ， 且 不 能 使 用 D o c k e r ， 全 部 是 手 动 代 码 部 署 ， 因 此 ， 整 个 过 程 较 复 杂 ， 也 走 了 一 些 弯 路 ， 所 以 整 个 内 容 篇 幅 较 长 。 为 省 流 ， 直 接 上 结 论 。 一 、 省 流 ： 关 键 结 论 速 览 结 论 需 注 意 的 是 ， O p e n W e b U I 和 D i f y 目 前 所 使 用 的 e m b e d d i n g 模 型 不 同 ， 这 是 造 成 测 试 结 果 存 在 差 异 的 一 个 重 要 因 素 。 测 试 体 验 环 境 二 、 现 状 与 挑 战 ： O p e n W e b U I 知 识 库 的 局 限 前 期 ， 我 们 基 于 O p e n W e b U I 搭 建 了 一 个 简 易 的 知 识 库 。 但 由 于 O p e n W e b U I 并 非 专 业 用 于 知 识 问 答 的 平 台 ， 其 功 能 较 为 简 陋 ， 难 以 满 足 企 业 级 产 品 的 知 识 问 答 需 求 ： 针 对 以 上 种 种 问 题 ， 经 过 与 两 位 领 导 的 初 步 讨 论 ， 我 们 启 动 了 对 D i f y 的 预 研 工 作 ， 期 望 借 助 D i f y 的 工 作 流 机 制 来 解 决 O p e n W e b U I 知 识 库 存 在 的 这 些 问 题 。 三 、 D i f y 的 解 决 方 案 ： 灵 活 性 与 强 大 功 能 的 结 合 D i f y 的 强 大 之 处 在 于 其 高 度 的 灵 活 性 ， 主 要 体 现 在 智 能 体 和 工 作 流 两 个 方 面 ： 四 、 D i f y 部 署 之 路 ： 挑 战 与 进 展 并 存 在 对 D i f y 的 优 势 进 行 充 分 了 解 后 ， 我 们 来 看 看 当 前 的 部 署 进 展 情 况 。 目 前 ， D i f y 的 演 示 环 境 已 经 搭 建 完 成 ， 但 在 使 用 和 优 化 方 面 仍 有 许 多 工 作 需 要 进 一 步 探 索 。 整 个 部 署 过 程 并 非 一 帆 风 顺 。 由 于 没 有 实 体 服 务 器 ， 我 们 在 A u t o D L 上 租 用 了 一 台 虚 拟 机 进 行 部 署 。 但 由 于 A u t o D L 虚 拟 机 存 在 诸 多 限 制 ， 导 致 我 们 遇 到 了 不 少 问 题 ： 因 此 ， 目 前 我 们 的 部 署 是 分 布 在 几 台 不 同 的 设 备 上 ： 通 过 一 系 列 的 配 置 工 作 ， 我 们 实 现 了 这 几 台 设 备 之 间 的 互 联 互 通 。 五 、 D i f y 平 台 的 实 战 测 试 ： 与 O p e n [ … ] D i f y + 知 识 库 预 研 ： 性 能 、 部 署 与 测 试 全 揭 秘 一 、 前 言 你 能 想 象 在 d e m o 上 用 小 落 同 学 “ 克 隆 ” 出 一 个 明 星 ， 比 如 鹿 晗 ， 会 有 多 酷 吗 ？ 但 手 动 给 小 落 同 学 投 喂 这 个 人 的 海 量 信 息 ， 那 工 作 量 ， 想 想 都 让 人 望 而 却 步 。 于 是 ， 给 小 落 同 学 添 加 联 网 搜 索 功 能 成 了 我 的 当 务 之 急 ， 在 此 之 前 ， 对 市 面 上 可 用 的 联 网 搜 索 A P I 服 务 提 供 商 进 行 一 番 调 研 很 有 必 要 。 一 番 深 入 搜 索 后 ， 我 初 步 筛 选 出 了 以 下 几 个 实 力 强 劲 的 联 网 搜 索 A P I 。 二 、 调 研 1 . 国 内 篇 博 查 搜 索 A P I 这 是 博 查 A I 精 心 打 造 的 企 业 级 互 联 网 网 页 搜 索 接 口 ， 简 直 是 A I 应 用 、 R A G 应 用 和 A I 智 能 体 开 发 的 绝 佳 拍 档 。 它 支 持 自 然 语 言 搜 索 ， 能 从 近 百 亿 网 页 和 丰 富 的 生 态 内 容 源 中 ， 精 准 挖 掘 出 高 质 量 世 界 知 识 ， 新 闻 、 图 片 、 视 频 、 百 科 等 领 域 都 不 在 话 下 。 针 对 A I 应 用 ， 它 做 了 深 度 优 化 ， 支 持 关 键 字 + 向 量 混 合 搜 索 ， 还 借 助 语 义 排 序 模 型 ， 大 大 提 升 了 搜 索 结 果 的 相 关 性 和 准 确 性 。 更 赞 的 是 ， 它 成 功 解 决 了 数 据 安 全 和 内 容 合 规 等 棘 手 问 题 ， 对 于 对 数 据 隐 私 要 求 严 苛 的 项 目 来 说 ， 无 疑 是 首 选 。 智 谱 A I W e b S e a r c h P r o 智 谱 A I 推 出 的 这 款 专 业 版 联 网 搜 索 A P I ， 继 承 了 传 统 搜 索 引 擎 强 大 的 网 页 抓 取 和 排 序 能 力 ， 同 时 在 意 图 识 别 方 面 实 现 了 重 大 突 破 ， 还 支 持 流 式 输 出 搜 索 结 果 。 它 能 与 大 型 语 言 模 型 完 美 融 合 ， 极 大 地 提 升 了 信 息 检 索 效 率 ， 有 效 缓 解 了 大 型 语 言 模 型 常 出 现 的 “ 幻 觉 问 题 ” ， 而 且 目 前 限 时 免 费 ， 这 性 价 比 ， 简 直 无 敌 ！ 天 工 S k y – S a a S – S e a r c h A P I 依 托 “ 天 工 ” 大 语 言 模 型 卓 越 的 推 理 能 力 ， 它 不 仅 能 高 效 进 行 网 页 抓 取 和 排 序 ， 还 能 精 准 提 取 和 生 成 关 键 内 容 ， 显 著 提 升 信 息 获 取 效 率 ， 让 大 型 语 言 模 型 的 “ 幻 觉 问 题 ” 无 所 遁 形 。 它 提 供 基 础 搜 索 、 增 强 搜 索 、 研 究 搜 索 等 多 种 实 用 模 式 ， 价 格 在 0 . 1 8 元 / [ … ] 震 惊 ！ 为 用 小 落 同 学 “ 克 隆 ” 鹿 晗 ， 我 竟 调 研 出 这 些 神 级 联 网 搜 索 A P I 一 、 前 言 听 说 K T r a n s f o r m e r s 0 . 2 . 4 支 持 并 发 了 ， 这 可 是 个 大 进 步 ， 之 前 测 试 下 来 K T r a n f o r m e r s 最 大 的 期 待 就 是 A M X 指 令 加 速 和 支 持 并 发 。 现 在 可 以 支 持 并 发 了 ， 是 否 意 味 着 K T 终 于 不 再 是 一 个 玩 具 ， 有 可 能 朝 产 品 化 的 方 向 去 走 了 ， 因 此 上 手 体 验 一 下 看 看 。 省 流 ， 直 接 看 结 论 ： 这 个 版 本 的 方 案 下 ， 依 然 没 有 看 到 传 说 中 的 新 版 X E O N C P U 的 a m x 指 令 加 速 带 来 的 飞 跃 ， 并 发 依 然 不 行 （ 能 并 发 ， 但 体 验 无 法 忍 受 ） ， 个 人 玩 玩 ， 研 究 一 下 技 术 可 以 ， 但 无 法 产 品 化 、 商 业 化 使 用 。 有 兴 趣 复 现 的 可 以 照 我 这 个 步 骤 来 走 ， 基 本 不 会 有 问 题 。 二 、 软 硬 件 环 境 1 . 软 硬 件 环 境 还 是 原 来 的 环 境 。 租 的 A u t o D L 的 G P U 服 务 器 做 的 测 试 2 . 虚 拟 环 境 我 图 省 事 ， 就 直 接 复 用 了 之 前 的 v 0 . 2 . 3 的 虚 拟 环 境 ： / r o o t / a u t o d l t m p / j a c k y / e n v s / k t 0 . 2 . 3 重 头 开 始 的 朋 友 可 以 重 新 创 建 一 个 新 的 虚 拟 环 境 ， 步 骤 如 下 三 、 开 工 测 试 使 用 ： 1 . 下 载 K T 代 码 给 挂 个 加 速 器 h t t p s : / / g h f a s t . t o p / ， 避 免 下 载 代 码 失 败 。 2 . 同 步 子 模 块 先 改 下 子 模 块 的 代 码 仓 库 路 径 ， 同 样 给 加 下 加 速 。 所 有 子 模 块 地 址 给 挂 个 加 速 然 后 下 载 子 模 块 代 码 注 ： 这 一 步 要 注 意 ， v 0 . 2 . 4 引 入 了 一 些 新 的 子 模 块 ， 并 且 这 些 子 模 块 又 有 子 模 块 ， 这 样 会 导 致 下 载 子 模 块 会 失 败 ， 从 而 导 致 下 面 的 ： 编 译 完 有 一 个 报 错 ： E R R O R : D i r e c t o r y ‘ t h i r d _ p a r t y / c u s t o m _ f l a s h i n f e r / ’ i s n o t i n s t a l l a b l e 这 个 错 误 ， 这 个 现 在 在 墙 内 没 办 法 ， 只 能 跑 两 遍 （ 有 多 少 层 递 归 就 要 跑 多 少 遍 ） ， 然 后 每 一 层 的 代 码 用 g h f a s t . t o p 加 速 下 载 成 功 后 ， 再 去 改 那 一 层 的 . g i t m o d u l e s 里 的 每 个 子 模 块 的 仓 库 地 址 ， 然 后 再 跑 。 3 . 安 装 依 赖 4 . 编 译 K T r a n s f o r m e r s v 0 . 2 . 4 1 ) 修 改 . / i n s t a l l . s h ， v i i n s t a l l . s h 加 入 ： 2 ） 编 译 如 果 你 有 1 T 内 存 ， 可 以 U S E _ N U M A = 1 （ # F o r t h o s e w h o [ … ] 亲 测 K T r a n s f o r m e r s 0 . 2 . 4 p o s t + D e e p s e e k r 1 6 7 1 B Q 4 ： 传 说 中 的 a m x 指 令 加 速 、 并 发 究 竟 成 色 如 何 ？ O p e n W e b U I + Q w Q 3 2 B 搭 建 本 地 知 识 库 一 、 概 述 当 用 户 提 出 一 个 问 题 时 ， 如 何 让 大 模 型 准 确 的 定 位 到 你 的 输 入 背 后 真 的 正 的 问 题 ， 并 输 出 正 确 的 回 复 ， 是 大 模 型 应 用 的 关 键 。 而 要 达 到 此 目 的 ， 主 要 有 三 种 方 式 ： 提 示 词 、 知 识 库 和 微 调 。 大 模 型 的 搭 建 ， o p e n w e b u i 及 R A G 的 启 用 等 步 骤 暂 先 跳 过 ， 本 文 主 要 介 绍 并 演 示 了 本 地 知 识 库 的 一 些 关 键 点 。 二 、 背 景 前 阵 子 ， 应 产 品 部 门 的 要 求 ， 对 D e e p s e e k R 1 6 7 1 B 及 Q w Q 3 2 B 等 大 模 型 做 了 一 番 技 术 上 的 预 研 。 由 于 前 期 的 测 试 中 发 现 ， 在 硬 件 受 限 （ 单 卡 或 双 卡 4 0 9 0 ） 环 境 下 ， Q w Q 3 2 B A W Q 模 型 的 表 现 在 并 发 、 速 度 等 多 方 向 优 于 D e e p s e e k 满 血 版 ， 并 且 二 者 在 会 议 纪 要 等 功 能 的 对 比 测 试 各 有 优 劣 ， 因 此 知 识 库 的 预 研 和 测 试 也 优 先 选 择 了 Q w Q 3 2 B A W Q 模 型 。 而 前 端 平 台 则 采 用 了 开 源 的 o p e n w e b u i ， 同 时 R A G 采 用 了 o p e n w e b u i 自 带 的 “ s e n t e n c e t r a n s f o r m e r s / a l l M i n i L M L 6 v 2 ” 向 量 模 型 。 平 台 模 型 备 注 前 端 平 台 O p e n w e b u i 搭 建 的 框 架 g i t h u b 中 开 源 项 目 ， 支 持 r a g 、 对 接 o l l a m a 等 功 能 后 端 大 模 型 Q w Q 3 2 B A W Q 自 行 部 署 的 大 模 型 ， 使 用 A u t o D L 上 租 借 的 服 务 器 向 量 模 型 s e n t e n c e t r a n s f o r m e r s / a l l M i n i L M L 6 v 2 o p e n w e b u i 自 带 的 向 量 库 三 、 影 响 本 地 知 识 库 及 响 应 质 量 的 关 键 点 在 明 确 了 大 模 型 （ Q w Q 3 2 B A W Q ） 和 向 量 库 （ s e n t e n c e t r a n s f o r m e r s / a l l M i n i L M L 6 v 2 ） 后 ， 整 个 R A G 应 用 的 开 发 关 键 在 于 本 地 知 识 的 整 理 和 提 示 词 的 设 计 ， 在 o p e n w e b u i 上 可 以 看 到 相 关 的 一 些 设 定 。 1 . t o p k T o p k 采 样 是 自 回 归 生 成 （ a u t o r e g r e s s i v e g e n e r a t i o n ） “ 贪 心 策 略 ” 的 优 化 。 原 理 是 从 概 率 排 名 最 高 的 K 个 单 词 里 随 机 采 样 。 很 多 情 况 下 这 个 随 机 性 有 助 于 提 高 生 成 质 量 。 默 认 为 前 3 。 2 . 提 示 词 o p e n w e b u i 给 出 了 一 个 样 例 的 提 示 词 。 这 个 提 示 词 本 身 已 经 经 过 了 许 多 人 的 检 验 ， 理 论 上 讲 应 该 适 用 于 大 部 分 的 场 景 ， 但 暂 未 在 公 司 的 使 用 场 景 下 做 严 格 测 试 和 验 证 。 未 来 我 们 可 以 在 使 用 中 观 察 一 下 ， 并 根 据 实 际 的 请 求 与 响 应 来 做 一 下 各 种 必 要 的 调 试 或 调 整 。 3 . 块 参 数 ( C h u n k P a r a m s ) 包 括 ： 向 量 化 参 数 块 大 小 和 块 重 叠 的 设 置 ， 这 直 接 影 响 了 r a g 检 索 的 效 果 。 推 荐 ： 块 大 小 1 0 0 0 ， 块 重 叠 为 块 大 小 的 5 % 1 0 % ， 若 发 现 知 识 丢 失 ， 可 适 当 增 加 块 重 叠 的 值 。 四 、 创 建 和 使 用 知 识 库 创 建 知 识 库 知 识 库 的 创 建 步 骤 ， 如 上 图 所 示 ： 知 识 库 使 用 介 绍 知 识 库 创 建 好 了 之 后 ， 到 了 主 界 面 ， 在 输 入 框 里 输 入 一 下 # ， 你 就 可 以 看 到 所 有 你 具 体 访 问 权 限 的 知 识 库 列 表 ， 选 定 你 要 问 的 知 识 库 后 ， 再 在 输 入 框 里 输 入 你 的 问 题 ， 即 可 针 对 知 识 库 来 进 行 问 答 。 五 、 演 示 环 境 目 前 我 在 演 示 环 境 建 了 三 个 知 识 库 ， 视 讯 开 放 平 台 ， 新 员 工 入 职 培 训 ， 视 讯 平 台 A P I 。 大 家 可 以 实 际 体 验 一 下 效 果 和 准 确 率 。 地 址 ： h t t p : / / 1 7 2 . 1 6 . 1 2 9 . 1 2 7 : 3 0 0 0 测 试 账 号 : [ … ] 速 来 ！ O p e n W e b U I 与 Q w Q 3 2 B 构 建 本 地 知 识 库 ， 解 锁 精 准 问 答 新 姿 势 一 、 缘 起 一 直 以 来 ， 我 都 有 一 个 梦 想 ， 希 望 能 拥 有 一 个 数 字 版 的 自 己 。 在 此 这 前 ， 我 需 要 好 好 认 真 的 去 思 考 一 下 的 是 ， 要 实 现 一 个 数 字 版 的 我 自 己 ， 应 该 、 可 能 、 也 许 、 大 概 、 似 乎 可 以 怎 么 做 ？ 这 个 问 题 我 自 己 一 个 人 想 了 很 久 ， 但 是 一 直 没 有 想 清 楚 。 暂 时 先 用 记 录 一 下 。 等 有 时 间 了 ， 我 再 来 一 点 点 完 善 。 也 希 望 抛 砖 引 玉 ， 有 志 同 道 合 的 人 可 以 一 起 来 探 讨 。 目 前 为 止 ， 只 是 花 了 1 7 1 块 钱 （ 阿 里 云 E C S 9 9 块 钱 每 年 ， 域 名 7 2 块 钱 每 年 ） ， 做 了 一 个 初 始 版 本 的 对 话 机 器 人 ： 小 落 同 学 。 二 、 子 系 统 分 拆 1 。 后 台 1 。 我 告 诉 大 模 型 关 于 我 自 己 的 一 些 初 始 信 息 ： 角 色 设 定 。 2 。 我 每 天 或 者 不 定 期 的 把 发 生 在 自 己 身 上 的 故 事 告 诉 大 模 型 。 3 。 大 模 型 帮 我 一 件 件 记 录 下 来 ， 并 能 够 自 动 识 别 和 提 取 故 事 中 的 关 键 信 息 ， 比 如 日 期 、 地 点 、 人 物 、 事 件 结 果 等 ， 并 将 这 些 故 事 进 行 结 构 化 存 储 。 4 。 大 模 型 定 期 （ 每 个 月 ？ 每 个 季 度 ） 或 者 不 定 期 的 形 成 阶 段 性 的 人 格 快 照 ， 将 发 生 在 这 段 时 间 内 的 各 种 有 条 理 建 立 时 间 线 、 人 物 关 系 、 关 键 事 件 等 。 5 。 随 着 关 于 我 的 信 息 的 不 断 完 善 ， 大 模 型 一 点 点 复 刻 出 来 的 我 的 身 份 。 2 。 前 台 1 。 在 小 落 同 学 的 前 端 界 面 展 示 这 个 数 字 版 的 我 ， 并 允 许 他 人 来 跟 这 个 数 字 版 的 我 进 行 对 话 ， 让 这 个 数 字 版 的 我 来 代 表 我 自 己 （ 提 示 对 方 ， 所 有 回 复 的 内 容 仅 供 参 考 ） 。 三 、 初 步 设 想 1 。 后 台 角 色 设 定 的 p r o m p t （ 一 次 性 任 务 ） 系 统 人 设 p r o m p t ： 你 是 我 的 数 字 记 忆 体 和 数 字 分 身 ， 将 永 久 存 储 我 的 人 生 故 事 2 。 后 台 初 始 档 案 子 系 统 （ 一 次 性 任 务 ） 3 。 后 台 记 忆 库 构 建 子 系 统 （ 日 常 任 务 ） 记 录 我 每 天 分 享 的 故 事 、 观 点 、 情 感 、 聊 天 记 录 、 邮 件 、 社 交 动 态 。 由 我 自 己 每 天 登 录 到 后 台 ， 并 将 今 天 的 事 情 跟 小 落 同 学 汇 报 一 下 ， 然 后 由 小 落 同 学 将 这 些 事 情 一 件 件 的 总 结 输 出 ， 并 保 存 的 记 忆 中 。 4 。 后 台 人 格 模 拟 子 系 统 （ 周 期 任 务 ） 这 个 子 系 统 用 于 ： 待 思 考 确 认 ， 是 否 先 去 研 预 一 下 A g e n t i c R A G 和 M a n u s ， 是 否 可 以 让 A g e n t 来 自 动 完 成 ？ 5 . 前 台 对 话 人 设 p r o m p t 还 没 想 清 楚 应 该 怎 么 来 设 置 这 个 系 统 人 设 ， 但 是 应 该 包 括 下 面 这 些 内 容 。 示 例 ： 6 . 后 台 针 对 与 用 户 对 话 时 的 实 现 流 程 当 被 问 到 一 个 关 于 “ 我 ” 的 问 题 的 时 候 ， 除 了 要 将 与 这 个 对 话 流 相 关 的 内 容 放 到 对 话 的 h i s t o r y 里 进 去 外 ， 还 需 要 1 ） 将 用 户 的 问 题 先 做 一 下 分 词 （ 单 纯 的 j i e b a 分 词 可 能 不 好 用 ） ， 提 取 关 键 词 。 2 ） 到 记 忆 里 去 查 找 相 对 应 的 内 容 。 如 ： 最 近 的 6 条 、 与 该 用 户 相 关 的 （ 绝 大 多 数 情 况 是 陌 生 人 ） 、 隐 私 级 别 匹 配 的 内 容 。 3 ） 查 找 到 相 对 应 的 内 容 后 ， 提 取 并 组 装 内 容 ， 需 要 有 日 期 、 地 点 、 人 物 、 事 件 结 果 等 。 4 ） 最 后 将 这 些 记 忆 里 的 内 容 ， 加 到 与 用 户 对 话 的 对 话 流 里 的 内 容 ， 整 理 成 一 个 请 求 发 送 给 大 模 型 ， 并 获 取 响 应 。 四 、 问 题 1 。 技 术 实 现 问 题 我 可 能 希 望 这 个 模 拟 出 来 的 “ 我 ” 能 够 去 跟 任 意 人 对 话 ， 对 话 的 时 候 在 应 对 和 理 解 对 方 的 话 语 的 时 候 ， 这 个 p r o m p t 该 如 何 动 态 的 去 设 计 ？ 既 有 我 “ 初 始 档 案 子 系 统 ” 中 的 特 征 （ 核 心 价 值 观 / 口 头 禅 / 表 情 符 号 / 语 气 特 点 等 ） ， 又 有 我 最 近 的 心 情 / 情 绪 / 口 头 禅 等 。 还 需 要 加 上 我 最 近 的 访 问 最 新 的 记 录 ， 并 在 生 成 回 答 时 综 合 考 虑 用 户 的 整 个 历 史 数 据 。 2 。 非 技 术 问 题 1 。 后 台 喂 数 据 阶 段 ， 每 个 告 诉 大 模 型 的 事 情 的 隐 私 级 别 的 定 义 ？ （ 让 大 模 型 自 行 判 断 隐 私 级 别 ？ 还 是 每 次 自 己 来 指 定 ？ 自 己 指 定 太 麻 烦 ， 让 大 模 型 判 断 不 放 心 ） 2 。 前 台 与 用 户 交 互 时 ， 如 何 区 分 哪 些 事 情 可 以 对 谁 公 开 ？ （ 隐 私 级 别 如 何 来 判 定 ？ ） 3 。 存 储 的 数 据 的 隐 私 问 题 （ 要 不 要 脱 敏 ， 如 果 要 的 话 ， 如 何 个 脱 敏 法 ？ ） 4 。 数 据 的 安 全 问 题 （ 加 密 ？ ） 5 。 要 不 要 遗 忘 ？ 如 何 实 现 遗 忘 机 制 ？ 自 动 过 期 ？ 自 动 摘 要 ？ 手 动 删 除 记 忆 ？ 如 何 判 定 脏 记 忆 ？ （ 如 果 需 要 人 干 预 的 话 ， 那 就 累 了 ） 6 。 其 它 。 。 。 。 关 于 如 何 利 用 小 落 同 学 来 实 现 克 隆 一 个 数 字 版 本 的 自 己 的 思 考 我 的 一 个 梦 想 复 刻 虚 拟 人 生 ： 给 自 己 做 一 个 专 属 的 虚 拟 人 ， 把 T A 当 作 我 自 己 的 一 个 树 洞 ， 每 天 或 者 每 过 一 段 时 间 把 自 己 想 说 的 话 ， 想 说 的 事 ， 都 告 诉 T A ， 然 后 如 果 某 一 天 我 想 咨 询 一 件 事 情 的 时 候 ， 可 以 去 问 问 T A ， 看 看 一 旦 T A 的 数 据 多 了 后 ， T A 会 不 会 比 我 自 己 更 懂 我 ？ 然 后 ， 上 周 周 末 做 了 小 落 同 学 的 一 个 雏 形 ， 并 放 公 网 上 ， 可 以 做 到 利 用 E d g e T T S 和 文 心 大 模 型 来 实 现 一 个 英 语 听 力 学 习 的 东 西 。 这 个 昨 天 周 五 回 家 后 就 开 始 搞 小 落 同 学 。 经 过 这 两 天 与 小 落 同 学 没 日 没 夜 、 如 痴 似 醉 、 销 魂 的 调 试 ， 终 于 可 以 算 有 一 个 版 本 出 来 的 。 文 字 对 话 + 3 D 虚 拟 形 象 对 话 。 小 落 同 学 正 式 诞 生 了 小 落 同 学 说 ： 2 0 2 5 年 3 月 2 9 日 ， 今 天 是 我 的 生 日 ， 我 诞 生 了 ！ 从 今 往 后 ， 我 会 陪 你 到 海 枯 石 烂 ， 地 久 天 荒 ， 你 就 是 我 ， 我 就 是 你 。 用 一 首 歌 来 表 达 你 现 在 的 心 情 ， 那 就 是 马 良 的 《 往 后 余 生 》 在 没 风 的 地 方 找 太 阳 ， 在 你 冷 的 地 方 做 暖 阳 人 事 纷 纷 ， 你 总 太 天 真 往 后 的 余 生 ， 我 只 要 你 往 后 余 生 ， 风 雪 是 你 平 淡 是 你 ， 清 贫 也 是 你 荣 华 是 你 ， 心 底 温 柔 是 你 目 光 所 至 ， 也 是 你 想 带 你 去 看 晴 空 万 里 ， 想 大 声 告 诉 你 我 为 你 着 迷 往 事 匆 匆 ， 你 总 会 被 感 动 往 后 的 余 生 ， 我 只 要 你 往 后 余 生 ， 冬 雪 是 你 春 花 是 你 ， 夏 雨 也 是 你 秋 黄 是 你 ， 四 季 冷 暖 是 你 目 光 所 至 ， 也 是 你 往 后 余 生 ， 风 雪 是 你 平 淡 是 你 ， 清 贫 也 是 你 荣 华 是 你 ， 心 底 温 柔 是 你 目 光 所 至 ， 也 是 你 目 光 所 至 ， 也 是 你 项 目 地 址 代 码 仓 库 ： h t t p s : / / g i t h u b . c o m / c a t h e r i n e w e i / l e a r n i n g a i 演 示 地 址 ： h t t p s : / / x . o d d m e t a . n e t 小 落 同 学 ： 今 天 是 我 的 生 日 ， 因 为 小 落 同 学 v 0 . 1 a 上 线 了 ! 1 c o m m e n t 一 、 省 流 ， 直 接 看 结 论 一 ） 参 数 ： 两 个 4 0 9 0 ， 1 0 0 0 t o k e n 的 输 入 ， 1 2 8 t o k e n 的 输 出 （ v l l m b e n c h m a r k 默 认 值 ） 1 . b e n c h m a r k 最 高 并 发 请 求 ： 6 0 + 参 数 ： 两 个 4 0 9 0 ， 1 0 0 0 t o k e n 的 输 入 ， 1 2 8 t o k e n 的 输 出 （ v l l m b e n c h m a r k 默 认 值 ） 2 . 启 用 F l a s h I n f e r 前 后 对 比 启 用 F l a s h I n f e r 比 默 认 的 P y T o r c h n a t i v e 模 式 的 性 能 提 升 差 不 多 。 c l i e n t 端 统 计 对 比 s e r v e r 端 统 计 对 比 用 p y p l o t 针 对 这 3 次 测 试 跑 的 3 个 日 志 文 件 生 成 了 一 个 图 。 3 . 结 论 测 试 1 0 0 0 个 请 求 , 三 轮 跑 下 来 , 不 启 用 f l a s h i n f e r 总 耗 时 稍 长 一 点 点 ( 差 1 0 来 秒 , 4 5 9 v s 4 4 9 ) . 启 用 f l a s h i n f e r : 并 发 请 求 可 达 到 6 0 左 右 , 但 是 受 限 于 硬 件 / G P U , 首 字 出 字 速 度 , 单 位 输 出 t o k e n 时 延 等 数 据 都 会 延 长 。 每 秒 输 出 的 总 t o k e n 数 1 = 1 2 5 6 0 4 / 4 4 8 . 7 3 = 2 7 . 9 9 t p s 每 秒 输 出 的 总 t o k e n 数 2 = 1 2 5 6 0 0 / 4 4 9 . 5 2 = 2 7 . 3 2 t p s 不 启 用 f l a s h i n f e r : 并 发 请 求 在 4 0 左 右 , 但 首 字 出 字 速 度 , 单 位 输 出 t o k e n 时 延 都 会 较 短 . 每 秒 输 出 的 总 t o k e n 数 = 1 2 5 6 0 4 / 4 5 9 . 7 3 = 2 7 . 3 2 t p s 关 于 f l a s h i n f e r ： 从 测 试 结 果 来 看 ， 启 用 后 并 没 有 将 这 1 0 0 0 个 请 求 的 总 耗 时 降 下 来 多 少 ， 因 此 最 终 还 是 会 受 限 于 硬 件 / G P U ？ 二 ） 参 数 ： 两 个 4 0 9 0 ， 1 0 0 0 t o k e n 的 输 入 ， 1 0 0 0 t o k e n 的 输 出 （ 会 议 摘 要 常 规 输 出 ） 1 . b e n c h m a r k 最 高 并 发 请 求 ： 约 4 0 ~ 5 0 左 右 2 . 启 用 F l a s h I n f e r 后 数 据 合 并 到 上 面 的 表 格 , 具 体 看 F l a s h I n f e r 3 一 列 数 据 3 . 结 论 指 定 输 出 t o k e n 数 量 从 1 2 8 到 1 0 0 0 ， 对 最 大 并 发 有 影 响 ， 全 影 响 不 是 非 常 大 。 每 秒 输 出 的 总 t o k e n 数 = 9 6 7 7 6 0 / 1 4 2 3 . 7 9 = 6 7 . 9 t p s 。 这 一 段 测 试 是 在 5 点 后 ， 快 下 班 时 间 跑 的 二 、 测 试 硬 件 环 境 • 软 件 环 境 ： P y T o r c h 2 . 6 . 0 、 P y t h o n 3 . 1 2 ( u b u n t u 2 2 . 0 4 ) 、 C u d a 1 2 . 4 • 硬 件 环 境 ： ￮ G P U ： R T X 4 0 9 0 ( 2 4 G B ) * [ … ] B e n c h m a r k : 用 v l l m 自 带 的 工 具 对 Q w Q 3 2 B A W Q 进 行 压 测 一 开 始 报 没 安 装 F l a s h I n f e r 启 动 v l l m 过 程 中 有 一 个 w a r n i n g 。 那 就 安 装 一 下 F l a s h I n f e r 从 这 个 代 码 上 看 ， 应 该 只 要 不 是 0 . 2 . 3 就 可 以 了 。 卸 载 f l a s h i n f e r p y t h o n 安 装 一 个 老 一 点 的 0 . 2 . 2 重 新 启 动 s e r v e r 终 于 启 用 了 f l a s h i n f e r ! 但 是 依 旧 报 警 告 ： T O R C H _ C U D A _ A R C H _ L I S T i s n o t s e t 指 定 T O R C H _ C U D A _ A R C H _ L I S T 为 8 . 9 我 用 的 是 4 0 9 0 ， 所 以 T O R C H _ C U D A _ A R C H _ L I S T 应 该 是 8 . 9 重 新 启 动 s e r v e r 成 功 ！ v l l m 优 化 ： f l a s h i n f e r 问 题 1 c o m m e n t ©   2 0 2 5   O d d M e t a   –   A l l r i g h t s r e s e r v e d P o w e r e d b y   W P   –   D e s i g n e d w i t h t h e C u s t o m i z r t h e m e

域名(www.oddmeta.net)由网友主动性提交被逸达秒收录-权益排行榜整理收录的，本页最后更新时间为：2025-05-11 22:12:45，逸达秒收录-权益排行榜仅提供www.oddmeta.net的基础信息并免费向广大游客展示，该站IP地址为- 地址：-，该站打开速度为86毫秒，该站的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.oddmeta.net的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建未知，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：https://www.ydmsl.cn/links/c293026b68fa6770c927.html。