暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

有道云笔记增强 RAG 检索 + 智能 AI 助手怎么实现?开搞!

最早使用云笔记是 2013 年-2016 年印象笔记,2017 年左右开始使用有道云笔记。

我的所有博文初稿、个人思考初稿、读书笔记初稿都在云笔记中。

云笔记是突破互联网那个大厂不让使用 U 盘,VXN 限制的一个比较好的工具。

貌似上网行为管理工具估计可以一键设置屏蔽域名。

扯远了......

用了那么多年,一直使用免费版本。最近在搞 RAG 突然冒出一个想法,能否把近 10 年的各种云笔记做个 RAG 智能问答助手

有想法,就有探索和实践,就有了今天的文章。

unsetunset1、获取有道云笔记全部内容unsetunset

我首先想到的是有道云 API,基于API下载到本地,或者 API 实时流读取同步写入。


我想大家可能和我想法一致。

但是,在这之前还是要调研一下。这时候我没有用 AI 工具,直接 Google 翻了一翻。

“站在巨人的肩膀上”,别的技术人员无非也就这两套思路。

第一:有道 API 集成自己开发程序读取。

第二:封装好的开源小工具。

因为我的诉求是快速拿到,所以选择了第二种方案。

https://github.com/DeppWang/youdaonote-pull

https://depp.wang/2020/05/18/export-youdaonote-all-notes/

并有幸翻到了作者的博客,找到了更简单的方法:https://depp.wang/2024/simple-youdaonote-pull/ 

基于作者的极简方案,我把近10年有道云笔记内容 down 到本地。

2628 个文件,32个文件夹,439 MB 文件大小。

unsetunset2、做 RAG 智能问答选型:自己开发?还是基于已有工具?unsetunset

2.1 方案一:自研实现

自己开发也没有问题,我分享过视频完整的实现文档

自己开发无非包含如下步骤:

第一:选型向量数据库,选咱们擅长的 ES 或者其他向量数据库都可以;

第二:遍历路径文件,批量写入;

第三:结合大语言模型做 RAG 开发实现。

2.2 方案二:基于已有工具集实现

基于已有工具,我最近一直调研的 Coco AI,也是不错的方案。

那,依然怎么简单怎么来。

可以参考上次发的博文

这里把核心步骤再对称梳理一下。

unsetunset3、有道云笔记 down 到本地的完整实现步骤unsetunset

3.1 为浏览器添加 Cookie-copy 插件

3.2 打开有道云笔记链接,获取相关Cookie

如下几个Cookie,自行记录一下。

  • YNOTE_PERS

v2|wxoa||YXXXXXXXXXXXXXXXeFnLJuPMwu0

  • YNOTE_SESS

v2|kOz8pXXXXXXXXXXXXXXXX0HwuR

  • YNOTE_LOGIN

5XXXXXXXXXXX96

  • YNOTE_CSTK

XXXXXXXXXXfI

3.3 将记录 Cookie 添加到配置文件

3.4 执行有道云笔记工具



3.5 有道云笔记下载到本地

unsetunset4、有道云笔记全文检索+智能 AI 助手实现unsetunsetXXXX

参照0 代码极简实现——Coco AI 构建本地文档知识库增强检索+智能问答系统 完整步骤。

4.1 Coco 服务端添加数据源

如图所示,这里的数据源就是咱们之前步骤 down 到本地的文件全部内容。

设置好文件扩展名。


4.2 启动本地 ollama 模型



前置条件:本地已部署模型列表。

4.3 配置 AI 助手


如下数据源必须都勾选上,方可以实现后续的智能 AI 效果。

4.4 客户端刷新重启,确保建立连接成功!

4.5 验证全文检索功能


如上、下截图可以看得出来,全文检索功能还是非常 ok 的!

4.6 RAG 检索增强智能问答助手效果验证

下面截图验证的内容都是来自本地下载的有道云笔记内容。

Coco AI 智能助手起到的 RAG 检索增强 + 智能问答的目的。



unsetunset5、小结unsetunset

当有一个想法,一定要想尽一切办法辅助实践

在这个过程中不见得所有环节都从 0 到 1。

待改进点:

  • 实时接入有道云笔记

  • RAG 问答细节优化

如果你也有类似需求和实现,欢迎留言交流细节。



Coco AI 快速构建本地文档知识库增强检索+智能问答系统

0 代码极简实现——Coco AI 构建本地文档知识库增强检索+智能问答系统

如何将 Coco AI 与自定义数据源集成 ?

Coco AI 5.0 新版本体验、常见问题及解决方案

开源、跨平台的统一搜索+AI 智能问答工具 Coco AI 0.5.0 发布
【视频上新】Coco AI 部署及使用详解
漫画 Coco AI——打造跨平台、定制化搜索与 AI 智能问答体验
Coco AI 如何嵌入到自有网站或系统中?
Windows 下 Coco AI 全网最全部署实战指南
深入解析 Coco AI:一款开源、跨平台的智能搜索与协作工具

文章转载自铭毅天下Elasticsearch,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论