超长上下文模型知识库实战

承接上一篇《数据库接入大模型实战》，除了上述优化方案，还有一种更直接的方法：使用超长上下文的模型，将资料直接拖入对话框，让AI自动检索。

模型窗口进化与测试

如上图所示，过去两年内，模型的上下文窗口长度大幅提升。例如Gemini 2.0 Pro已支持2000万token的上下文，足以容纳四大名著。下面以Gemini为例进行测试。

API密钥获取与模型配置

首先，访问谷歌的AI Studio[1]（需科学上网）。

在右上角找到“Get API Key”。

点击创建API密钥。

选择任意项目，点击创建。

复制生成的API密钥。

回到 Cherry Studio，在设置中选择模型服务商为Gemini，并填写API密钥。

接着添加模型，点击“添加”，模型ID可在AI Studio中选择。本文以Gemini 2.0 Flash模型为例，支持100万token上下文，并有免费额度。

复制Gemini 2.0 Flash 模型ID。

回到 Cherry Studio，填写模型ID并添加。

切换聊天模型为Gemini 2.0 Flash。

记得将助手的默认Prompt清空。

知识库检索实战

接下来测试知识库能力。以全本《三国演义》为例，用VSCode打开，将张飞打造的武器改为“丈九棒棒糖”，保存。

将全本《三国演义》拖入对话框，并提问：“张飞造了什么兵器，请找到原文位置并据此回答。”

AI成功检索到答案，在第一回中张飞造“丈九棒棒糖”。本次任务消耗551266 token。

整个《三国演义》仅消耗了约一半上下文窗口。利用Gemini超大上下文进行知识库检索，是一种高效方案。

总结与展望

AI知识库常被称为“demo五分钟，上线一年”。目前AI知识库仍是复杂的系统工程，没有通用银弹，项目落地需多工具协作。当前公认效果较好的方案是自适应RAG，根据查询类型自动选择最合适的检索策略，结合多种检索方式提升精度。本文到此结束.

引用链接

[1] AI Studio: