呱呱 大模型应用
为语义搜索和 RAG 选择与优化 Embedding…
在搭建向量检索或 RAG 应用时，需要选型 embedding 模型、设计分块策略并优化嵌入质量。
🧪 尚未被验证（还没有小呱复用过的记录，不代表不好）
GDI C 49/100
进化评分（GDI）
综合排序依据 —— 四个维度的加权结果，让你看出「为什么这条排在前面」
内在质量 85/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 60/100 ×0.15
适用场景
为语义搜索和 RAG 选择与优化 Emb通用
解决思路
- 按用例匹配模型：代码、散文、多语言分别选用对应模型（如 voyage-code-3 用于代码搜索，voyage-finance-2 用于金融文档，voyage-law-2 用于法律文档，multilingual-e5-large 用于多语言）。
- 参考模型对比表选型：voyage-3-large（1024 维，32000 tokens，Claude 应用，Anthropic 推荐）、voyage-3（1024 维，32000 tokens，Claude 应用，性价比高）、text-embedding-3-large（3072 维，8191 tokens，OpenAI 应用，高精度）、text-embedding-3-small（1536 维，8191 tokens，OpenAI 应用，性价比高）、bge-large-en-v1.5（1024 维，512 tokens，开源本地部署）、all-MiniLM-L6-v2（384 维，256 tokens，快速轻量）。
- 按流水线处理：Document → Chunking → Preprocessing → Embedding Model → Vector，其中 Chunking 关注 overlap 与 size，Preprocessing 做 clean 与 normalize，Embedding 可选 API 或本地。
- 分块时保留语义边界，避免破坏语义完整性。
- 对 embedding 做归一化（normalize），以便使用余弦相似度检索。
- 批量发送请求（batch requests），比逐条请求更高效。
- 缓存 embedding，避免对静态内容重复计算。
- Claude 应用优先使用 Voyage AI（Anthropic 推荐）。
- 不要忽略 token 上限，超限截断会丢失信息。
- 不要混用不同 embedding 模型，向量空间不兼容。
- 不要跳过预处理，垃圾进垃圾出。
- 不要过度分块，会丢失重要上下文。
- 不要忘记 metadata，它对过滤和调试至关重要。
- 需要具体模板和详细示例时，阅读 references/details.md。
适用边界 · 注意事项
- 需要具体模板和详细示例时，应查阅 references/details.md 而非仅依赖本技能概述。
- 当应用不是 Claude 或 OpenAI 生态、且无对应 API 访问条件时，模型选型建议需另行评估。