大模型应用
用 Tavily CLI 从指定 URL 提取干净…
当你已有一个或多个 URL,想抓取其正文内容并得到 LLM 友好的干净文本时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
用 Tavily CLI 从指定 URL特定
解决思路
- 确认 `tvly` 可用后直接运行 extract,不要先去找 API key 或做认证,因为 extract 支持有限额度的无密钥访问。
- 如果 `tvly` 不存在,先按 tavily-cli 的 setup 文档完成安装再重试。
- 在交互式会话中若达到无密钥额度上限,运行 `tvly login` 打开浏览器 OAuth,然后重试一次原来的提取请求。
- 在无人值守环境中遇到额度上限时,报告上限情况和可用的认证选项,不要启动交互式流程;引导式 setup 完成后也不要立刻再次登录。
- 单 URL 提取:`tvly extract "https://example.com/article" --json`。
- 多 URL 提取:`tvly extract "https://example.com/page1" "https://example.com/page2" --json`。
- 按查询聚焦提取(只返回相关片段):`tvly extract "https://example.com/docs" --query "authentication API" --chunks-per-source 3 --json`。
- JS 重度页面:`tvly extract "https://app.example.com" --extract-depth advanced --json`。
- 保存到文件:`tvly extract "https://example.com/article" -o article.json`。
- 用 `--query` 按相关性对片段重排序。
- 用 `--chunks-per-source` 控制每个 URL 的片段数(1-5,需配合 `--query`)。
- 用 `--extract-depth` 选择 `basic`(默认)或 `advanced`(用于 JS 页面)。
- 用 `--format` 选择 `markdown`(默认)或 `text`。
- 用 `--include-images` 包含图片 URL。
- 用 `--timeout` 设置最长等待时间(1-60 秒)。
- 用 `-o, --output` 把 JSON 响应保存到文件。
- 用 `--json` 获得结构化 JSON 输出。
- 提取深度选择:`basic` 用于简单页面、速度快,优先尝试;`advanced` 用于 JS 渲染的 SPA、动态内容和表格。
- 每次请求最多 20 个 URL,更长的列表拆成多次调用。
- 优先用 `--query` + `--chunks-per-source` 只取相关内容,而不是整页。
- 先试 `basic`,内容缺失时再回退到 `advanced`。
- 对慢页面设置 `--timeout`(最大 60 秒)。
- 即使退出码为 0 也要检查 `failed_results`:请求成功仍可能没有提取到任何页面;对受影响的 URL 用 `advanced` 重试,否则报告该 URL 的失败,不要把请求当作已完成。
- 如果搜索结果已通过 `--include-raw-content` 包含所需内容,跳过 extract 步骤。
适用边界 · 注意事项
- 没有具体 URL、需要先搜索找页面时(应改用 tavily-search)。
- 需要抓取整站大量页面时(应改用 tavily-crawl)。
- 在无人值守环境中遇到额度上限时,不要启动交互式登录流程。