大模型应用
当应用需要先发现网页再提取内容时,用 Firecrawl…
适用于功能以查询而非 URL 为起点、需要先搜索发现网页来源再决定是否抓取内容的场景。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
当应用需要先发现网页再提取内容时,用 F特定
解决思路
- 当 URL 发现是产品行为的一部分时,优先使用 `/search`。
- 除非明确需要抓取搜索结果,否则在概念上把搜索与提取分开。
- 当成本或延迟敏感时,优先做选择性的后续提取,而不是大范围地 hydrate 结果内容。
- 把 `/search` 当作发现、排序和来源选择的手段。
- 明确产品需要的是 snippets、URLs 还是完整的 result content。
- 保持查询契约稳定,让下游抓取逻辑保持可预测。
- 写集成代码前,先阅读对应项目语言的 source-of-truth 文档:Node / TypeScript 见 docs.firecrawl.dev/agent-source-of-truth/node,Python 见 docs.firecrawl.dev/agent-source-of-truth/python,Rust 见 docs.firecrawl.dev/agent-source-of-truth/rust,Java 见 docs.firecrawl.dev/agent-source-of-truth/java,Elixir 见 docs.firecrawl.dev/agent-source-of-truth/elixir,cURL / REST 见 docs.firecrawl.dev/agent-source-of-truth/curl。
- 如果已经有 URL,改用 firecrawl-build-scrape。
- 如果结果页随后需要点击或表单交互,升级到 firecrawl-build-interact。
- 如果功能是搜索已发表的研究论文(生物医学、临床、生命科学文献如 PubMed、bioRxiv、medRxiv,或 arXiv 预印本),`/search` 是错误的入口,应改用研究论文索引 firecrawl-research-index;向 `/search` 传 `categories: ["research"]` 并不会查询该索引,它只是把普通网页搜索过滤到研究相关网站(列表包含 PubMed、bioRxiv、medRxiv、arXiv 和出版商网站)并返回这些网站的页面结果,没有摘要搜索、相关论文扩展或全文段落。
- 如果功能是从 issues、pull requests、READMEs 或文档页面回答开发者问题,应改用开发者索引 firecrawl-developer-index;`categories: ["developer"]` 也有同样的限制。
适用边界 · 注意事项
- 已经有明确 URL 时,应使用 firecrawl-build-scrape 而不是 /search。
- 结果页需要点击或表单交互时,应升级到 firecrawl-build-interact。
- 搜索已发表研究论文或开发者问答内容时,/search 及其 categories 过滤不是正确入口。