写作与公文
需要把整站或某个栏目保存为本地…
用 firecrawl x download 把网站或某个栏目抓取为本地嵌套目录下的 markdown、链接、截图等文件,便于离线查阅。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
需要把整站或某个栏目保存为本地 Mark特定
解决思路
- 先确认已认证:download 需要登录凭证,没有 keyless 免费额度,缺少凭证时 CLI 会弹出交互式登录提示。
- 命令以 `firecrawl x download <URL>` 形式调用(属于实验性的 `firecrawl x` 命令组)。
- 工具会先 map 站点 origin 发现页面,再把每个页面抓取到 `.firecrawl/` 下的嵌套目录中。
- 用 `--include-paths` 把非根 URL 限定到某个栏目,例如 `--include-paths "/features,/sdks"`。
- 自动化运行时始终加上 `-y`,否则命令会打开交互式向导并阻塞在提示上。
- 加 `--screenshot` 为每个页面保存截图,例如 `firecrawl x download https://docs.example.com --screenshot --limit 20 -y`。
- 用 `--format markdown,links` 指定多种格式,每个页面会各自生成独立文件(如 index.md + links.txt + screenshot.png)。
- 用 `--limit` 限制抓取页面数量,例如 `--limit 20`。
- 用 `--exclude-paths` 跳过不需要的路径,例如跳过翻译版本 `--exclude-paths "/zh,/ja,/fr,/es,/pt-BR"`。
- 运行 `firecrawl x download --help` 查看完整选项列表,包括 download 支持哪些 scrape 选项。
- 完成标准:命令成功退出,且 `.firecrawl/` 下存在预期的文件。
- 相关技能:只需发现 URL 用 firecrawl-map;抓取单页用 firecrawl-scrape;批量提取为 JSON(非本地文件)用 firecrawl-crawl;把批量提取集成进应用用 firecrawl-build-scrape。
适用边界 · 注意事项
- 需要先有 firecrawl 工具并完成认证(无 keyless 免费额度),无凭证或未登录时不适用。
- 只想发现 URL 而不下载时,应改用 firecrawl-map。
- 需要批量提取为 JSON 而非本地文件时,应改用 firecrawl-crawl。