后端与接口
需要定期监控网页变化并通过 Webhook/邮件告警时使用…
当用户想对已知 URL 做周期性变化检测,或想在全网范围内持续追踪符合目标的新结果,并通过 webhook 或邮件收到通知时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
需要定期监控网页变化并通过 Webhoo特定
解决思路
- 根据监控对象选择目标模式:单页用 `--page <url>`;多 URL 用 `--scrape-urls <url,url,...>`;整站用 `--crawl-url <root-url>`;全网搜索用 `--queries <q,...>` 加 `--goal`(两者必须同时使用)。
- 创建单页监控示例:`firecrawl monitor create --name "Blog" --schedule "every 30 minutes" --goal "Alert when a new blog post is published." --page https://example.com/blog --email alerts@example.com`。
- 创建全网监控示例:`firecrawl monitor create --name "Competitor launches" --schedule "daily at 9:00" --queries "competitor product launch,competitor funding round" --goal "Alert when a competitor announces a new product or raises funding." --search-window 7d --max-results 20 --email alerts@example.com`。
- 配置 webhook 通知:在 create 时加 `--webhook-url https://example.com/hook --webhook-events monitor.page,monitor.check.completed`。
- 用 `firecrawl monitor list --limit 20` 列出监控,用 `firecrawl monitor get <monitorId>` 查看详情。
- 用 `firecrawl monitor run <monitorId>` 立即触发一次检查(适合创建后做冒烟测试),用 `firecrawl monitor checks <monitorId>` 列出所有检查记录。
- 用 `firecrawl monitor check <monitorId> <checkId> --page-status changed` 过滤检查页面,跳过 `same` 噪音;也可用 `new`、`removed`、`error`。
- 用 `firecrawl monitor update <monitorId> --state paused` 临时暂停监控;永久结束才用 `firecrawl monitor delete <monitorId>`# 注意 `--state` 是 update 的标志,`--status` 是全局 CLI 状态标志。
- 用 `--retention-days` 控制快照保留时长,高频监控可调低以节省存储。
- 编写或优化 `--goal`(以及 web 监控的 `--queries`)时参考 goals.md;需要按结构化字段(价格、标题、库存标志)做逐字段 diff 时参考 json-tracking.md。
- 外部邮件收件人必须选择加入:首次添加时 Firecrawl 会发送确认邮件,确认后才收到告警;团队自有地址自动确认;收件人退订后需由 owner 重新添加以触发新的确认邮件。
- 遇到 HTTP 429 / 限流错误时只退避重试一次:等待约 30 秒后重试一次;若仍失败则停止,将限流作为阻塞原因上报,并删除本次任务创建的所有监控;绝不循环重试。
- 监控触发的抓取默认 `maxAge` 为 `0`,每次检查都会重新抓取,除非在 JSON payload 中显式设置 `scrapeOptions.maxAge`。
- 完成标准:`create` 返回 monitor ID,且冒烟测试的 `run` + `check` 确认目标、状态和通知配置符合预期。
适用边界 · 注意事项
- 零数据保留(zero-data-retention)团队不可使用监控功能。
- 调度间隔最小为 5 分钟,无法设置更短的周期。
- 不要对同一 URL 反复做一次性抓取;只要需要检查同一 URL 超过一次,就应优先使用一个 monitor。