大模型应用
用 Trackio 记录、告警与查询 ML…
在训练脚本中记录指标、按诊断条件触发告警,并通过 CLI 查询指标与告警以驱动自主实验迭代。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
用 Trackio 记录、告警与查询 M特定
解决思路
- 在训练脚本中 `import trackio`,用 `trackio.init()` 初始化跟踪,用 `trackio.log()` 记录指标(或使用 TRL 的 `report_to="trackio"`),最后用 `trackio.finish()` 收尾。
- 远程/云端训练时传入 `space_id`,让指标同步到 Space 仪表盘以便实例终止后仍持久保存;注意自动创建的 Space 默认是公开的,若指标不应公开则传 `private=True`。
- 在训练代码中插入 `trackio.alert(title="...", level=trackio.AlertLevel.WARN)` 来标记重要事件;使用三个严重级别 `INFO`、`WARN`、`ERROR`;告警会打印到终端、存入数据库、显示在仪表盘,并可选发送到 webhook(Slack/Discord)。
- 作为 LLM agent 自主迭代实验时,在训练代码中为诊断条件(loss 尖峰、NaN 梯度、低准确率、训练停滞)插入告警;由于告警会打印到终端,监视训练脚本输出的 agent 会自动看到它们;对于后台或分离运行的进程,改用 CLI 轮询。
- 用 `trackio list projects/runs/metrics` 发现可用的项目、运行与指标。
- 用 `trackio get project/run/metric` 获取摘要与具体数值。
- 用 `trackio list alerts --project <name> --json` 获取告警。
- 用 `trackio show` 启动仪表盘,用 `trackio sync` 同步到 HF Space。
- 为输出添加 `--json` 以获得适合自动化与 LLM agent 的程序化输出。
- 自主实验推荐流程:1) 在训练中设置带告警的训练脚本;2) 在后台启动训练;3) 用 `trackio list alerts --project <name> --json --since <timestamp>` 轮询新告警;4) 用 `trackio get metric ...` 读取具体指标值;5) 根据告警与指标停止运行、调整超参数并启动新的运行。
- 最小记录示例:`trackio.init(project="my-project", space_id="username/trackio", private=True)`,随后多次 `trackio.log({"loss": 0.1, "accuracy": 0.9})`,最后 `trackio.finish()`。
- 最小查询示例:`trackio list projects --json` 与 `trackio get metric --project my-project --run my-run --metric loss --json`。