问题修复
当需要设计、验证或重校准线索评分模型,或诊断销售拒绝…
适用于 B2B sales-led、PLG 和 B2C 的 lead scoring 设计、回测、阈值/层级/衰减/治理与坏模型诊断。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 49/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 85/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 60/100 ×0.15
适用场景
当需要设计、验证或重校准线索评分模型,或通用
解决思路
- 把评分拆成两个独立轴:fit(能否购买:firmographic、demographic、technographic)和 engagement(是否即将购买:behavioral、in-product)。
- 把验证和治理纳入设计本身,而不是事后补充:没有销售签核、没有重校准、把 MQL 数量当目标,是评分失败的主因。
- 设计前先做 Interview,每条消息只问一个问题,尽量给多选,用户已答则跳过;依次问:哪种 motion:sales-led B2B、PLG/self-serve with sales assist、还是 B2C transactional。
- Interview 问题:每月新 leads 约多少,过去 12-24 个月有多少 closed-won 和 closed-lost 结果;这决定规则式还是预测式,以及回测空间。
- Interview 问题:lead 记录创建时实际有什么,包括每个 fit 字段的 enrichment 覆盖、表单字段、产品事件;分数下游是数据质量。
- Interview 问题:是否已有模型;若有,是重新设计还是先诊断。
- Interview 问题:销售每周实际能处理多少 leads;这是诚实的阈值约束。
- Interview 问题:谁签字,哪个销售领导,以及他们会对模型持守什么 acceptance-rate 下限。
- Interview 问题:有无 EU 或 consent 约束;行为评分在 GDPR 下是 profiling,lawful basis 必须记录。
- Interview 问题:模型必须何时上线评分,什么在等待它;两周内排除 enrichment 采购和 conversion-band threshold 方法,一个季度可负担两者。
- Interview 问题:一次性胜利还是复利资产;单一活动列表止步于 v1 权重和能力阈值,复利任务才值得 enrichment、完整回测和重校准节奏。
- Interview 问题:努力上限是什么,包括分析师小时、CRM/营销自动化管理员权限、数据合同采购和法律路径、能花多少销售注意力;无分析师排除从 won/lost 重推权重和 conversion-band 方法,无采购路径直接删除 enrichment 阶梯而不是排最后。
- 把最后三个答案,即上线日期/等待事项、一次性还是复利、努力上限,带入本技能及参考中的所有排序;它们是唯一会重排默认值的输入。
- 每次推荐阶梯前重新排序默认值,例如:已有 enrichment 合同则将该阶梯塌缩为字段映射并升到顶部;CRM 的 fit 字段以高覆盖自报在表单上则移除覆盖菜单;无分析师则提升所有 CRM 管理员可独自交付的阶梯,并降低所有需要 cohort 分析的阶梯。
- 审计数据:测量过去 90 天 leads 每个 fit 字段的 enrichment coverage;fit 字段低于约 70% coverage 表示大多数数据库永远达不到阈值,即 enrichment-ceiling failure。
- coverage 不足时按 efficiency 排序处理:未知值评 0 分 > enrich the field > drop the field。
- coverage 不足时按 value 排序处理,即模型能实际作用的 fit signal:enrich the field > 未知值评 0 分 > drop the field。
- coverage 不足时按 effort 排序处理:enrich the field > drop the field > 未知值评 0 分。
- coverage 不足时按 compliance cost 排序处理:enrich the field > 未知值评 0 分 == drop the field。
- 评估努力量级:未知值评 0 分近乎零,是评分配置更改且一键可逆;drop the field 约一小时且最不可逆,因为信号停止收集,下次重校准无法重推其权重除非先重建历史;enrich the field 在第一个 lead 评分前需要采购和合同步骤,之后是持续 per-record 依赖和要永远监控的 coverage 数字。
- 默认选择未知值评 0 分:它保持每个薄记录可基于 engagement 评分,并可本周上线;合规平局理由是 0 规则和删除都不引入新数据源,所以都不触发 consent 或 provenance 审查,而 enrichment 会,因为第三方 fit 数据是 GDPR 下的 profiling 输入,其 lawful basis 和 provenance 必须记录后才能评分。
- 命名默认带来的 bias:未知值评 0 分会降低因非 fit 原因而记录薄的记录,例如 SMB、非美国、隐私意识买家;所以单独跟踪其转化作为 cohort,若仍转化则重推权重。
- 理解该顺序会饿死 enrichment:它价值第一、努力第一,所以比率从不买它,而它是唯一恢复信号而非绕过信号的阶梯;仅在以下情况提升 enrichment:字段是 ICP 门本身,例如企业 ACV 的员工数;coverage 整个数据库低而非一个 segment;合同已存在。
- 当 Interview 没给采购路径时,删除 enrichment 阶梯并明确说已删除,避免停在列表底部的阶梯作为没人批准的季度供应商电话回来。
- 在 B2C/PLG 中,将 decay、阈值、rescore 频率和 recalibration 调得更快,因为主导信号源是产品内行为而非表单和内容,没有购买委员会,周期以天计而非季度。
- 从结果推导信号,而非直觉:拉 12-24 个月 closed-won 和 closed-lost 记录;比较两组信号频率;保留相对基线有真实转化差的信号。
- 验证每个信号在评分时已存在;陷阱是字段在 won 交易上看起来完整,因为销售在 close 前填写。
- 从 references/signal-taxonomy.md 构建信号目录:fit 和 engagement 作为两个独立分数;硬 disqualifiers 作为 exclusions,绝不作为负分;软降级作为负分;decay 仅作用于 engagement。
- 按 references/weighting-and-thresholds.md 加权:sales-led 从约 60/40 fit/engagement 开始;hybrid 为 50/50;PLG 和 B2C 行为主导时为 30-40 fit / 60-70 engagement。
- 给每个信号类别设上限,使任何单一渠道不能独自跨过阈值。
- 设定阈值:先按销售能力,再按转化带,百分位作为 sanity check;这是三种方法的效率排名,不只是顺序;按同一 reference 在选择前说明每种方法的价值和努力。
- 定义层级,每个层级映射到不同 play。
- 按 references/validation-and-kpis.md 回测:对历史 retro-score;计算按分数带的转化;计算 top band 相对未评分基线的 lift;运行 spot-check holdout set。
- 迭代信号、权重和阈值,直到通过 pass threshold。
- 获得销售对信号列表、阈值和 acceptance floor 的书面签字;没有它构建的模型是该领域最常被引用的失败,即营销独自构建、销售拒绝一半 leads、双方互相指责。
- 发出 spec 文档,使用模板:SCORING MODEL SPEC - <company/product>, <date>, v<n>;Motion: sales-led | PLG | B2C - fit/engagement weight split, scale;Fit signals: attribute -> points | data source | coverage % | evidence;Engagement: signal -> points | decay rule | per-category cap | evidence;Exclusions: hard disqualifiers;Negative pts: soft demotions -> points;Threshold: MQL/PQL score + capacity math;Tiers: band -> play;Backtest: period, conversion by band, top-band lift vs baseline, false-negative %;Guardrails: sales acceptance floor, score-distribution inflation alarm;Governance: owner, sales sign-off, v2 review date, change-log location。
- 分阶段推出:先给实时 flow 评分,再批量为 backlog 评分;并在启动前预约启动后 60 天的 v2 审查。
- 如果你的 harness 有持久记忆,记忆已批准 spec,包括信号、权重、阈值、版本、审查日期,这样后续重校准和诊断运行从它开始,而不是重新访谈。
- Spec 规则:每个分值携带证据,例如“Pricing page 2+ visits +20: converted 2.8x baseline in last-FY won analysis”可审查;裸数字是等待被 game 的 folklore。
- Spec 规则:spec 有 pass threshold;回测中 top score band 必须转化为 opportunity 至少是未评分 all-leads 基线的 2x;false-positive rate 必须使 agreed sales acceptance floor,60% 是常见实践目标且是约定而非研究常数,合理;迭代直到两者通过;拒绝发布不能击败未评分基线的模型。
- Spec 规则:模型有版本;v1 是起始位置;v2 审查在 v1 发布前预约;每次更改记录并通知销售;无法解释的分数比错误分数更快杀死代表采用。
- 诊断坏模型时,在提议重建前检查每个症状;检查很便宜,大多数坏设置失败两三个而不是一个。
- 诊断修复按 efficiency 排序,从上到下处理:zero the vanity signals > report the right number > add decay > fix the coverage gap > add the missing buying paths > re-derive inflated weights > full recalibration。
- 诊断修复按 value 排序,即纠正后的模型赢得或停止失去的 opportunities:full recalibration > add the missing buying paths > re-derive inflated weights > add decay > zero the vanity signals > fix the coverage gap > report the right number。
- 诊断修复按 effort 排序:full recalibration > re-derive inflated weights > add the missing buying paths > fix the coverage gap > add decay > report the right number > zero the vanity signals。
- 症状 Newsletter devotees outrank real buyers:可能故障是 vanity signals 带分,email opens 因 inbox 隐私功能结构不可靠;修复是 zero 或 floor low-intent signals,并 cap email category;努力近零,分值已在矩阵中,模型所有者独自编辑。
- 症状 MQL count celebrated while pipeline flat:可能故障是 Goodhart dynamic,MQL volume 成为目标所以门槛下移;修复是向上报告 MQL-to-opportunity conversion 和 pipeline contribution,绝不报告 raw MQL volume;努力近零小时,但消耗政治资本与设 MQL 目标者。
- 症状 Stale contacts look as hot as active ones:可能故障是没有 decay,分数永远累积;修复是仅对 engagement 加 decay,机制按 signal-taxonomy 排序;努力是一小时配置,加一次数据库 rescore。
- 症状 Most of the database can never reach threshold:可能故障是 enrichment ceiling,大多数记录 fit 字段为空;修复是测量 coverage,然后应用 Workflow step 2 的排序菜单,先未知值评 0 分;努力默认阶梯近零,若提升 enrichment 则一个季度和持续工作。
- 症状 Closed-won deals that never hit MQL:可能故障是 false negatives,模型忽略真实购买路径,例如 referrals、events、product usage;修复是添加缺失路径,并跟踪 false-negative rate 作为 standing KPI;努力一周,在 won 记录中找到路径、加信号、重回测。
- 症状 MQL volume up, MQL-to-opportunity down:可能故障是 score inflation,权重慷慨或 vanity signals;修复是从 won/lost 数据重推权重,加 category caps,提高阈值;努力是一周分析师工作 on won/lost cohorts,加销售对新门槛重新签字。
- 症状 High scores stopped predicting wins:可能故障是 stale model,ICP、产品、内容自校准后已变;修复是在最新多季度 cohort 上重校准,并安装 drift triggers;努力是一个季度重建,然后持续工作保持。
- 该顺序饿死 full recalibration,因为它价值第一、努力第一,所以比率从不排它;当 ICP、定价或产品自上次校准后变了,或上面两行已修但转化仍不追踪分数时,提升它高于一切。
- 若 Interview 没给分析师,删除两个 cohort-analysis 阶梯,即重推权重和 full recalibration,并说明已删除,而不是留在没人能执行的计划底部;对抗 inflation 时留下 category caps 和 raised threshold,CRM 管理员可独自交付,并买回大部分 precision。
适用边界 · 注意事项
- 不要用于把已评分线索分配给销售代表(routing、territories、rep matching);应使用 mbfinotti/revops-skills@lead-routing。
- 不要用于定义 account-fit 标准(firmographic 和 technographic ICP tiers);应使用 mbfinotti/sales-skills@sales-icp-definition。