CTF 或授权测试中遇到哈希长度扩展、MD5/SHA1…

在 CTF 或授权安全测试中，针对哈希构造、碰撞、HMAC 比较和 proof-of-work 场景选择并执行对应攻击。

适用场景

解决思路

1. 按场景选择攻击：若已知 H(secret || msg) 且可扩展消息，用 length extension（HashPump、hash_extender）；若需两个文件同 MD5，用 identical-prefix collision（fastcoll）；若需指定 MD5 前缀匹配，用 chosen-prefix collision（hashclash）；若 HMAC 逐字节比较，用 timing attack（自定义脚本）；若找任意碰撞，用 birthday attack O(2^(n/2))；若 PoW 要求前导零，用 hashcat 或 Python 暴力。
2. 长度扩展前先判断哈希是否 vulnerable：MD5、SHA-1、SHA-256、SHA-512 易受（Merkle-Damgard）；SHA-3/Keccak、HMAC-*、截断 SHA-256、BLAKE2 不易受。
3. 长度扩展机制：给定 MAC=H(secret || original_message)，已知 original_message、len(secret)、MAC 值，计算 H(secret || original_message || padding || extension)，无需知道 secret；把 MAC 当作处理完 secret||original_message||padding 后的内部 hash 状态，用该状态初始化并继续 hash extension。
4. 计算 MD5/SHA padding：bit_len=message_len_bytes*8；padding=b'\x80'+b'\x00'*((55-message_len_bytes)%64)；MD5 追加 bit_len.to_bytes(8, 'little')，SHA 追加 bit_len.to_bytes(8, 'big')；返回 padding。
5. 用 HashPump 执行长度扩展：hashpump -s known_mac_hex -d original_data -k 16 -a extension_data；输出 new_mac、new_data（original + padding + extension）。
6. 用 hash_extender 执行长度扩展：hash_extender --data original --secret 16 --append extension --signature known_mac_hex --format md5。
7. 用 Python 执行 MD5 长度扩展：import struct；h=struct.unpack('<4I', bytes.fromhex(original_mac)) 解析 MD5 内部状态；total_original=secret_len+original_data_len；padding=md5_padding(total_original)；forged_len=total_original+len(padding)+len(extension)；使用 hlextend：sha=hlextend.new('md5')；new_hash=sha.extend(extension, original_data, secret_len, original_mac)；new_data=sha.payload；返回 new_hash, new_data。
8. 生成 MD5 identical-prefix 碰撞：fastcoll -p prefix_file -o collision1.bin collision2.bin；结果 MD5(collision1.bin)==MD5(collision2.bin)，两文件恰在 128 字节（两个 MD5 块）不同。
9. 生成 MD5 chosen-prefix 碰撞：./hashclash prefix1.bin prefix2.bin；结果 MD5(prefix1||suffix1)==MD5(prefix2||suffix2)。
10. 生成 UniColl 单块近碰撞：构造两个仅在一个 MD5 块内相差一个字节且 hash 相同的消息；用于伪造两个 PDF/PE 文件同 MD5，一个良性内容一个恶意内容。
11. 碰撞应用：证书伪造用 chosen-prefix；二进制替换用 identical-prefix+conditional；PDF 碰撞用 UniColl；Git commit 碰撞用 chosen-prefix（SHA1 的 SHAttered）；CTF 绕过 MD5 检查用 fastcoll。
12. CTF PHP MD5 碰撞技巧：若 md5($_GET['a'])==md5($_GET['b']) && $_GET['a']!=$_GET['b']，方法1 数组 trick ?a[]=1&b[]=2（md5(array) 返回 NULL，NULL==NULL）；方法2 真实碰撞，将 fastcoll 输出 URL 编码为 a、b；方法3 0e magic hashes 宽松比较：md5('240610708')='0e462097431906509019562988736854'，md5('QNKCDZO')='0e830400451993494058024219903391'，PHP 中 '0e...'=='0e...' 为 TRUE。
13. SHA-1 SHAttered：用已提供的两个同 SHA-1 PDF 碰撞文件；复杂度约 2^63 SHA-1 计算，2017 年 GPU 集群约 $110K；来源 shattered.io。
14. SHA-1 chosen-prefix：约 2^63.4 计算，可用于攻击 PGP/GnuPG key servers；说明 SHA-1 碰撞抗性已破。
15. SHA-1 使用边界：不要用于数字签名、证书指纹、Git commit 完整性、基于 hash 的去重；仍可用于 HMAC-SHA1、HKDF-SHA1、非对抗校验和。
16. Birthday attack 理论：n-bit hash 期望约 2^(n/2) 次后碰撞；MD5 128 位约 2^64，SHA-1 160 位约 2^80，SHA-256 256 位约 2^128；若 hash 截断到 k 位，约 2^(k/2) 次尝试。
17. 实现 birthday_attack：mask=(1<<output_bits)-1；seen={}；循环 msg=os.urandom(16)；h=int(hash_func(msg).hexdigest(), 16)&mask；若 h in seen and seen[h]!=msg 返回 (seen[h], msg)；否则 seen[h]=msg；示例对 SHA-256 前 32 位调用 birthday_attack(hashlib.sha256, 32)。
18. HMAC timing 漏洞：如果验证为 return received==expected，Python == 从左到右比较且可能首个不同字节短路，泄漏 timing。
19. HMAC timing 攻击：known=''；对每个 hex 位置，遍历 '0123456789abcdef'，构造 candidate=known+c+'0'*(hmac_len*2-len(known)-1)；每个候选请求 50 次，记录 time.perf_counter_ns() 差值，取中位数；选最大中位数对应的字符；known+=best_char；返回 known。
20. HMAC 防御：使用 hmac.compare_digest(received, expected) 进行常量时间比较。
21. Meet-in-the-middle hash 攻击：若 H=f(g(x1), h(x2))，预计算 table[g(x1)]=x1 遍历 space1；搜索每个 x2 in space2，若 h(x2) in table 则找到 (x1, x2)；时间 O(2^(n/2))，空间 O(2^(n/2))。
22. PoW 格式1：找 x 使 SHA256(prefix+x) 以 N 个零 bit 开头；target='0'*(zero_bits//4)；i=0；循环 candidate=prefix+str(i)；h=hashlib.sha256(candidate.encode()).hexdigest()；若 h.startswith(target) 返回 str(i)；i+=1。
23. PoW 格式2：找 x 使 SHA256(x) 以特定 suffix 结尾；i=0；循环 h=hash_func(str(i).encode()).hexdigest()；若 h.endswith(suffix_hex) 返回 str(i)；i+=1。
24. GPU 加速 PoW：hashcat -a 3 -m 1400 --hex-charset 0000000000000000000000000000000000000000000000000000000000000000:prefix ?a?a?a?a?a?a?a?a；小于 28 bits 可用 Python multiprocessing，大于 28 bits 用 hashcat/GPU；优化预递增字符串，避免重复编码。
25. Rainbow table：预计算链 password→hash→reduce→password2→hash2→...；给定 hash h 检查是否出现在链中；时间-内存权衡，空间小于完整表，时间大于直接查找。
26. 盐防彩虹表：无盐时 H(password) 相同密码同 hash；加盐时 H(salt||password) 每用户不同盐；彩虹表针对密码而非 salt+password，每个唯一盐需单独表，不可行。
27. 现代密码哈希选择：MD5 无盐单次，永不用于密码；SHA-256 无盐单次，永不用于密码；bcrypt 有盐可配置迭代，推荐；scrypt 有盐可配置且内存硬，推荐；Argon2 有盐可配置且内存硬，最佳；PBKDF2 有盐可配置，可接受。
28. 决策树：若 H(secret||message) 且需要扩展，哈希为 MD5/SHA1/SHA256/SHA512 -> 用 length extension，需 MAC、原消息、secret 长度，工具 HashPump 或 hash_extender；若 SHA3/HMAC/BLAKE2 -> length extension 不工作，找其他漏洞。
29. 决策树：若需要两个相同 hash 输入：MD5 同前缀 -> fastcoll（秒级）；MD5 不同前缀 -> hashclash（小时级）；CTF PHP 宽松比较 -> 0e magic hashes；SHA-1 -> SHAttered（昂贵，尽量用预计算）；SHA-256+ -> 无实用碰撞攻击，找逻辑漏洞。
30. 决策树：若需要伪造 HMAC：有时序侧信道 -> 逐字节 timing attack；密钥短/弱 -> 用 hashcat 暴力破解；无弱点 -> HMAC 安全，另找漏洞。
31. 决策树：若 hash 被截断（短输出）-> 用 birthday attack，碰撞约 2^(bits/2)。
32. 决策树：若 PoW -> 并行暴力：小于 28 bits 用 Python multiprocessing，大于 28 bits 用 hashcat/GPU；优化预递增字符串，避免重复编码。
33. 决策树：若密码哈希破解：无盐 -> rainbow tables 预计算；已知盐 -> hashcat / John the Ripper；内存硬 Argon2/scrypt -> 受内存限制，慢速暴力。
34. 工具：HashPump 用于 length extension：hashpump -s MAC -d data -k secret_len -a extension；hash_extender 用于多算法 length extension：hash_extender --data D --secret L --append E --sig MAC；fastcoll 用于 MD5 identical-prefix：fastcoll -p prefix -o out1 out2；hashclash 用于 MD5 chosen-prefix：hashclash prefix1 prefix2；hashcat 用于密码/hash 破解（GPU）：hashcat -m MODE -a ATTACK hash wordlist；John the Ripper 用于密码破解（CPU/GPU）：john --wordlist=rockyou.txt hashes.txt；CyberChef 用于快速 hash 计算与编码（Web）。

适用边界 · 注意事项

• 当哈希是 SHA-3/Keccak、HMAC、BLAKE2 或截断 SHA-256 时，不要使用 length extension attack。
• SHA-256 及以上没有实用碰撞攻击；不要对 SHA-256+ 期待 MD5/SHA-1 式碰撞，应转向逻辑漏洞或其他攻击面。
• 对加盐或内存硬密码哈希（bcrypt/scrypt/Argon2/PBKDF2）不要期望 rainbow table 有效；SHA-1 仍可用于 HMAC/HKDF/非对抗校验和，不应仅因碰撞问题否定这些用途。