yml/hello_js_reverse_skill
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

refactor(结构): 分层重组 + 清除全部废弃路线

Browse Source 
做了什么:
- 包改为分层: tcaptcha/{protocol,telemetry,solvers,ocr,adapters,models,tests}
  * protocol/  client.py  transport.py  proxy.py
  * telemetry/ crypto.py  values.py  key.py  opcodes.py
               disasm.py  program.py  layout.py  modules.py
  * solvers/   text_click.py  icon_click.py  icon_click_rotate.py  slider.py
  * ocr/       engines.py  slicer.py
  * adapters/  one_ms.py
- tools/ 里原本是**包运行时依赖**的 tdc_{disasm,program,layout,modules}.py 并入 telemetry/
  （放在 tools/ 属于分层倒置），tools/ 只留 CLI: tdc_key_pure.py / tdc_profile.py / cdp_*.js
- crypto.py 529 -> 340 行: 切除「成功样本模板回填」与「Node 插桩兜底」两条老路；
  generate_telemetry 只剩 python_values 一种模式，传别的会直接报错并说明原因
- 求解器改名分清: solver.py -> solvers/icon_click.py（client 实际在用的 YOLO+ResNet18 ONNX），
  icon_click_solver.py -> solvers/icon_click_rotate.py（仅测试在用，留作对照）
- pyproject: 去掉 ultralytics/onnx（训练栈已删），补上真正在用的 onnxruntime

删除了什么:
- 雨云整条线 + dist/rainyun_qinglong（104M 旧快照）
- 模板回填: models/success_collect_template.b64、tdc_worker.js、analyze_collect_layout.py
- 「补环境」时代浏览器 JS: chrome_fetch/manual_captcha/probe_captcha/solve_in_browser/tdc_browser
- 旧 VM 探索工具 10 个(tdc_collectgen/tdc_slotmap/tdc_lift/tdc_vm_run/tdc_query/tdc_probe 等)
  + 8 个基于它们的旧 verify 脚本
- 训练/标注/评估: train_classifier/train_detector/prepare_yolo/web_labeler/collector/
  siamese/evaluate/benchmark_verify
- tcaptcha/core_js/（60 个分析产物）、TOOLCHAIN_REPORT.md（整篇在描述已删工具）
- 3 个已无任何引用的 PyTorch 权重：icon_classifier.pt 43M / yolo_detector.pt 5.9M /
  siamese_matcher.pt 1.6M —— 线上只跑 onnx，tcaptcha/ 117M -> 66M

为什么:
- 项目后面要专门承载「滑块 / 文字点选 / 图标点选」三种求解器；扁平包 + 运行时依赖混在
  tools/ + 两条已废弃的 collect 生成路线，会让后续扩展持续踩坑

怎么验证:
- .venv/bin/python -m tcaptcha.selftest                    全绿
- scripts/verify/verify_offline.py                         逐槽全等 + 分段几何一致
- scripts/verify/verify_values.py                          4 份真机明文 152/152 逐槽全等
- scripts/verify/send_test.py --mode python_values         1ms 签到页文字点选 errorCode=0
- 回滚点: tag backup/pre-refactor-20261012
This commit is contained in:
yml2213
2026-10-12 12:34:57 +08:00
parent 51dff870cf
commit 344eea2194
169 changed files with 599 additions and 83331 deletions
Download Patch File Download Diff File Expand all files Collapse all files
har/1ms_dianxuan/PROGRESS.md
+71 -38
View File
@@ -8,6 +8,56 @@
---
## 📁 2026-10-12 项目结构重组（下面的历史条目仍使用**旧路径**，对照本表）
包从扁平改为分层，并删除了已废弃的整条路线（雨云线 / 模板回填 / Node 兜底 /
"补环境"时代的浏览器 JS / 旧 VM 探索工具 / 训练标注脚本）。
回滚点：tag `backup/pre-refactor-20261012`。
```
tcaptcha/
protocol/ client.py transport.py proxy.py # 协议交互
telemetry/ crypto.py values.py key.py opcodes.py # collect 纯离线生成
disasm.py program.py layout.py modules.py # + 密钥静态还原
solvers/ text_click.py icon_click.py icon_click_rotate.py slider.py
ocr/ engines.py slicer.py
adapters/ one_ms.py
models/ 权重（onnx）
tests/
tools/ cdp_eval.js cdp_collect.js cdp_dump_scripts.js tdc_key_pure.py tdc_profile.py
scripts/verify/ align_session.py audit_names.py verify_values.py verify_offline.py send_test.py
```
| 历史条目里的旧路径 | 现在的位置 |
| --- | --- |
| `tcaptcha/client.py` | `tcaptcha/protocol/client.py` |
| `tcaptcha/http_transport.py` / `proxy.py` | `tcaptcha/protocol/transport.py` / `proxy.py` |
| `tcaptcha/crypto.py` | `tcaptcha/telemetry/crypto.py` |
| `tcaptcha/tdc_values.py` | `tcaptcha/telemetry/values.py` |
| `tcaptcha/tdc_key.py` / `tdc_opcodes.py` | `tcaptcha/telemetry/key.py` / `opcodes.py` |
| `tools/tdc_disasm.py` / `tdc_program.py` / `tdc_layout.py` / `tdc_modules.py` | `tcaptcha/telemetry/{disasm,program,layout,modules}.py` |
| `tcaptcha/glyph_solver.py` | `tcaptcha/solvers/text_click.py` |
| `tcaptcha/solver.py` | `tcaptcha/solvers/icon_click.py` |
| `tcaptcha/icon_click_solver.py` | `tcaptcha/solvers/icon_click_rotate.py` |
| `tcaptcha/slider_solver.py` | `tcaptcha/solvers/slider.py` |
| `tcaptcha/ocr_engines.py` / `slicer.py` | `tcaptcha/ocr/engines.py` / `slicer.py` |
| `tcaptcha/one_ms_adapter.py` | `tcaptcha/adapters/one_ms.py` |
**已删除**（历史条目仍会提到，但要按"已不存在"来读）:
`tcaptcha/{chrome_fetch,manual_captcha,probe_captcha,solve_in_browser,tdc_browser}.js`、
`tcaptcha/tdc_worker.js`、`models/success_collect_template.b64`、`tcaptcha/core_js/**`、
`tcaptcha/TOOLCHAIN_REPORT.md`、
`tools/{tdc_collectgen,tdc_slotmap,tdc_lift,tdc_vm_run,tdc_query,tdc_probe.js,tdc_trace.js,tdc_keytrace.js,tdc_vm_disasm.js,unpack_webpack.js}`、
`tools/cdp_{capture,click,net_capture,script_source,shot,module_probe,show_captcha}.js`、
`dist/rainyun_qinglong/**`、`rainyun_checkin.py`、
`scripts/{analyze_collect_layout,rainyun_checkin,check_real_tencent_aid,experiment_layout_verify}.py`、
`scripts/verify/{verify_segment,verify_seglen,verify_reorder,verify_pair_correct,verify_fp_consistency,verify_control_negative,verify_40_9_disamb,balance_names_values,label_plaintext}.py`、
`tcaptcha/tests/{test_collectgen,test_xtea_key}.py`、
`tcaptcha/{train_classifier,train_detector,prepare_yolo,web_labeler,collector,siamese,evaluate,benchmark_verify}.py`
---
## ⚠️ 2026-10-12 路线修正（对照 `docs/tdc-案例.md`，全部基于**在线新抓样本**）
之前多轮「乱碰」的根因，是几条**基础假设错了**：
@@ -300,46 +350,29 @@ TencentCaptchaClient(telemetry_mode="python_keyed") # 默认
## 六、复验入口
```bash
.venv/bin/python -m tcaptcha.tests.test_crypto_core # XTEA 往返 + encrypt_string 一致性
.venv/bin/python -m tcaptcha.tests.test_xtea_key # XTEA + 密钥提取 (逐字节对拍, Node 参与)
.venv/bin/python -m tcaptcha.tests.test_tdc_key # **纯 Python** 密钥提取 (6 份构建, 零 Node)
.venv/bin/python -m tcaptcha.tests.test_glyph_solver # 文字点选求解 (8 张真实样本)
.venv/bin/python -m tcaptcha.tests.test_icon_click_solver # 图文点选求解 (真机样本)
.venv/bin/python -m tcaptcha.tests.test_slider_solver # 滑块缺口求解 (真机样本)
.venv/bin/python -m tcaptcha.selftest # 全部
.venv/bin/python tools/tdc_key_pure.py -v har/1ms_dianxuan/live/tdc_fresh.js # 单份构建 + 推导过程
.venv/bin/python tools/tdc_key_pure.py --opcodes tcaptcha/tdc_sample.js # 打印按构建推导的 opcode 表
.venv/bin/python scripts/analyze_collect_layout.py --json /tmp/cap.json # collect 槽位序对比 (已知 #31)
```
### 2026-10-12 新增的复验入口（按案例重做后）
```bash
# ① 在线抓取全新样本（新研究的数据来源；同一个 URL 每次返回不同构建，见 #29）
.venv/bin/python scripts/fetch_online_samples.py --n 4
# ② 字符串+结构指纹识别 37 个采集器（应 37/37、0 unknown、0 重名）
.venv/bin/python tools/tdc_modules.py har/online/<ts>/tdc_01_*.js
# ③ 四段结构判决（不需要密钥：密文长度算术应精确等于 1048 / 该份的长度）
.venv/bin/python scripts/verify/verify_segment.py <已解密的 collect 明文文件>
.venv/bin/python scripts/verify/verify_seglen.py <collect 的 base64>
# ④ 指纹跨构建一致性（语义名集合应完全一致、单构建内 0 重名）
.venv/bin/python scripts/verify/verify_fp_consistency.py
# ⑤ 配对正确性（实验组≈37/37，三个负对照应 2-3/37 —— 证明没过拟合）
.venv/bin/python scripts/verify/verify_pair_correct.py
.venv/bin/python scripts/verify/verify_control_negative.py
# ⑥ 端到端重排（新数据，应 3/3 正确且非恒等）
.venv/bin/python scripts/verify/verify_reorder.py
# ⑦ 回归测试（已并入 selftest，含「reorder 非恒等」强断言）
.venv/bin/python -m tcaptcha.tests.test_collectgen
# 一键全量
.venv/bin/python -m tcaptcha.selftest
# 单套
.venv/bin/python -m tcaptcha.tests.test_crypto_core # XTEA 往返 + 四段切分回归 + 纯离线闭环
.venv/bin/python -m tcaptcha.tests.test_tdc_key # 纯 Python 密钥提取（5 份构建，零 Node）
.venv/bin/python -m tcaptcha.tests.test_glyph_solver # 文字点选求解
.venv/bin/python -m tcaptcha.tests.test_icon_click_solver # 图标点选求解
.venv/bin/python -m tcaptcha.tests.test_slider_solver # 滑块缺口求解
# 静态分析 CLI（原来的 tools/tdc_*.py 已并入包里）
.venv/bin/python tools/tdc_key_pure.py -v tcaptcha/tdc_sample.js # 取密钥 + 推导过程
.venv/bin/python tools/tdc_key_pure.py --opcodes tcaptcha/tdc_sample.js # 按构建推导的 opcode 表
.venv/bin/python -m tcaptcha.telemetry.modules tcaptcha/tdc_sample.js # 37 个语义名识别
.venv/bin/python -m tcaptcha.telemetry.layout tcaptcha/tdc_sample.js # 清单 require 顺序
# 在线抓全新样本（同一个 URL 每次返回不同构建，见 #29）
.venv/bin/python scripts/fetch_online_samples.py --n 4
```
### 标定 / 闭环 / 真实发送（2026-10-12 起的主入口）
```bash
# ⑧ 「同会话构建 + 同会话 collect」的取值标定（这一步打通了纯离线生成的最后阻塞点）
# 先备好同源配对（真 Chrome，9222）:
# node tools/cdp_dump_scripts.js --match drag_ele --outdir /tmp/1ms_bridge/scripts