yml2213
344eea2194
做了什么:
- 包改为分层: tcaptcha/{protocol,telemetry,solvers,ocr,adapters,models,tests}
* protocol/ client.py transport.py proxy.py
* telemetry/ crypto.py values.py key.py opcodes.py
disasm.py program.py layout.py modules.py
* solvers/ text_click.py icon_click.py icon_click_rotate.py slider.py
* ocr/ engines.py slicer.py
* adapters/ one_ms.py
- tools/ 里原本是**包运行时依赖**的 tdc_{disasm,program,layout,modules}.py 并入 telemetry/
（放在 tools/ 属于分层倒置），tools/ 只留 CLI: tdc_key_pure.py / tdc_profile.py / cdp_*.js
- crypto.py 529 -> 340 行: 切除「成功样本模板回填」与「Node 插桩兜底」两条老路；
generate_telemetry 只剩 python_values 一种模式，传别的会直接报错并说明原因
- 求解器改名分清: solver.py -> solvers/icon_click.py（client 实际在用的 YOLO+ResNet18 ONNX），
icon_click_solver.py -> solvers/icon_click_rotate.py（仅测试在用，留作对照）
- pyproject: 去掉 ultralytics/onnx（训练栈已删），补上真正在用的 onnxruntime
删除了什么:
- 雨云整条线 + dist/rainyun_qinglong（104M 旧快照）
- 模板回填: models/success_collect_template.b64、tdc_worker.js、analyze_collect_layout.py
- 「补环境」时代浏览器 JS: chrome_fetch/manual_captcha/probe_captcha/solve_in_browser/tdc_browser
- 旧 VM 探索工具 10 个(tdc_collectgen/tdc_slotmap/tdc_lift/tdc_vm_run/tdc_query/tdc_probe 等)
+ 8 个基于它们的旧 verify 脚本
- 训练/标注/评估: train_classifier/train_detector/prepare_yolo/web_labeler/collector/
siamese/evaluate/benchmark_verify
- tcaptcha/core_js/（60 个分析产物）、TOOLCHAIN_REPORT.md（整篇在描述已删工具）
- 3 个已无任何引用的 PyTorch 权重：icon_classifier.pt 43M / yolo_detector.pt 5.9M /
siamese_matcher.pt 1.6M —— 线上只跑 onnx，tcaptcha/ 117M -> 66M
为什么:
- 项目后面要专门承载「滑块 / 文字点选 / 图标点选」三种求解器；扁平包 + 运行时依赖混在
tools/ + 两条已废弃的 collect 生成路线，会让后续扩展持续踩坑
怎么验证:
- .venv/bin/python -m tcaptcha.selftest 全绿
- scripts/verify/verify_offline.py 逐槽全等 + 分段几何一致
- scripts/verify/verify_values.py 4 份真机明文 152/152 逐槽全等
- scripts/verify/send_test.py --mode python_values 1ms 签到页文字点选 errorCode=0
- 回滚点: tag backup/pre-refactor-20261012
99 lines
3.0 KiB
Python
99 lines
3.0 KiB
Python
"""
|
|
提示词图像自动切割模块
|
|
将 170x50 的提示图自动切分为 3 个独立的图标小图
|
|
"""
|
|
|
|
from pathlib import Path
|
|
from typing import List, Tuple
|
|
import numpy as np
|
|
from PIL import Image
|
|
|
|
|
|
import io
|
|
|
|
def slice_prompt_image(prompt_img: str | Path | bytes | Image.Image, padding: int = 2) -> List[Tuple[Image.Image, Tuple[int, int, int, int]]]:
|
|
"""
|
|
自动识别并切割提示图中的 3 个字符/图标
|
|
返回: [(PIL_Image, (x1, y1, x2, y2)), ...]
|
|
"""
|
|
if isinstance(prompt_img, Image.Image):
|
|
img = prompt_img.convert("L")
|
|
elif isinstance(prompt_img, bytes):
|
|
img = Image.open(io.BytesIO(prompt_img)).convert("L")
|
|
else:
|
|
img = Image.open(prompt_img).convert("L")
|
|
arr = np.array(img)
|
|
h, w = arr.shape
|
|
|
|
# 背景灰度基准 (通常取左上角像素)
|
|
bg_val = int(arr[0, 0])
|
|
|
|
# 提取暗色笔画像素（排除灰色背景）
|
|
mask = arr < (bg_val - 25)
|
|
|
|
# 水平方向投影，找出连续包含笔画的列区间
|
|
cols_has_dark = mask.any(axis=0)
|
|
|
|
segments: List[Tuple[int, int]] = []
|
|
in_seg = False
|
|
start = 0
|
|
|
|
for i, val in enumerate(cols_has_dark):
|
|
if val and not in_seg:
|
|
in_seg = True
|
|
start = i
|
|
elif not val and in_seg:
|
|
in_seg = False
|
|
if i - start >= 5: # 过滤过窄杂点
|
|
segments.append((start, i))
|
|
if in_seg and (w - start >= 5):
|
|
segments.append((start, w))
|
|
|
|
# 若投影分割不足 3 段（极罕见），按固定 3 等分兜底
|
|
if len(segments) != 3:
|
|
step = w // 3
|
|
segments = [(i * step + 5, (i + 1) * step - 5) for i in range(3)]
|
|
|
|
# 原始彩色图用于切片
|
|
if isinstance(prompt_img, Image.Image):
|
|
orig_img = prompt_img.convert("RGBA")
|
|
elif isinstance(prompt_img, bytes):
|
|
orig_img = Image.open(io.BytesIO(prompt_img)).convert("RGBA")
|
|
else:
|
|
orig_img = Image.open(prompt_img).convert("RGBA")
|
|
crops = []
|
|
|
|
for seg_start, seg_end in segments[:3]:
|
|
# 纵向精确裁剪
|
|
sub_mask = mask[:, seg_start:seg_end]
|
|
rows_has_dark = sub_mask.any(axis=1)
|
|
row_indices = np.where(rows_has_dark)[0]
|
|
|
|
if len(row_indices) > 0:
|
|
top = max(0, int(row_indices[0]) - padding)
|
|
bottom = min(h, int(row_indices[-1]) + 1 + padding)
|
|
else:
|
|
top, bottom = 0, h
|
|
|
|
left = max(0, seg_start - padding)
|
|
right = min(w, seg_end + padding)
|
|
|
|
box = (left, top, right, bottom)
|
|
crop = orig_img.crop(box)
|
|
crops.append((crop, box))
|
|
|
|
return crops
|
|
|
|
|
|
if __name__ == "__main__":
|
|
import sys
|
|
|
|
sample = sys.argv[1] if len(sys.argv) > 1 else "tcaptcha/data/raw/1789135559041_4170_prompt.png"
|
|
if Path(sample).exists():
|
|
results = slice_prompt_image(sample)
|
|
print(f"切片完成，切出 {len(results)} 个目标:")
|
|
for idx, (c, b) in enumerate(results):
|
|
print(f" [{idx+1}] 尺寸: {c.size}, 边界框: {b}")
|
|
else:
|
|
print(f"样本文件不存在: {sample}")
|