yml/live-hub-py
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
127 Commits 1 Branch 0 Tags
cd2d02c86eedb50aa1fd84feb2c869547e051ffa
Commit Graph
41 Commits
Author SHA1 Message Date
yml2213 cd2d02c86e 增加斗鱼账号检测功能 2026-07-09 23:12:39 +08:00
yml2213 0faaa2c302 增加另一个登录接口-登录错误 2026-06-26 17:43:00 +08:00
yml2213 d7d7c0cbb0 增加另一个登录接口 2026-06-26 17:22:51 +08:00
yml2213 f736ef4f4c 优化邮箱登录错误分支,增加备用密码 2026-06-25 09:58:46 +08:00
yml2213 f21f82cbed ck 复制格式优化,修复错误 2026-06-25 09:16:23 +08:00
yml2213 0b4fe1daa2 继续优化登录逻辑 2026-06-25 08:40:00 +08:00
yml2213 a62e7c192f 优化白名单逻辑 2026-06-25 08:19:18 +08:00
yml2213 ef12dcf4a3 优化代理相关, 移除旧的死代码 2026-06-25 08:04:56 +08:00
yml2213 a7da949d9c 修复Roundcube空URL和白名单重复同步 
1. ROUNDCUBE_URL: os.getenv返回空字符串时不回退默认值，改为 or 默认值
2. ProxyFetcher: 缓存已同步白名单IP，后续线程跳过重复同步
 2026-06-24 16:04:21 +08:00
yml2213 e478ac4d09 简化登录流程：砍掉代理池，极验不内部切代理 
- 新建 ProxyFetcher 替代 ProxyManager，每次从API取1个代理，无池无锁无冷却
- 极验最多3次尝试，失败直接抛异常回到login整体重试取新代理
- 删掉极验内部的 refresh_proxy/proxy_switches/_soft_fail_streak 逻辑
- login整体重试时取新代理从头走完整流程
- 代理验证超时从(5,8)缩短为(3,5)，白名单同步后立即重试不等待
- login_service 删掉60行代理池预检/等待代码
- 修复邮件验证码日期比较：Roundcube分钟精度与秒级时间戳对齐
 2026-06-24 15:37:48 +08:00
yml2213 ca5bf3531d 优化代理相关的 2026-06-24 14:44:09 +08:00
yml2213 83345dfdc5 增加了代理平台和日志 2026-06-24 14:22:29 +08:00
yml2213 0d03b2c242 优化登录重试与配置清理 2026-06-24 10:20:33 +08:00
yml2213 72248eb3cc 拆分补CK逻辑 2026-06-24 09:38:17 +08:00
yml2213 d87aa7c1e6 移除HTTP详情请求日志 2026-06-24 09:29:47 +08:00
yml2213 7bb50a9bbf 增强登录稳定性 2026-06-24 09:17:15 +08:00
yml2213 177ec42416 加密敏感数据并优化补CK流程 2026-06-24 09:10:31 +08:00
yml2213 8e65af538c 完全对齐目标 ck 2026-06-24 08:28:37 +08:00
yml2213 ae92cd2441 cvl_csrf_token 是有了, 但是 acf_ccn 还没有 2026-06-24 08:15:15 +08:00
yml2213 4813eb039d feat: 极验验证默认无限重试，由登录整体超时兜底 
- max_proxy_retries 默认值从10改为0（无限重试）
- _solve_geetest 增加 deadline 参数，超时则主动退出
- login() 计算 deadline 并传递给极验验证
- 前端/Schema/Service 默认值同步更新
 2026-06-23 23:40:40 +08:00
yml2213 7711111015 fix: 极验异常日志中 _truncate_error 缺少 self. 前缀导致 NameError 2026-06-23 22:50:39 +08:00
yml2213 cc30697c97 feat: 登录流程整体重试机制 + 代理池耗尽等待恢复 
- DouyuLogin.login() 添加整体重试循环，失败时换新代理从头重跑
  - 新增 max_login_retries（默认3次）和 max_total_time（默认300秒）
  - 重试前重置 session cookies + 换新代理，避免残留状态
  - 成功后归还代理到池；失败时标记代理坏
- 代理池耗尽时不再立即放弃账号，等待最多60秒恢复后再试
- API代理模式改为 DouyuLogin 内部通过 proxy_manager 自治管理
  登录过程中的代理切换（极验、整体重试）不再由服务层预取
- Schema/LoginBatchRequest 添加 max_login_retries 和 max_total_time
- 前端 API 调用改为对象参数形式，透传新参数
 2026-06-23 22:06:00 +08:00
yml2213 36d55ed685 fix: 代理验证增加极验api.geetest.com连通性测试 
- 原来只验证douyu.com，能过但极验不通的代理会入池后立即失败
- 现在两关验证：先过douyu.com，再过api.geetest.com
- 日志中09:04:03验证10/10全通过但极验连续失败的问题不会再出现
- 极验超时/不可达的代理在入池前就被过滤掉
 2026-06-23 09:40:44 +08:00
yml2213 e778acbccd fix: 极验重试区分代理死亡和临时波动，减少无效换代理 
- 新增 _is_proxy_connection_error 判断异常类型
- 代理连接类错误（ProxyError/超时/502）：立即换代理+标记坏
- 临时波动（slide/网络不给力/KeyError）：先用原代理重试2次，才换代理
- _refresh_proxy 新增 mark_bad 参数，临时换代理不标记坏
- 解决日志中'网络不给力'反复换代理导致池枯竭的问题
 2026-06-23 09:39:43 +08:00
yml2213 ab4b5e7f08 fix: mark_bad改为带冷却期的软隔离，防止代理池快速枯竭 
- 失败1次: 冷却30s后可重新入池（指数退避：30s→60s→120s）
- 连续失败3次: 才永久移出池
- 选代理时优先跳过冷却中的代理，池子全冷却时退而求其次
- 成功归还代理时清除失败记录（release_proxy）
- 解决日志中09:02:23后代理被逐个误杀导致池枯竭的问题
 2026-06-23 09:36:57 +08:00
yml2213 3b36175bbb fix: 改用Roundcube API获取验证码，修复邮件时间解析不可靠问题 
- 新增Roundcube Webmail登录+JSON API读取邮件列表（含精确日期）
- Roundcube优先，read.php降为备用回退
- 解析Roundcube返回的中文日期格式（今天/昨天/星期X HH:MM）
- 修复read.php时间字段被MIME编码Subject污染导致'保守拒绝'误判
- 修复邮件时间UTC/本地时区8小时偏差导致正常邮件被跳过的问题
- read.php备用模式下解析不到时间不再保守拒绝，改为放行
 2026-06-23 09:34:44 +08:00
yml2213 dd56de9bd4 fix: 修复proxy_service和account_service中不当的顶层import 
- proxy_service.py: 将requests和WhitelistManager改为函数内延迟import，
  避免启动时加载不需要的依赖；移除未使用的get_exit_ip_via_proxy导入
- account_service.py: 移除未使用的func、joinedload、AuditLog、
  user_has_permission顶层导入
 2026-06-23 08:35:29 +08:00
yml2213 2ab6724543 refactor: 补全services层+消除core/models.py冗余+修复network.py缩进错误 
高优先级问题1 - Router层业务逻辑泄漏:
- 新建 services/proxy_service.py: 从routers/proxy.py提取ProxyService类，
  封装代理/白名单测试逻辑、全局状态管理、所有core/ import
- 新建 services/account_service.py: 从routers/accounts.py提取
  split_account_line、cookie_account_ids_query、parse_and_build_accounts，
  封装core.douyu.email_verifier的import
- 重写routers/proxy.py为薄HTTP/WS层，移除所有core/直接依赖
- 精简routers/accounts.py，从account_service导入业务函数
- 将_active_batches全局状态移入login_service.py的BatchRegistry类
- routers/login.py改为使用batch_registry单例

高优先级问题2 - 两套models.py冗余:
- 删除core/models.py（Account dataclass + ProxyConfig死代码）
- 在core/douyu/login.py新增AccountLike Protocol替代Account dataclass
- login_service.py中Account(...)构造改为SimpleNamespace(...)
- 清理core/__init__.py导出

附带修复:
- core/geetest/common/network.py的get_picture()函数缩进错误
  （缺少if match:块和data赋值语句）
 2026-06-23 07:34:17 +08:00
yml2213 2ccc2a9336 修复并发账号分配到同一个代理的问题 
问题：get_proxy每次返回池中第一个代理，导致并发账号用同一个代理，
容易触发斗鱼/极验风控。

修复：
- 增加_in_use集合，get_proxy取代理时标记为使用中，避免重复分配
- 代理池空但所有代理都在使用中时，允许复用（兜底）
- 新增release_proxy方法，登录完成后归还代理到池
- login.py的finally块中调用release_proxy，确保成功/失败都归还
- mark_bad同时从_in_use移除
 2026-06-23 01:41:46 +08:00
yml2213 c1c9d186d1 修复验证码提取到旧邮件的问题 
问题：HTTP读邮件接口返回最新一封邮件，但可能是之前其他账号的旧验证码。
日志显示提取到485932(06-22的)和242740(25分钟前的)，提交后报邮箱验证码错误。

根因：
1. 时间解析正则匹配到了HTML标签'</label>'前缀，导致parsedate_to_datetime失败
2. 解析失败后保守'纳入候选'，导致旧验证码被使用

修复：
- 先清理HTML标签再提取时间
- 支持RFC2822格式和YYYY-MM-DD HH:MM:SS格式
- 解析失败时保守'拒绝'（而不是纳入候选），避免使用旧验证码
- 5项时间解析测试全部通过
 2026-06-23 01:34:57 +08:00
yml2213 d47b8e24fa 邮箱验证改用HTTP接口替代IMAP 
- 通过 http://111.229.206.54:8000/read.php 读取邮件，不再依赖IMAP
- 解决IMAP密码错误/授权码过期导致45%登录失败的问题
- 错误密码不再抛异常，返回None由上层处理
- 兼容原有EmailVerifier接口签名，login.py无需改动
 2026-06-23 01:25:38 +08:00
yml2213 da2fedd484 优化代理管理与增加请求日志系统 
代理优化（P0+P1）:
- 修复极验失败后代理刷新空操作bug（共享ProxyManager+白名单参数）
- 极验请求超时从(3.05,12)调大到(10,30)
- 白名单sync_ip加全局锁防并发限流，保留多个出口IP应对漂移
- 代理池缓存共享：Condition防并发获取+mark_bad移除坏代理
- 适配代理API的JSON响应格式（code/data/白名单错误）
- 简化代理验证只验斗鱼主站，减少日志噪音
- 获取代理前主动同步白名单（解决ow=1模式不报白名单错误的问题）
- 每次重试重新检测出口IP并同步白名单

请求日志系统:
- 新增HttpLogger记录请求/响应详情到JSONL文件
- login.py的_request和proxy.py的verify_proxy_url接入日志
- 新增/api/logs路由查看和清空HTTP详情日志
- 前端新增请求日志页面（筛选/搜索/分页/自动刷新/详情查看）

其他:
- 添加pysocks依赖支持SOCKS5代理
- gitignore添加*.log
 2026-06-23 00:50:57 +08:00
yml2213andClaude Fable 5 8fdf8d4b69 优化代理获取和登录逻辑 
- 每个账号独立获取代理，不再共用一个代理IP
- 代理预检失败只标记该账号失败，不终止整个批次
- 代理验证改为并发：verify_proxies_concurrent 多IP同时验证
- resolve_working_proxy 多IP并发验证，找到可用即返回
- parse_proxy_response 改为返回列表，支持多行/逗号分隔
- 邮箱验证码匹配收件人地址，防止多账号并发取错验证码
- 修正 mail.bdhg.xyz 旧数据端口和SSL配置
- bdhg.xyz 默认配置改为 143端口非SSL

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-22 22:44:01 +08:00
yml2213 9f6b405571 优化代理 2026-06-22 21:14:38 +08:00
yml2213andClaude Fable 5 52102655ac 修复IMAP连接：支持非SSL端口143 
- IMAP服务器 111.229.206.54 只开放143端口（非SSL），993不通
- 默认配置改为端口143、ssl=False
- EmailVerifier 增加 use_ssl 参数，支持 IMAP4 和 IMAP4_SSL
- Account 模型增加 email_imap_ssl 字段
- 数据库迁移：新增列 + 修正旧数据端口和SSL设置
- 导入账号时自动填充 ssl 配置

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-22 20:58:31 +08:00
yml2213andClaude Fable 5 2b8716cf72 登录任务增加代理切换次数设置 
- 后端: LoginBatchRequest 增加 max_proxy_retries 字段，默认10，0=无限
- 核心: DouyuLogin 极验验证循环根据 max_proxy_retries 控制重试
- 前端: 筛选栏增加代理切换次数输入框，Tooltip 提示0=无限切换直到成功

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-22 20:40:30 +08:00
yml2213andClaude Fable 5 bc40d334b9 修复 requests 2.34+ 移除 ProxyError 导致的登录报错 
- requests 2.34+ 已移除 ProxyError 属性
- 代理错误统一为 ConnectionError，通过错误信息判断是否为代理问题
- 代理错误时刷新代理并重试，非代理连接错误也重试

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-22 20:32:38 +08:00
yml2213andClaude Fable 5 a996028f5b 修改IMAP默认服务器地址为统一代理 
- 移除旧的 bdhg.xyz 等默认域名映射
- 未匹配的邮箱域名统一使用 111.229.206.54 IMAP代理

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-22 19:31:21 +08:00
yml2213 f94b323ad8 优化代理和重试逻辑 2026-06-22 15:54:45 +08:00
yml2213 b08f0a647d 优化代理配置 2026-06-22 13:59:03 +08:00
yml2213 63c1ffa046 彻底优化项目结构,使用 web 2026-06-22 13:39:03 +08:00