feat(douyu): 整合自动化中心并修复重登队列

This commit is contained in:
yml
2026-11-22 21:17:37 +08:00
parent af05c54c3f
commit 94de1d167b
18 changed files with 854 additions and 1029 deletions
@@ -455,7 +455,7 @@ AND 不违反 365 天规则
- `ck_health`:只生成/执行 `ck_probe`,不处理 invalid/manual
- `ck_relogin`:读取 `login_relogin` 工作,受登录配额
- `account_overview_refresh`:拆成 points/gold/role/exchange_records 同步域
- `account_overview_refresh`:已淘汰,改由 points/gold/role/exchange_records 各同步域按需维护
- `account_capability_refresh`:变为 `storehome_sync` 补货工作
- `platform_fulfillment_lease_reaper`:保持独立
- `douyu_tasks_retention`:保持独立
@@ -444,7 +444,6 @@ AND 没有 force_refresh
| --- | --- | --- | --- |
| `ck_health` | 开启 | 每 5 分钟一轮,每轮 200,并发 5 | 高价值账号约 6 小时重检,普通账号约 24 小时 |
| `account_capability_refresh` | 开启 | 每 5 分钟一轮,每轮 100,并发 3 | 刷新有 pending 履约商品能力的账号 |
| `account_overview_refresh` | 关闭 | 每轮 300,并发 3 | 曾因单轮 29 个账号全部失败并触发熔断 |
| `ck_relogin` | 关闭 | 每轮 30,并发 3 | 自动重登自 2026-10-06 后未再运行 |
| `douyu_tasks_retention` | 开启 | 每批 2000 | 清理斗鱼任务日志 |
| `points_expire_check` | 关闭 | 每天 | 积分到期补记 |
@@ -525,14 +524,11 @@ CK 有效账号中:
`ck_relogin` 当前关闭,CK 失效账号已经积压约 2 万。直接重新开启当前配置,可能每 5 分钟
拉起最多 30 个账号,瞬时并发 3,形成不可控的连续登录。
### 账号资料刷新因熔断关闭
### 账号资料全量定时刷新已淘汰
`account_overview_refresh` 曾因一轮 29 个账号全部失败而自动关闭。重新开启前必须先解决:
- CK 质量筛选;
- 活动登录态与基础 CK 的区分;
- 并发和失败熔断;
- 轻量商品快照与完整资料同步的拆分。
`account_overview_refresh` 已从默认作业注册表移除,生产配置也会在迁移中停用。
账号资料改由按需同步、账号目录补货和履约能力补货链路维护,避免全库周期性
重查产生风控、重复日志和无意义数据库写入。
## 登录工作分类
@@ -760,7 +756,6 @@ manual:停止自动化
2. 先以每日 30-50 个小批量开启 `ck_relogin`;
3. 监控成功率和失败分型;
4. 再逐步提升到计算预算;
5. 恢复账号资料刷新的小批量试运行。
### P2:供给库存驱动
+11 -3
View File
@@ -1,6 +1,6 @@
# 自动化与资料收集
更新时间:2026-11-06
更新时间:2026-11-22
本文描述当前已落地的自动化、外部订单读取和文件存储能力。具体实现以
`web/backend/services/automation/`、`external_order_source.py` 和 `file_storage.py` 为准。
@@ -8,7 +8,9 @@
## 自动化运行模型
- 调度器随应用启动,总开关为 `AUTOMATION_ENABLED`,默认关闭。
- 每个作业还有独立开关和运行参数,默认关闭,在 `/automation` 页面配置。
- 每个作业还有独立开关和运行参数,在 `/automation`「斗鱼自动化中心」统一配置。
- 平台状态、CK 趋势、供给目标、履约保护目标、登录预算、待人工账号和运行记录
都集中在该页面;账号检测页只保留批量账号检测本职功能。
- 部署固定单容器、单 worker;作业在进程内线程池运行,重启会把未结束记录标为中断。
- 作业状态和运行记录落 `automation_jobs`、`automation_runs`,不靠内存保存进度。
- 单个作业失败只影响本轮;失败率异常时作业会自动停用,避免继续消耗账号或触发风控。
@@ -19,10 +21,16 @@
| --- | --- | --- |
| `ck_health` | 检测持有 CK 的账号 | 区分 `valid`、`invalid`、`error`;`error` 不覆盖上次有效结论 |
| `ck_relogin` | 对失效 CK 自动重登 | 有退避、次数上限和失败分型;极验/凭证/必须绑手机转人工 |
| `account_overview_refresh` | 分批刷新账号资料和一键查询快照 | 只查 CK 有效且未停用账号;“没查过”优先于“过期重查” |
| `account_sync_queue` | 独立消费账号目录、积分、鱼翅和角色同步 | 使用独立执行槽,不占用订单选号 |
| `account_capability_refresh` | 为待履约商品补充账号能力目录 | 只做本地候选筛选,外部查询进入同步队列 |
| `account_supply_replenishment` | 按供给目标缺口补充账号 | 通用补货只占低水位,需求补货优先 |
| `platform_fulfillment_lease_reaper` | 回收过期履约租约 | 扫码超时未绑定账号按有界宽限期释放 |
| `douyu_tasks_retention` | 分批清理斗鱼执行日志 | 默认启用;噪声查询保留 7 天,其余任务保留 90 天,在途任务不删 |
| `points_expire` | 补记积分到期 | 只写账号事件,不修改外部平台 |
`account_overview_refresh` 已淘汰:账号资料改由按需同步、履约能力补货和 CK
生命周期链路维护,不再做全库周期性资料重查。
所有账号级作业都必须排除 `status` 为 `disabled` / `archived` 的账号,并尊重
`auto_managed=False`。停用是“账号不可用”,`auto_managed=False` 是“账号可用但不要自动操作”,
两者不能混用。