yml
071d45ad1d
perf(douyu): 拆分任务槽并改造绑定扫码调度
2026-11-20 22:03:20 +08:00
yml
18fd9840f7
perf(douyu): 限制任务并发并释放长事务连接
2026-11-20 20:16:53 +08:00
yml
1a49bcd481
feat(douyu): unify account probes and lifecycle writes
...
Centralize Douyu client creation, CK session probing, identity refresh, role alias resolution, capability persistence, cache and batch throttling across collaboration, fulfillment, tasks and cookie management. Add the account-name copy action in the collaboration table.
2026-11-20 01:55:25 +08:00
yml
09cdf3f2eb
perf(douyu): 消除任务锁竞争并增加创建背压
2026-11-19 22:01:21 +08:00
yml
667634a8df
feat(fulfillment): 增加账号商品能力索引与生命周期事件
2026-11-18 19:30:59 +08:00
yml
509a6eecb3
fix(fulfillment): 内网直连 order_site 回调
...
- 为 live-hub 容器增加 ks.khhao.com 到 order_site 内网 IP 的解析映射
- 通过 ORDER_SITE_INTERNAL_IP 配置内网地址,默认 172.23.3.80
- 保持 HTTPS 域名证书校验,避免使用 IP 证书或公网绕行
2026-11-18 11:52:46 +08:00
yml
00c4a268c2
feat(fulfillment): 增加工作台状态事件同步
2026-11-18 10:59:20 +08:00
yml
99c96974f2
feat(fulfillment): 新增 order_site 客户绑定集成
2026-11-18 10:59:20 +08:00
yml2213
e7e187cf57
docs: 精简项目文档并清理 Ruff 问题
2026-11-06 11:09:53 +08:00
yml2213
6fc453017c
feat(auth): 后台登录改为滑动会话
...
- JWT 记录 iat,exp=min(now+24h, iat+7d)
- 已认证请求自动续签 httpOnly Cookie
- 新增 ACCESS_TOKEN_IDLE_HOURS / ACCESS_TOKEN_MAX_HOURS
2026-10-25 14:07:44 +08:00
yml2213
331208742e
build(deploy): 优化 uv 安装与部署并发保护
2026-10-23 09:59:32 +08:00
yml2213
2f5a63ae27
feat(auth): 新增手机号与 DCAuth 设备认证登录
...
- 登录链路改为用户名 + 密码 + 短信验证码 + DCAuth v2 设备签名
- 新增 login_sms_codes / user_devices / device_challenges 三张表,迁移 0063/0064
- 设备绑定只比对 deviceId + publicKey,每账号一个 active 设备,管理员可重置
- 保留未绑定手机号账号的密码登录兜底,绑定后强制安全登录
- 登录页与用户管理页支持验证码、DCAuth 轮询、手机号绑定与设备重置
2026-10-21 22:00:03 +08:00
yml2213
df8c63b829
feat(huya): 外部 CK 协作台账(S1–S6)+ 图片上传能力
...
协作台账:新表 huya_external_orders 替代 Excel 多人协同表(设计见
docs/设计-虎牙外部CK协作台账.md),一条 CK 一行,所有人共享、改动留痕。
- 前端 pages/HuyaCollabPage.tsx + 菜单「虎牙 → 外部单协作」/huya/collab:
内联编辑(带乐观锁 version)、图片缩略图、详情抽屉(字段表单 + 两个图片槽位 +
操作时间线)、粘贴导入弹窗(带 TSV 预览)、批量/单条验证 CK、页头统计条、筛选
- 两套状态机:业务 pending→bound→recharged→scripted→done(旁路 void)、
凭据 unverified/valid/invalid/disabled;唯一写入口在 services/huya_collab_service.py,
字段级审计 + 整数 version 乐观锁(不用 updated_at:DATETIME 只到秒)
- CK 只读探针 check_user_bind_game_account(真机判据:响应非 None 且 status == 200),
成功即覆盖写绑定快照 bind_game_account/bind_game_role/bind_game_channel(迁移 0056),
失败只改凭据状态、不动业务状态;人工只能停用/恢复(POST /{id}/ck/status)
- 贴/换/重建 CK、TSV 批量导入(SAVEPOINT 单行隔离,部分失败不整体失败)、
权限 huya:collab:view/edit/manage(删除只给运营)
- 孤儿图清理脚本 scripts/cleanup_orphan_file_assets.py(默认 --dry-run)
图片上传(协作台账截图用):OSS/本地双后端 + 缩略图变体 + /api/files 代理回读,
权限 file:upload / file:view。
验证:pytest 880 passed / 6 skipped;ruff format 全绿、ruff check 仅剩既有告警;
前端 tsc -b / eslint / vite build 通过;接口端到端冒烟 29 项全绿(TestClient,探针用假客户端);
探针真机冒烟 3 例(有效 CK=True、别人 uid=False、裸 cookie=False)。
2026-10-16 19:38:59 +08:00
yml2213
65a4590291
refactor(time): 时间列统一走 UTCDateTime,并把 MySQL 会话时区对齐成 UTC
...
问题不是「UTC 还是本地时间」,而是这套口径有两个半吊子的地方:
1. 库里存 naive UTC、读出来也是裸时间,于是每一处比较/输出都得自己补时区。
项目里因此散了三份 _as_utc 和一堆 replace(tzinfo=UTC),P1a 排下一轮时间
时还炸过一次 TypeError: can't compare offset-naive and offset-aware。
2. MySQL 会话时区跟随系统 +08:00,而库里存的是 UTC —— SQL 里的 NOW()/
CURDATE() 比库里的时间快 8 小时,查询会静默返回空(P1a 排查时就遇到过,
看着像「没有数据」)。
改动:
- 新增 database.UTCDateTime:写时 aware→转 UTC 去 tzinfo、naive 视为 UTC;
读时一律补 UTC 时区。底层 DDL 仍是 DATETIME,**不需要迁移**。models.py 的
28 个时间列全部改用它,模型上的时间字段从此不再是裸值;
- docker-compose 给 mysql 加 --default-time-zone=+00:00,让 SQL 时间函数与存储
口径一致。安全性已核实:全库 0 个 TIMESTAMP 列、0 个 CURRENT_TIMESTAMP
默认值,改这里不会改变任何已有数据的语义;
- 新增 tests/test_utc_datetime.py:读出必须 aware、能直接和 datetime.now(UTC)
比较、带 +08:00 的写入要落成 UTC、naive 写入视为 UTC,并有一条元测试扫描
Base.metadata,防止以后新增时间列忘了用 UTCDateTime。
保留既有的 _as_utc 补丁(对 aware 值是幂等的,属防御性代码);新代码不再需要。
「存 UTC、算 UTC、显示本地」三条线至此各自明确:存储与比较统一 UTC,日志按
容器 TZ 显示本地时间,前端 formatTime 负责转本地。
2026-10-02 20:27:07 +08:00
yml2213
f8a4a0baff
fix(compose): 补齐自动化与 P0/P2 的环境变量透传,并放宽部署等待窗口
...
部署 P1a 时发现两个问题:
一、compose 的 environment 是显式列表(不是 env_file),只写进 .env 不会传进
容器。于是 .env 里新加的 AUTOMATION_ENABLED=true 容器查不到,日志照旧打印
「AUTOMATION_ENABLED 未开启,自动化调度器不启动」——调度器根本没起。早先
§15.1 写入的 ORDER_SITE_* 与 OSS_* 也是同样情况,P0/P2 会直接踩到。
补齐 9 个变量的透传:AUTOMATION_ENABLED、ORDER_SITE_DATABASE_URL /
LOOKUP_ENABLED / LOOKUP_TIMEOUT_SECONDS、OSS_ENDPOINT / BUCKET /
ACCESS_KEY_ID / ACCESS_KEY_SECRET / PREFIX,全部带默认值(缺省即关闭或空),
不配置也不会让容器起不来。
二、deploy.sh 只等 15×2=30 秒就判「服务启动超时」,而 mysql 一起重建时应用
就绪约 35 秒,于是部署实际成功却报失败。等待窗口放宽到 40×2=80 秒。
规划附录 C.2 记下这条约定:新增环境变量要同时改 .env(实值)、
docker-compose.yml(透传)、.env.example(留档)三处。
2026-10-02 20:12:24 +08:00
yml2213
2bdabc4e03
fix(compose): 补容器资源限额,并修正数据卷默认值以防错挂空卷
...
一、内存 / CPU 限额
douyu-login 与 mysql 此前均为 unlimited(Mem=0、NanoCpus=0)。本机 7G 且与
order_site 共用,任一方内存失控都会把整机拖垮(order_site 曾因此被 OOM kill)。
现各限 2G / 2 核;可用 DOUYU_LOGIN_MEM_LIMIT、DOUYU_LOGIN_CPUS、MYSQL_MEM_LIMIT、
MYSQL_CPUS 在 .env 覆盖。
二、修正 mysql-data 的卷名默认值(重要,防数据事故)
原默认值 live-hub-py_mysql-data 是**另一个空卷**,真实数据在项目改名前的
douyu_login_py_mysql-data(4G+)。由于该行改动之后一直没重建过容器,
隐患一直没暴露;2026-10-02 第一次重建容器即挂到空卷,
表现为数据全丢(douyu_tasks 由 228475 行变成空表)。
现默认值指向真实卷,并默认 external: true(不再由本项目创建/删除该卷,
docker compose down -v 也不会把它删掉)。修完不再依赖 .env 是否设置该变量。
2026-10-02 19:34:29 +08:00
yml2213
76b14b69b7
修复虎牙手机号登录并统一部署项目名
2026-08-31 16:11:08 +08:00
yml2213
bc02018719
fix: skip test image in production deploy
2026-08-30 22:17:09 +08:00
yml2213
3ce1c7a51b
test: pytest 工程化落地 — 本地门禁、容器测试镜像、迁移链冒烟测试
...
- 门禁: 本地 pre-push 钩子(.git/hooks,推送前强制跑全量 pytest)
- Docker: 新增 test 镜像阶段(含 dev 依赖与 tests),compose 提供
--profile test run --rm test 入口;dev.sh 支持 ./dev.sh test
- 测试基建: 根目录 conftest.py 统一 DATABASE_URL/APP_ENCRYPTION_KEY,
移除 9 个测试文件内的重复 setdefault(含多余 import os)
- 迁移冒烟: tests/test_migrations.py 校验链线性、脚本可编译、空库整链
upgrade head 后与 Base.metadata 表/列/索引对齐
- 修复冒烟测试发现的漂移: YybRechargeTask.task_id 冗余 index=True
(唯一索引已覆盖,迁移链未建普通索引,模型与真实 schema 对齐)
- alembic.ini: path_separator=os 消除弃用告警;README 补测试章节
2026-08-30 18:54:00 +08:00
yml2213
9497e1ace6
perf: 优化 MySQL 查询并接入 pytest
2026-08-30 18:26:54 +08:00
yml2213
5ba70d5b4e
feat(logging): improve local and docker log handling
2026-08-28 16:49:00 +08:00
yml2213
e2a45b7893
优化斗鱼充值日志与配置
2026-08-14 11:27:53 +08:00
yml2213
0bf69c1240
优化斗鱼充值
2026-08-13 21:43:27 +08:00
yml2213
902e669614
功能: 接入鱼翅供应商直充渠道
2026-08-13 21:11:20 +08:00
yml2213
420ee3d95c
功能: 增加鱼翅直充接口基础层
2026-08-13 16:44:20 +08:00
yml2213
b07c5fdbf6
fix: restore DaoCloud MySQL image default
2026-08-13 14:01:54 +08:00
yml2213
1a20c367db
合并应用宝 Worker 容器
2026-08-12 17:59:26 +08:00
yml2213
cebbd94ae8
流程通了
2026-08-12 17:30:00 +08:00
yml2213
d19c0902f2
初步增加, 扫码登录成功
2026-08-12 16:22:55 +08:00
yml2213
4fab6ed0aa
增加域名
2026-08-02 11:53:36 +08:00
yml2213
73ec12bcbc
统一开发环境使用 MySQL
2026-07-25 11:01:57 +08:00
yml2213
32f9eadfdb
支持 MySQL 迁移与性能优化
2026-07-25 10:23:19 +08:00
yml2213
9ec4bba0a9
修复虎牙任务台卡死与轮询过重,并调整默认端口
...
默认端口改为后端 8800 / 前端 5174,避免多项目冲突。
清理无执行器的残留 running 任务,支持停止无效批次;绑定二维码结果页不再被假活跃批次锁死。
任务列表默认剥离 base64 小程序码,按需拉取详情,空闲轮询降频,显著降低 tasks 请求体积。
2026-07-24 11:38:07 +08:00
yml2213
b9481d49ee
修复登录任务无限重试导致文件描述符耗尽问题
...
1. docker-compose.yml:增加文件描述符限制 ulimits (65536)
2. login_service.py:限制最大重试次数为 10 次,避免无限重试
3. 解决 [Errno 24] Too many open files 错误
2026-06-25 06:58:18 +08:00
yml2213
0d03b2c242
优化登录重试与配置清理
2026-06-24 10:20:33 +08:00
yml2213
453a637480
refactor: 修复9项中等架构问题
...
安全修复:
- WebSocket 端点添加认证(cookie/token),防止未授权窃听日志
- SPA serve_spa 添加路径遍历防护(resolve + relative_to 检查)
- Token 改用 httpOnly Cookie 存储,移除前端 localStorage token(防 XSS 窃取)
- 添加安全响应头中间件(X-Content-Type-Options/X-Frame-Options/Referrer-Policy)
- HTTP 请求日志脱敏请求体中的 password/secret/token 等敏感字段
- 权限检查统一使用 user_has_permission(考虑自定义权限,修复 has_permission 忽略 custom_permissions 的缺陷)
性能与稳定性:
- cookies.py 列表接口修复 N+1 查询(改为批量查询 Account)
- login_service.py run() 结束时关闭 DB Session(防止连接泄漏)
- _active_batches/_active_tests 全局字典添加 threading.Lock(防止并发竞态)
配置优化:
- CORS 源支持环境变量 CORS_ORIGINS 配置
- Uvicorn reload 支持环境变量 UVICORN_RELOAD 控制(生产环境默认关闭)
- Cookie 安全标志支持环境变量 COOKIE_SECURE 配置(HTTPS 部署时启用)
- logs.py 权限不足返回 HTTP 403(原来返回 200 + message)
2026-06-23 06:51:01 +08:00
yml2213
db384701a9
fix(security): JWT密钥与默认账号改用环境变量,清理泄露凭据
...
- JWT_SECRET_KEY 改从环境变量读取,未设置时使用临时随机密钥并告警
- 默认管理员账号密码改用 ADMIN_USERNAME/ADMIN_PASSWORD 环境变量配置
- 移除登录页及启动/部署脚本中的默认密码明文提示
- docker-compose.yml 添加环境变量支持(从 .env 文件读取)
- 新增 .env.example 配置文档,.gitignore 添加 .env 规则
- git rm --cached 清理已追踪的 data/accounts.json 和 data/cookies/敏感文件
2026-06-23 06:42:37 +08:00
yml2213
93d358f214
添加Docker部署方案
...
- 多阶段Dockerfile:第一阶段构建前端(npm),第二阶段Python运行时(uv+opencv)
- docker-compose.yml:单服务,data/logs目录挂载持久化
- deploy.sh一键部署脚本:自动构建+启动+健康检查
- .dockerignore排除不必要文件减小构建上下文
- main.py添加前端静态文件服务(生产环境单端口部署)
- README更新部署文档和代理配置说明
2026-06-23 00:54:48 +08:00