dachui/live-hub-py
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
632 Commits 3 Branches 0 Tags
6fc453017ca3793dc47bcc7078cdebf6ec143559
Commit Graph
29 Commits
Author SHA1 Message Date
yml2213 6fc453017c feat(auth): 后台登录改为滑动会话 
- JWT 记录 iat，exp=min(now+24h, iat+7d)
- 已认证请求自动续签 httpOnly Cookie
- 新增 ACCESS_TOKEN_IDLE_HOURS / ACCESS_TOKEN_MAX_HOURS
 2026-10-25 14:07:44 +08:00
yml2213 331208742e build(deploy): 优化 uv 安装与部署并发保护 2026-10-23 09:59:32 +08:00
yml2213 2f5a63ae27 feat(auth): 新增手机号与 DCAuth 设备认证登录 
- 登录链路改为用户名 + 密码 + 短信验证码 + DCAuth v2 设备签名
- 新增 login_sms_codes / user_devices / device_challenges 三张表，迁移 0063/0064
- 设备绑定只比对 deviceId + publicKey，每账号一个 active 设备，管理员可重置
- 保留未绑定手机号账号的密码登录兜底，绑定后强制安全登录
- 登录页与用户管理页支持验证码、DCAuth 轮询、手机号绑定与设备重置
 2026-10-21 22:00:03 +08:00
yml2213 df8c63b829 feat(huya): 外部 CK 协作台账（S1–S6）+ 图片上传能力 
协作台账：新表 huya_external_orders 替代 Excel 多人协同表（设计见
docs/设计-虎牙外部CK协作台账.md），一条 CK 一行，所有人共享、改动留痕。

- 前端 pages/HuyaCollabPage.tsx + 菜单「虎牙 → 外部单协作」/huya/collab：
  内联编辑（带乐观锁 version）、图片缩略图、详情抽屉（字段表单 + 两个图片槽位 +
  操作时间线）、粘贴导入弹窗（带 TSV 预览）、批量/单条验证 CK、页头统计条、筛选
- 两套状态机：业务 pending→bound→recharged→scripted→done（旁路 void）、
  凭据 unverified/valid/invalid/disabled；唯一写入口在 services/huya_collab_service.py，
  字段级审计 + 整数 version 乐观锁（不用 updated_at：DATETIME 只到秒）
- CK 只读探针 check_user_bind_game_account（真机判据：响应非 None 且 status == 200），
  成功即覆盖写绑定快照 bind_game_account/bind_game_role/bind_game_channel（迁移 0056），
  失败只改凭据状态、不动业务状态；人工只能停用/恢复（POST /{id}/ck/status）
- 贴/换/重建 CK、TSV 批量导入（SAVEPOINT 单行隔离，部分失败不整体失败）、
  权限 huya:collab:view/edit/manage（删除只给运营）
- 孤儿图清理脚本 scripts/cleanup_orphan_file_assets.py（默认 --dry-run）

图片上传（协作台账截图用）：OSS/本地双后端 + 缩略图变体 + /api/files 代理回读，
权限 file:upload / file:view。

验证：pytest 880 passed / 6 skipped；ruff format 全绿、ruff check 仅剩既有告警；
前端 tsc -b / eslint / vite build 通过；接口端到端冒烟 29 项全绿（TestClient，探针用假客户端）；
探针真机冒烟 3 例（有效 CK=True、别人 uid=False、裸 cookie=False）。
 2026-10-16 19:38:59 +08:00
yml2213 65a4590291 refactor(time): 时间列统一走 UTCDateTime，并把 MySQL 会话时区对齐成 UTC 
问题不是「UTC 还是本地时间」，而是这套口径有两个半吊子的地方：

1. 库里存 naive UTC、读出来也是裸时间，于是每一处比较/输出都得自己补时区。
   项目里因此散了三份 _as_utc 和一堆 replace(tzinfo=UTC)，P1a 排下一轮时间
   时还炸过一次 TypeError: can't compare offset-naive and offset-aware。
2. MySQL 会话时区跟随系统 +08:00，而库里存的是 UTC —— SQL 里的 NOW()/
   CURDATE() 比库里的时间快 8 小时，查询会静默返回空（P1a 排查时就遇到过，
   看着像「没有数据」）。

改动：

- 新增 database.UTCDateTime：写时 aware→转 UTC 去 tzinfo、naive 视为 UTC；
  读时一律补 UTC 时区。底层 DDL 仍是 DATETIME，**不需要迁移**。models.py 的
  28 个时间列全部改用它，模型上的时间字段从此不再是裸值；
- docker-compose 给 mysql 加 --default-time-zone=+00:00，让 SQL 时间函数与存储
  口径一致。安全性已核实：全库 0 个 TIMESTAMP 列、0 个 CURRENT_TIMESTAMP
  默认值，改这里不会改变任何已有数据的语义；
- 新增 tests/test_utc_datetime.py：读出必须 aware、能直接和 datetime.now(UTC)
  比较、带 +08:00 的写入要落成 UTC、naive 写入视为 UTC，并有一条元测试扫描
  Base.metadata，防止以后新增时间列忘了用 UTCDateTime。

保留既有的 _as_utc 补丁（对 aware 值是幂等的，属防御性代码）；新代码不再需要。
「存 UTC、算 UTC、显示本地」三条线至此各自明确：存储与比较统一 UTC，日志按
容器 TZ 显示本地时间，前端 formatTime 负责转本地。
 2026-10-02 20:27:07 +08:00
yml2213 f8a4a0baff fix(compose): 补齐自动化与 P0/P2 的环境变量透传，并放宽部署等待窗口 
部署 P1a 时发现两个问题：

一、compose 的 environment 是显式列表（不是 env_file），只写进 .env 不会传进
容器。于是 .env 里新加的 AUTOMATION_ENABLED=true 容器查不到，日志照旧打印
「AUTOMATION_ENABLED 未开启，自动化调度器不启动」——调度器根本没起。早先
§15.1 写入的 ORDER_SITE_* 与 OSS_* 也是同样情况，P0/P2 会直接踩到。

补齐 9 个变量的透传：AUTOMATION_ENABLED、ORDER_SITE_DATABASE_URL /
LOOKUP_ENABLED / LOOKUP_TIMEOUT_SECONDS、OSS_ENDPOINT / BUCKET /
ACCESS_KEY_ID / ACCESS_KEY_SECRET / PREFIX，全部带默认值（缺省即关闭或空），
不配置也不会让容器起不来。

二、deploy.sh 只等 15×2=30 秒就判「服务启动超时」，而 mysql 一起重建时应用
就绪约 35 秒，于是部署实际成功却报失败。等待窗口放宽到 40×2=80 秒。

规划附录 C.2 记下这条约定：新增环境变量要同时改 .env（实值）、
docker-compose.yml（透传）、.env.example（留档）三处。
 2026-10-02 20:12:24 +08:00
yml2213 2bdabc4e03 fix(compose): 补容器资源限额，并修正数据卷默认值以防错挂空卷 
一、内存 / CPU 限额
douyu-login 与 mysql 此前均为 unlimited（Mem=0、NanoCpus=0）。本机 7G 且与
order_site 共用，任一方内存失控都会把整机拖垮（order_site 曾因此被 OOM kill）。
现各限 2G / 2 核；可用 DOUYU_LOGIN_MEM_LIMIT、DOUYU_LOGIN_CPUS、MYSQL_MEM_LIMIT、
MYSQL_CPUS 在 .env 覆盖。

二、修正 mysql-data 的卷名默认值（重要，防数据事故）
原默认值 live-hub-py_mysql-data 是**另一个空卷**，真实数据在项目改名前的
douyu_login_py_mysql-data（4G+）。由于该行改动之后一直没重建过容器，
隐患一直没暴露；2026-10-02 第一次重建容器即挂到空卷，
表现为数据全丢（douyu_tasks 由 228475 行变成空表）。

现默认值指向真实卷，并默认 external: true（不再由本项目创建/删除该卷，
docker compose down -v 也不会把它删掉）。修完不再依赖 .env 是否设置该变量。
 2026-10-02 19:34:29 +08:00
yml2213 76b14b69b7 修复虎牙手机号登录并统一部署项目名 2026-08-31 16:11:08 +08:00
yml2213 bc02018719 fix: skip test image in production deploy 2026-08-30 22:17:09 +08:00
yml2213 3ce1c7a51b test: pytest 工程化落地 — 本地门禁、容器测试镜像、迁移链冒烟测试 
- 门禁: 本地 pre-push 钩子（.git/hooks，推送前强制跑全量 pytest）
- Docker: 新增 test 镜像阶段（含 dev 依赖与 tests），compose 提供
  --profile test run --rm test 入口；dev.sh 支持 ./dev.sh test
- 测试基建: 根目录 conftest.py 统一 DATABASE_URL/APP_ENCRYPTION_KEY，
  移除 9 个测试文件内的重复 setdefault（含多余 import os）
- 迁移冒烟: tests/test_migrations.py 校验链线性、脚本可编译、空库整链
  upgrade head 后与 Base.metadata 表/列/索引对齐
- 修复冒烟测试发现的漂移: YybRechargeTask.task_id 冗余 index=True
  （唯一索引已覆盖，迁移链未建普通索引，模型与真实 schema 对齐）
- alembic.ini: path_separator=os 消除弃用告警；README 补测试章节
 2026-08-30 18:54:00 +08:00
yml2213 9497e1ace6 perf: 优化 MySQL 查询并接入 pytest 2026-08-30 18:26:54 +08:00
yml2213 5ba70d5b4e feat(logging): improve local and docker log handling 2026-08-28 16:49:00 +08:00
yml2213 e2a45b7893 优化斗鱼充值日志与配置 2026-08-14 11:27:53 +08:00
yml2213 0bf69c1240 优化斗鱼充值 2026-08-13 21:43:27 +08:00
yml2213 902e669614 功能: 接入鱼翅供应商直充渠道 2026-08-13 21:11:20 +08:00
yml2213 420ee3d95c 功能: 增加鱼翅直充接口基础层 2026-08-13 16:44:20 +08:00
yml2213 b07c5fdbf6 fix: restore DaoCloud MySQL image default 2026-08-13 14:01:54 +08:00
yml2213 1a20c367db 合并应用宝 Worker 容器 2026-08-12 17:59:26 +08:00
yml2213 cebbd94ae8 流程通了 2026-08-12 17:30:00 +08:00
yml2213 d19c0902f2 初步增加, 扫码登录成功 2026-08-12 16:22:55 +08:00
yml2213 4fab6ed0aa 增加域名 2026-08-02 11:53:36 +08:00
yml2213 73ec12bcbc 统一开发环境使用 MySQL 2026-07-25 11:01:57 +08:00
yml2213 32f9eadfdb 支持 MySQL 迁移与性能优化 2026-07-25 10:23:19 +08:00
yml2213 9ec4bba0a9 修复虎牙任务台卡死与轮询过重，并调整默认端口 
默认端口改为后端 8800 / 前端 5174，避免多项目冲突。
清理无执行器的残留 running 任务，支持停止无效批次；绑定二维码结果页不再被假活跃批次锁死。
任务列表默认剥离 base64 小程序码，按需拉取详情，空闲轮询降频，显著降低 tasks 请求体积。
 2026-07-24 11:38:07 +08:00
yml2213 b9481d49ee 修复登录任务无限重试导致文件描述符耗尽问题 
1. docker-compose.yml：增加文件描述符限制 ulimits (65536)
2. login_service.py：限制最大重试次数为 10 次，避免无限重试
3. 解决 [Errno 24] Too many open files 错误
 2026-06-25 06:58:18 +08:00
yml2213 0d03b2c242 优化登录重试与配置清理 2026-06-24 10:20:33 +08:00
yml2213 453a637480 refactor: 修复9项中等架构问题 
安全修复:
- WebSocket 端点添加认证（cookie/token），防止未授权窃听日志
- SPA serve_spa 添加路径遍历防护（resolve + relative_to 检查）
- Token 改用 httpOnly Cookie 存储，移除前端 localStorage token（防 XSS 窃取）
- 添加安全响应头中间件（X-Content-Type-Options/X-Frame-Options/Referrer-Policy）
- HTTP 请求日志脱敏请求体中的 password/secret/token 等敏感字段
- 权限检查统一使用 user_has_permission（考虑自定义权限，修复 has_permission 忽略 custom_permissions 的缺陷）

性能与稳定性:
- cookies.py 列表接口修复 N+1 查询（改为批量查询 Account）
- login_service.py run() 结束时关闭 DB Session（防止连接泄漏）
- _active_batches/_active_tests 全局字典添加 threading.Lock（防止并发竞态）

配置优化:
- CORS 源支持环境变量 CORS_ORIGINS 配置
- Uvicorn reload 支持环境变量 UVICORN_RELOAD 控制（生产环境默认关闭）
- Cookie 安全标志支持环境变量 COOKIE_SECURE 配置（HTTPS 部署时启用）
- logs.py 权限不足返回 HTTP 403（原来返回 200 + message）
 2026-06-23 06:51:01 +08:00
yml2213 db384701a9 fix(security): JWT密钥与默认账号改用环境变量，清理泄露凭据 
- JWT_SECRET_KEY 改从环境变量读取，未设置时使用临时随机密钥并告警
- 默认管理员账号密码改用 ADMIN_USERNAME/ADMIN_PASSWORD 环境变量配置
- 移除登录页及启动/部署脚本中的默认密码明文提示
- docker-compose.yml 添加环境变量支持（从 .env 文件读取）
- 新增 .env.example 配置文档，.gitignore 添加 .env 规则
- git rm --cached 清理已追踪的 data/accounts.json 和 data/cookies/敏感文件
 2026-06-23 06:42:37 +08:00
yml2213 93d358f214 添加Docker部署方案 
- 多阶段Dockerfile：第一阶段构建前端(npm)，第二阶段Python运行时(uv+opencv)
- docker-compose.yml：单服务，data/logs目录挂载持久化
- deploy.sh一键部署脚本：自动构建+启动+健康检查
- .dockerignore排除不必要文件减小构建上下文
- main.py添加前端静态文件服务(生产环境单端口部署)
- README更新部署文档和代理配置说明
 2026-06-23 00:54:48 +08:00