后台原本靠人工逐批点「CK 检测」发现失效账号,1.2 万个账号根本盯不过来。
P1a 把「哪些账号失效了」自动化:自动挑久未检测的账号、调现成检测接口、
把结果写回 ck_check_*。**本作业不替换任何 CK**,重登仍由人工点,符合规划里
「先做只读/只提示,确认无误再做自动动作」的渐进上线原则。
实现:
- 迁移 20261002_0037:automation_jobs / automation_runs 两张表,
login_tasks 加 relogin_attempts / relogin_next_at / relogin_last_error
(为 P1b 备好),accounts 加 auto_managed(特殊账号不参与自动化);
- services/automation/scheduler.py:进程内调度线程,60s tick,状态全部落库
(重启不丢调度进度、不重复跑轮);AUTOMATION_ENABLED 默认关闭,作业开关
也默认关闭;ensure_jobs 只补缺失行、不覆盖运维改过的配置;
作业异常只记 failed,不拖垮调度线程;单容器 --workers 1,无需分布式锁;
- services/automation/jobs/ck_health.py:选行口径与人工检测一致
(cookie_holding_filter:持有 CK 且无在途尝试),叠加久未检测、
auto_managed、batch_size,按 ck_checked_at 升序(最久没查的优先);
只写 ck_check_status / ck_check_result / ck_checked_at;
- routers/automation.py:GET /jobs、PATCH /jobs/{key}、POST /jobs/{key}/run、
GET /runs;新增权限点 automation:view(运营可看)与 automation:manage
(仅超管),改配置与手动触发都写审计;
- 顺带补 POST /api/login/batch 的审计(此前批次是谁发起、多少账号无据可查);
- 前端 /automation 页:作业卡片(开关/周期/单轮条数/并发)、运行历史、
「立即跑一次」;总开关未打开、调度线程未运行时给明确提示。
验证:
- 22 条新测试覆盖调度器行为(只跑到点的、异常不抛出、下轮时间、配置不被重置)、
选行条件(在途尝试/auto_managed/间隔/batch_size)、接口与权限,其中一条
专门断言巡检后 cookie/status/message/attempt_status 一字未动;
- 全量 257 条通过;前端 tsc 与构建通过;
- 端到端用 3 个真实账号跑真实斗鱼接口:巡检结果与直接调 check_douyu_cookie
逐条一致(3/3 valid),CK 与尝试状态全程未变。
顺带修掉一处会炸生产的坑:DB 时间列读出来是 naive UTC,直接与
datetime.now(UTC) 比较会 TypeError,现统一走 _as_utc() 补时区。
118 lines
5.1 KiB
Python
118 lines
5.1 KiB
Python
"""Alembic 迁移链冒烟测试(不依赖真实 MySQL)。
|
|
|
|
覆盖三件事:
|
|
1. 链完整性:只有一个头版本、头与最新迁移一致、每个修订的
|
|
down_revision 都能回溯到根(无悬挂引用、无分叉链)。
|
|
2. 全部迁移脚本可编译:防止迁移文件被改坏后部署流程才暴露。
|
|
3. 空库整链执行:迁移脚本自带方言防护(MySQL 专属 DDL 有 _is_mysql()
|
|
之类分支),整条链可在 SQLite 上真实执行 `upgrade head`,随后校验
|
|
表/列/索引与 Base.metadata 模型元数据对齐(模型要求的不允许缺失),
|
|
并确认迁移新增的复合查询索引确实落库。
|
|
"""
|
|
|
|
import tempfile
|
|
from pathlib import Path
|
|
|
|
from alembic import command
|
|
from alembic.config import Config
|
|
from alembic.script import ScriptDirectory
|
|
from sqlalchemy import create_engine, inspect
|
|
|
|
TESTS_DIR = Path(__file__).resolve().parent
|
|
PROJECT_ROOT = TESTS_DIR.parent
|
|
VERSIONS_DIR = PROJECT_ROOT / "web" / "backend" / "migrations" / "versions"
|
|
|
|
HEAD_REVISION = "20261002_0037"
|
|
|
|
# 迁移新增、但不声明在模型里的复合查询索引。
|
|
EXTRA_INDEXES = (
|
|
"ix_douyu_tasks_handbook_scope_id",
|
|
"ix_douyu_tasks_handbook_scope_task_type_id",
|
|
"ix_douyu_tasks_status_finished_at_id",
|
|
"ix_login_tasks_status_finished_at_id",
|
|
)
|
|
|
|
|
|
def _migration_config() -> Config:
|
|
config = Config(str(PROJECT_ROOT / "alembic.ini"))
|
|
config.set_main_option(
|
|
"script_location", str(PROJECT_ROOT / "web" / "backend" / "migrations")
|
|
)
|
|
return config
|
|
|
|
|
|
class TestMigrationSmoke:
|
|
def test_chain_is_linear_and_head_matches_latest_file(self):
|
|
directory = ScriptDirectory.from_config(_migration_config())
|
|
|
|
heads = directory.get_heads()
|
|
assert len(heads) == 1, f"迁移链出现多个头版本(存在分叉): {heads}"
|
|
assert heads[0] == HEAD_REVISION, f"头版本 {heads[0]} 与最新迁移不一致"
|
|
|
|
version_files = sorted(path.name for path in VERSIONS_DIR.glob("*.py"))
|
|
revisions = list(directory.walk_revisions())
|
|
revision_ids = {revision.revision for revision in revisions}
|
|
assert len(revision_ids) == len(version_files), (
|
|
"迁移文件数量与已加载修订数量不一致(存在无法加载的脚本)"
|
|
)
|
|
for revision in revisions:
|
|
if revision.down_revision is not None:
|
|
assert revision.down_revision in revision_ids, (
|
|
f"{revision.revision} 引用了不存在的父版本 {revision.down_revision}"
|
|
)
|
|
|
|
def test_all_migration_scripts_compile(self):
|
|
for path in sorted(VERSIONS_DIR.glob("*.py")):
|
|
source = path.read_text(encoding="utf-8")
|
|
compile(source, str(path), "exec") # 语法/缩进等编译错误会在此抛出
|
|
|
|
def test_full_chain_applies_on_fresh_sqlite_and_matches_models(self):
|
|
"""空库执行整条迁移链,校验表/列/索引与模型元数据对齐。"""
|
|
import web.backend.database as database_module
|
|
from web.backend.database import Base
|
|
|
|
original_url = database_module.DATABASE_URL
|
|
with tempfile.TemporaryDirectory() as tmp:
|
|
db_path = Path(tmp) / "migrate.db"
|
|
try:
|
|
# env.py 会用模块级 DATABASE_URL 覆盖配置里的 sqlalchemy.url。
|
|
database_module.DATABASE_URL = f"sqlite:///{db_path}"
|
|
command.upgrade(_migration_config(), "head")
|
|
|
|
inspector = inspect(create_engine(f"sqlite:///{db_path}"))
|
|
db_tables = set(inspector.get_table_names())
|
|
assert db_tables
|
|
|
|
model_tables = Base.metadata.tables
|
|
missing_tables = set(model_tables) - db_tables
|
|
assert not missing_tables
|
|
|
|
all_db_indexes = set()
|
|
for name, table in model_tables.items():
|
|
db_columns = {
|
|
column["name"] for column in inspector.get_columns(name)
|
|
}
|
|
model_columns = set(table.columns.keys())
|
|
missing_columns = model_columns - db_columns
|
|
assert not missing_columns
|
|
|
|
db_indexes = set()
|
|
for index in inspector.get_indexes(name):
|
|
index_name = index["name"]
|
|
if index_name and not index_name.startswith("sqlite_autoindex"):
|
|
db_indexes.add(index_name)
|
|
all_db_indexes |= db_indexes
|
|
model_indexes = {
|
|
index.name for index in table.indexes if index.name
|
|
}
|
|
missing_indexes = model_indexes - db_indexes
|
|
assert not missing_indexes
|
|
|
|
# 迁移新增的复合查询索引(不入模型,但应存在)。
|
|
for index_name in EXTRA_INDEXES:
|
|
assert index_name in all_db_indexes, (
|
|
f"迁移链未创建索引 {index_name}"
|
|
)
|
|
finally:
|
|
database_module.DATABASE_URL = original_url
|