dachui/order_site
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,142 Commits 6 Branches 0 Tags
12f370de15e6ede7f7c80e27133f4c2b9ea26b4f
Commit Graph
38 Commits
Author SHA1 Message Date
yml2213 12f370de15 feat(cost-center): 将统计与自动发货同步统一收敛至最近一个月并自愈历史非标SKU 
- 范围收敛：将财务日期范围默认窗口、自动发货履约任务扫描、成本快照重算及定时任务默认窗口统一收敛为最近一个月（30 天），不再扫描混乱的历史遗留数据
- 脏数据清洗与自愈：在自动发货同步与基线导入时自动识别并清理历史把中文名当做 SKU 插入的 21 个非标脏商品，将关联的 116 个订单项平滑重定向至标准 38 款基线商品
- 标准提取：从履约任务 context_json 中按优先级提取标准上游 sku，通过正则仅允许合规英数标识符入库，避免中文名称污染商品目录
- 界面对齐：前端销售毛利概览默认查询最近 30 天，自动发货与目录改价追溯生效时间默认设置为近一个月（30 天前）
- 验证方式：全量单测 783 项通过、tsc 0 error、容器内执行同步后脏商品归零且销售事实精准重算
 2026-10-25 16:24:50 +08:00
yml2213 d90c066888 feat(cost-center): 成本异常 60 天归档 
cost_exceptions 只增不减：本地快照 260,253 行（resolved 151,939 / open 108,314），
已处理的行只是审计痕迹，留在热表会拖慢「状态 + 时间」分页，并让唯一索引持续膨胀。

- 迁移 108：新增 cost_exceptions_archive（保留原 id 与时间字段，加 archived_at），
  热表补部分索引 idx_cost_exceptions_archivable
  (COALESCE(resolved_at, created_at)) WHERE status <> 'open'，让每日任务不扫全表；
- cost-exception-archive-service：只归档 status <> 'open' 且超期的行，每批 1000 行，
  DELETE ... RETURNING + INSERT 在同一语句内完成，单批原子，不存在「删了没归档」；
- data-retention 每日任务接入；保留期走 COST_EXCEPTION_RETENTION_DAYS（默认 60）；
- 新增 npm run cost-exceptions:archive（--dry-run / --days / --batch-size）。

为什么 open 行不归档：open 是待办队列，超期不等于已解决，归档等于把问题藏起来。

验证：
- 3 条 resolved 回拨到 90 天前 → 归档 3 条，热表 resolved 151,939 → 151,936；
- 1 条 open 回拨到 90 天前 → 仍在热表，未被归档；
- 归档表保留原 id 与时间，archived_at 记录归档时刻；
- 恢复测试数据后计数回到 151,939 / 108,314。
 2026-10-25 12:09:20 +08:00
yml2213 a78cc1f984 feat(finance): P1 人工商品归一，按内部 SKU 生成 man 商品并回填 
- 新服务 manual-product-normalization-service：skuNick → outSkuSn → sku_code 兜底，按内部 SKU 生成 man:<sku> 商品
- 订单项按 id 分批（2 万/批）回填，避免 15s 语句超时；同步补齐人工成本快照的商品维度
- 新增 POST /cost-center/manual-products/normalize（支持 dryRun/日期窗口），成本中心「标准商品」加「归一人工商品」按钮
- 每日 cost_finance_sync 接入最近 N 天的增量归一
- 渠道映射未归一队列增加人工单提示：人工单不能用平台 sku_code 建映射
- 文档同步：P1 标记完成，补充归一接口契约与销售事实重算结果
 2026-10-24 16:54:55 +08:00
yml2213 5d1ba11523 feat(finance): 统一履约事实并改造人工账单分类 2026-10-23 13:35:48 +08:00
yml2213 72e1141c8a feat(finance): 补齐自动发货与接单平台成本和对账 
自动发货：价格导入支持 --effective-from，把首次基线版本回填到历史起点；41,676 个订单项全部归一并生成采购成本快照，缺失 0。\n\n接单平台：新增按工单 product_rule_id 回填商品的接口与按钮，长尾项按 provider+shop_id+sku_code+normalized_sku_name 补建 wo: 商品和 sku_code_name 渠道映射；118,053 个订单项全部归一。\n\n成本：已验收工单按 reward_amount 写 actual；未验收但已确定报酬的工单写 estimated，验收后升级。全量 95,870 actual + 21,217 estimated，actual 与 reward 0 差异。\n\n剩余 966 条取消/零报酬工单保留在成本异常队列，不自动记 0；人工块未改动。\n\n实测自动发货与接单平台未归一收入均为 0；整体未归一 79.67% 降至 57.54%，全部来自人工块。
 2026-10-22 18:59:53 +08:00
yml2213 0889235870 feat(finance): 完成成本快照运行层、销售事实与人工支出登记 
迁移 108-111：快照业务时间与预估转实际、销售事实表、系统成本项、公司人工支出登记。接单平台按工单实际 reward 入账；人工支出支持登记/审批/驳回/报销并写 actual 快照。新增销售毛利页、人工支出页与订单入口。
 2026-10-22 16:41:03 +08:00
yml2213 0173efb277 feat(pdd): 店铺连续同步失败 3 次后熔断，停止自动重试 
背景：生产上「木塔网游专营店」Cookie 已过期，每约 24 秒重试一次、每轮刷一条 ERROR 日志，
持续数天。Cookie 失效不会自愈，继续重试只刷日志、白白占用同步周期。

行为：
  - 失败 1~2 次：累计计数，继续重试；
  - 第 3 次：熔断，打一条显式 ERROR（含"更新 Cookie 会自动恢复"提示）；
  - 熔断后：自动同步直接跳过，不再刷错误日志；
  - 恢复：更新 Cookie（后台编辑或浏览器插件）自动解除；手动同步成功一次亦可。
  熔断状态持久化在店铺配置里，容器重启后依然生效。

改动：
  - pdd-source-config-service：阈值常量 + consecutiveFailures/syncSuspendedAt/
    syncSuspendedReason 持久化字段 + 纯函数 resolvePddStoreFailureState /
    applyPddStoreBreakerState / isPddStoreSyncSuspended / shouldResetPddSyncBreaker。
  - pdd-sync-service：syncAllPddStores 跳过熔断店铺并上报 suspendedCount；
    syncStoreOrders 失败记录、成功清零（健康店铺不产生额外配置写）。
  - pdd-order-sync-job：上报熔断数，且存在熔断店铺时强制留在 INFO 级
    （否则"全部店铺已停同步"会因新单为 0 被降级成 debug 而不可见）。
  - 前端加「已熔断 · 停止重试」标签与类型字段。

顺带修掉一个隐患：saveAdminPddStore 收的是 Partial 载荷，normalizePddStoreItem
会为缺失字段产出 undefined，导致一次「只改店铺名」的保存就把熔断洗掉。
由 applyPddStoreBreakerState 回填既有状态解决。

验证：9 项熔断单测（含局部保存不洗状态、Cookie 变更解除熔断）。
 2026-10-03 14:27:38 +08:00
yml2213andCursor 1239393fc2 perf: 筛选统计去掉 JSON 兜底，并补上 orders 覆盖索引 
去掉 work_orders 堆访问后，JOIN 会把 orders 整表扫进 Hash Right Join。
领取页在快照新鲜时不再打上游；快手出网统一 10 秒超时。倒计时改为自适应间隔。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-10-01 15:05:38 +08:00
yml2213 1ca15e9025 perf(db): 统计金额落到列上、会话刷新节流、补齐保留与内存治理 
背景：生产 32 天内 >500ms 慢查询从 2.4k/天涨到 1.3 万/天（09-26 尖峰 14.3 万），
pg_stat_statements 显示后台工单列表族占 57%、打手端 visible_orders 占 27%；
同时 backend 容器十天从 194MB 涨到 754MB(768MB 限额的 98%)，贴顶后整体变慢。

1. 新增迁移 083：work_orders 增加派生列 source_order_amount_fen，并从
   material_json.source.orderAmountFen 回填（只认 15 位以内整数，与 JS/SQL 口径一致）。
   统计查询原来每行要解析 1.2KB JSON（全表约 132MB）且同一表达式求值两次，
   生产实测 3.5~4.4 秒；改走派生列后 COALESCE 短路，未命中列的行才回退 JSON/orders.total_amount，
   口径与改造前完全一致。写入点：createWorkOrder / updateWorkOrder 各一处，并加静态守卫。
2. worker_sessions.last_seen_at 从"每个请求都写"改为"5 分钟才写一次"：
   32 天被写了 3300 万次（占 DB 总时间 2.8%，并堆出 14% 死元组）。仍用一条语句返回鉴权有效性
   （EXISTS target AS valid），不能因为不写就让上层 401。
3. 保留策略补上 work_order_events（71.7 万行 / 269MB，此前完全没纳入清理，只增不减），
   新增配置 retention.workOrderEventDays（默认 180 天）与 WORK_ORDER_EVENT_RETENTION_DAYS 出口。
4. 内存治理：compose 后端限额 768m→1g 并显式设置 V8 老生代上限（--max-old-space-size=768），
   避免贴 cgroup 上限后 GC 抖动；新增每 10 分钟的进程内存快照日志（rss/heapUsed/heapLimit），
   用于区分"正常 GC 曲线"与"真泄漏"。
5. 限流桶加 5 万条硬上限：key 里含请求体字段（collect 的 orderNo）时可被构造成高基数，
   只按过期清理挡不住内存增长。

验证：后端 530 项单测全绿（新增 11 项，含派生列/会话/保留的静态守卫与解析函数单测）。
 2026-10-01 12:55:09 +08:00
yml2213andCursor acfe7fd07e style: 修复订单与调度相关 Prettier 格式 
Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-09-15 13:48:43 +08:00
yml2213andCursor 40278a68fc chore(logging): 降噪 PDD 同步与发单消费者常态日志 
将无新单/全跳过的处理完成日志降到 debug，并压缩 decisions 详情，避免 app 日志被按日切碎。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-09-15 13:48:30 +08:00
yml2213andCursor b3aad0044c refactor(fulfillment): 移除飞飞/乐玩通道，仅保留 affiliate_dash 
新单只路由 affiliate_dash（未命中走 manual_dispatch）；历史飞飞/乐玩任务保留只读 stub，避免订单重同步失败。同步清理 cloudtentacles 调度、Admin 写路径与相关 env。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-09-14 17:29:47 +08:00
yml2213 fea82bff36 style(backend): 格式化代码并修复floating-promises以通过pre-push检查 2026-09-12 17:46:47 +08:00
yml2213 ede9a87b97 feat(pdd): 支持根据数据库已有订单自适应翻页拉取，防高峰漏单 
1. 新增数据库批量排查已有订单接口 findExistingPlatformOrderIds，利用 B-Tree 索引毫秒级判定当前页订单是否存在；
2. 优化 syncStoreOrders 支持自适应翻页拉取：当第 1 页全部为新订单时，自适应向后递增翻页拉取（支持 maxPages 默认 5 页，平滑限速 300ms）；
3. 翻页终止自适应判定：当拉取到包含数据库已有旧订单的页面时立即 break 停止翻页，兼顾高性能与不漏单；
4. 扩展全局配置支持 maxPages（自适应最大翻页页数），支持后台管理员在 UI 设置与立即拉单参数联动；
5. 新增单元测试 pdd-sync-service.test.ts，验证全部新订单自适应翻页与命中已有订单提前终止行为。
 2026-09-12 16:25:37 +08:00
yml2213 1217da7393 feat(worker-platform): 支持后台配置匹配日志保留上限与天数并提供一键清理历史多余记录 
1. 扩展商品匹配配置支持 maxMatchLogs (条数上限) 与 matchLogRetentionDays (保留天数)；
2. 新增分批物理清理逻辑 pruneWorkProductMatchLogs，通过索引高效分批删除超出限制的记录；
3. 集成定时任务数据保留清理 data-retention-job，并在保存配置与写入时自动滚动清理；
4. 匹配诊断日志面板新增可视化保留策略设置栏，支持管理员自定义上限、一键保存并提供一键清理超出记录按钮。
 2026-09-12 16:01:26 +08:00
yml2213 ffa3374483 feat(pdd-sync): 默认拉取已发货订单并支持配置单次拉单上限与抓取状态 2026-09-12 15:16:39 +08:00
yml2213 424c320183 feat(pdd): 原生内嵌拼多多多店铺订单同步子服务与anti-content纯算引擎 
1. 纯算引擎 (pdd-anti-content.ts):
   - 100% 纯 TypeScript 原生还原 0as anti-content 算法，零 npm 依赖（仅基于 Node.js 原生 zlib 与 crypto）。
   - 包含 22 个环境特征 Tag TLV 组包、zlib 标准压缩、4 字节尾部扰动盐与 64 字符动态位移 Base64 编码，单次耗时 < 0.1ms。

2. MMS 接口客户端与数据映射 (pdd-client.ts, pdd-order-mapper.ts):
   - 基于原生 fetch 实现高可用 MMS 请求，支持拼多多网关毫秒级服务器时间校准 (/api/server/_stm)。
   - 实现拼多多订单状态与字段规范映射为平台 SourceOrderEvent，精准保留买家留言与充值账号信息。

3. 多店铺配置与防风控错峰调度 (pdd-source-config-service.ts, pdd-sync-service.ts):
   - 支持多店铺账号配置持久化（PostgreSQL app_config_entries 与本地 JSON 双模兜底）。
   - 实现店铺间轻量错峰拉取机制，避免并发峰值触发平台 40002 频控。

4. 内存级自动进单与派单流转:
   - 拉取新订单后在 Node.js 内存中直接调用 upsertOrderFromSource()，自动完成 orders/order_items 入库、商品规则匹配与打手大厅工单 (work_orders) 实时广播。

5. 调度器与管理端 API (scheduler-service.ts, platform-config/pdd.ts):
   - 注册 pdd_order_sync 定时任务（默认 20s 轮询），提供管理端店铺配置查看、保存、删除及手动立即同步接口。
   - 所有新增代码均遵循中英双语注释规范，并通过类型检查与单元测试。
 2026-09-12 14:12:11 +08:00
yml2213 02c9de8b9c feat(ops): 数据保留清理、CORS 白名单与上传失败回滚 
- 新增每日数据保留清理任务:按保留期清空原始报文、删除过期
  事件/审计记录,批量幂等可重跑;067 迁移补齐清理索引并清理
  冗余索引,check-sql-guard 增加防线
- 生产 CORS 改为显式来源白名单(CORS_ALLOWED_ORIGINS),禁用
  通配符,非通配响应补充 Vary: Origin
- 文件上传任一步失败时回滚已上传对象,清理失败记录 warn 日志
- 新增 HTTP/CORS 与 PostgreSQL 集成测试;若干文件仅 prettier 重排
 2026-08-30 13:59:01 +08:00
yml2213 8388d6e875 拆分打手资料资金服务 2026-08-21 16:48:52 +08:00
yml2213 5c7c3e14e3 统一前后端代码格式化配置 2026-08-16 17:27:12 +08:00
yml2213 bcde47ef97 彻底修复 lewan 自动发货问题-8-8-2 2026-08-08 23:43:29 +08:00
yml2213 6e41d7e0db 彻底修复 lewan 自动发货问题-8-8 2026-08-08 23:08:05 +08:00
yml2213 5a1c5a3759 回收遇无权限号码直接清空任务绑定不再重试：已手动退号的旧绑定一次性收敛，发货收尾视号码已释放 2026-08-08 14:59:23 +08:00
yml2213 e1a0a74477 优化孤儿号码回收：权限不足重试3次后停止打上游，1小时后自动重置，health 摘要展示孤儿数量 2026-08-08 02:38:01 +08:00
yml2213 995de86322 修复 lewan 虚拟号配额被占满：过期绑定自动回收、退号失败不再追加取号、取号占满增加冷却 2026-08-08 02:15:13 +08:00
yml2213 93df3d1c9b 押金解冻天数可配置与待解冻押金扣减，超时订单保留记录 2026-08-02 10:14:05 +08:00
yml2213 23ad60a1ef 接单工单支持任务时限，超时自动判定失败并处置 2026-08-01 19:02:57 +08:00
yml2213 3196e1ccdc 修复 kuaishou-lewan 多账号健康检查与平台配置展示 
恢复 health 任务对全部账号的合并监控，补齐 React 后台多账号 UI 与账号选择，并将用户可见文案统一为 kuaishou-lewan。
 2026-07-10 21:43:32 +08:00
yml2213 8bcd9bbd81 收紧后端 TypeScript：统一 Json 类型与 TaskContext 契约 
关闭 allowJs；集中 JsonObject 定义并替换分散 any 别名；parseTaskContext 返回 TaskContext；任务详情 API 标注 AdminTaskDetailView；测试减少 as any。
 2026-07-10 15:52:05 +08:00
yml2213 3642ad8aec 配置改为数据库存储 
将运行时 JSON 配置迁入 app_config_entries，启动时从文件导入并删除源文件。
 2026-07-10 09:14:12 +08:00
yml e8ba48d74f 设置云触手默认登录设备 2026-05-28 13:05:44 +08:00
yml2213 d126b35579 优化后端代码质量基础 2026-05-26 10:48:30 +08:00
yml2213 7aef1a6d50 开启后端严格空值检查 2026-05-26 08:45:06 +08:00
yml2213 dea3023825 优化后端鉴权与日志安全 2026-05-26 08:21:11 +08:00
yml d58d483944 优化监控任务多账号配置 2026-05-25 17:44:42 +08:00
yml 589de4b50b deduplicate json config file access 2026-05-21 18:54:41 +08:00
yml f130bdba78 后端迁移定时任务服务 2026-05-21 16:34:06 +08:00
yml2213 f7f3289d04 简单的定时任务--ok 2026-05-14 17:59:45 +08:00