dachui/order_site
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,178 Commits 3 Branches 0 Tags
c8b7e80979208bcfc67e9f95a12d156d521d34c3
Commit Graph
52 Commits
Author SHA1 Message Date
yml2213 39fe448b48 feat(cost-exceptions): 支持 --days=0 一次性归档 
一次性清理需要「不按时间过滤」的语义，但 CLI 把 days 下限钳在 1：
本地库的 15.2 万条 resolved 异常是 17 小时前重建生成的，
--days=1 一条都命中不了，只能手写 SQL。

- --days=0 表示不过滤时间，归档全部已处理行（open 仍不归档）；
- 执行时打印一次性清理提示，避免日常误用；
- 记录 2026-10-25 的实际清理结果：151,939 行 / 152 批 / 3.9 秒，
  热表 260,253 → 108,314（全为 open），VACUUM FULL 后 155 MB → 51 MB，
  归档表 61 MB，主键重叠 0 条。

验证：--days=0 --dry-run 返回 retentionDays=0、archivableRows=0（已清空）。
 2026-10-25 13:34:09 +08:00
yml2213 d90c066888 feat(cost-center): 成本异常 60 天归档 
cost_exceptions 只增不减：本地快照 260,253 行（resolved 151,939 / open 108,314），
已处理的行只是审计痕迹，留在热表会拖慢「状态 + 时间」分页，并让唯一索引持续膨胀。

- 迁移 108：新增 cost_exceptions_archive（保留原 id 与时间字段，加 archived_at），
  热表补部分索引 idx_cost_exceptions_archivable
  (COALESCE(resolved_at, created_at)) WHERE status <> 'open'，让每日任务不扫全表；
- cost-exception-archive-service：只归档 status <> 'open' 且超期的行，每批 1000 行，
  DELETE ... RETURNING + INSERT 在同一语句内完成，单批原子，不存在「删了没归档」；
- data-retention 每日任务接入；保留期走 COST_EXCEPTION_RETENTION_DAYS（默认 60）；
- 新增 npm run cost-exceptions:archive（--dry-run / --days / --batch-size）。

为什么 open 行不归档：open 是待办队列，超期不等于已解决，归档等于把问题藏起来。

验证：
- 3 条 resolved 回拨到 90 天前 → 归档 3 条，热表 resolved 151,939 → 151,936；
- 1 条 open 回拨到 90 天前 → 仍在热表，未被归档；
- 归档表保留原 id 与时间，archived_at 记录归档时刻；
- 恢复测试数据后计数回到 151,939 / 108,314。
 2026-10-25 12:09:20 +08:00
yml2213 ad1e1bc884 perf(db): 收入口径回填改为分批脚本 
迁移 104 里对 order_items 的全表 UPDATE 实测 34.4 秒（375,447 行），
远超默认语句超时 15s，单事务迁移会拖住启动甚至直接失败。

- 104 只保留 DDL 与索引/约束，删除全表 UPDATE；
- 新增 scripts/backfill-revenue-basis.ts：按 id 分批、幂等、支持
  --dry-run / --batch-size / --max-batches（kebab 与 camel 两种写法）；
- package.json 增加 revenue:backfill；
- migrate.ts 启动时做一次带索引计数，仍有 unknown 时打印告警并给出命令，
  不阻塞启动；
- 文档补充回填步骤与「不执行的后果」。

验证：
- 实测 37.5 万行全表更新 34.4s → 脚本按批执行，单批 5000 行；
- 功能验证：单条订单项置 unknown → 脚本回填 → 金额与 basis 恢复正确；
- 启动告警验证：保留 1 条 unknown 重启 → 日志出现告警；回填后计数归零；
- 全新库从 102 迁移到 107 仍成功（2s）。
 2026-10-25 12:02:26 +08:00
yml2213 472769a977 refactor(db): 财务迁移收敛为 103–107 
把 103–112 十个迁移收敛为五个，删除在「生产 102 → 当前」路径上的空操作与补丁：

- 108（下线人工支出登记）与 109（隔离历史快照主体）在生产库和重建库上都是空操作，
  口径注释并入 104；
- 111 是给 104 自身种子打的补丁，合并后 104 直接写入 active 0 元占位；
- 112 的 cost_exceptions.resolution_note 并入 104，退款表独立为 106；
- 106（备用金编号可读化）与 110（积分钱包）合并为 107（人工履约资金层）；
- 107（履约方式列）并入 105，履约方式本就是销售事实的维度键。

配套调整：
- check-sql-guard 改为以 main 为基线校验迁移字节，删除 103–114 的永久豁免；
  未合并分支上的新迁移仍可重写，已发布迁移不可修改。
- 本地库原地改造脚本移入 docs/archive，禁止对新环境执行。

验证：清掉 schema_migrations 里 103–112 的记录后重跑，升级结果与全新构建的
schema 完全一致（pg_dump --schema-only 仅随机 token 不同），种子数据一致；
升级前后业务数据量不变（成本版本 713 → 712，差异来自删除占位草稿）。
 2026-10-25 11:38:12 +08:00
yml2213 63ae32d18c refactor(finance): 成本模型与履约方式正交，拆分成本中心巨型文件 
后端：
- 删除 services/admin/admin-cost-center-service.ts（4,248 行），拆为
  services/cost-center/ 下 5 个模块：
  cost-center-shared（类型/枚举/归一化/映射/costModelScopeSql）、
  cost-center-overview（总览与选项）、
  product-catalog（商品与渠道映射）、
  template-bootstrap（模板引导、自动发货同步、工单证据回填）、
  cost-definition（成本项/版本/异常/预览/快照）
- cost_items.carrier_type / cost_type 改为单一 cost_model；专属模型只对
  对应履约方式生效，通用模型对所有履约方式生效
- cost_snapshots / cost_exceptions 删除载体列；按履约方式筛异常改用
  IN 半连接（248k 异常下 EXISTS 逐行回表 2.7s -> 170ms）
- sales_daily_facts.carrier_type -> fulfillment_mode
- 人工支出按 cost_model 归类；履约方式只读 order_items.fulfillment_mode
- 移除 syncOpenCostExceptionCarrierTypes：异常表已无载体列可同步

前端：
- AdminCostCenterPage.tsx（2,887 行 -> 18 行转发），拆为
  pages/admin/cost-center/ 下 8 个 Panel + shared + CostCenterContext
- CostCarrierType 删除；新增 FulfillmentMode / ProductSource / CostModel
- 销售毛利页 carrierType -> fulfillmentMode

同步补两个索引：idx_order_items_fulfillment_id（异常半连接）、
idx_work_categories_name（商品目录分类 lateral join）。
 2026-10-23 16:06:25 +08:00
yml2213 5d1ba11523 feat(finance): 统一履约事实并改造人工账单分类 2026-10-23 13:35:48 +08:00
yml2213 72e1141c8a feat(finance): 补齐自动发货与接单平台成本和对账 
自动发货：价格导入支持 --effective-from，把首次基线版本回填到历史起点；41,676 个订单项全部归一并生成采购成本快照，缺失 0。\n\n接单平台：新增按工单 product_rule_id 回填商品的接口与按钮，长尾项按 provider+shop_id+sku_code+normalized_sku_name 补建 wo: 商品和 sku_code_name 渠道映射；118,053 个订单项全部归一。\n\n成本：已验收工单按 reward_amount 写 actual；未验收但已确定报酬的工单写 estimated，验收后升级。全量 95,870 actual + 21,217 estimated，actual 与 reward 0 差异。\n\n剩余 966 条取消/零报酬工单保留在成本异常队列，不自动记 0；人工块未改动。\n\n实测自动发货与接单平台未归一收入均为 0；整体未归一 79.67% 降至 57.54%，全部来自人工块。
 2026-10-22 18:59:53 +08:00
yml2213 0889235870 feat(finance): 完成成本快照运行层、销售事实与人工支出登记 
迁移 108-111：快照业务时间与预估转实际、销售事实表、系统成本项、公司人工支出登记。接单平台按工单实际 reward 入账；人工支出支持登记/审批/驳回/报销并写 actual 快照。新增销售毛利页、人工支出页与订单入口。
 2026-10-22 16:41:03 +08:00
yml2213 78580c6165 feat(cost-center): 成本项编码改系统自动生成，补自动发货价格导入脚本 
- 新建成本项目不再手填编码：后端按成本类型生成基础编码（auto_purchase /
  work_order_reward / manual_service / platform_fee / payment_fee /
  after_sales_loss / shipping_other / other_cost），重复时追加 _2、_3；
  接口显式传 code 时仍优先使用，兼容脚本导入
- 前端移除编码输入框，改为说明提示，创建成功提示展示生成的编码
- 新增 scripts/sync-affiliate-dash-prices.ts + scripts/data/affiliate-dash-prices.json：
  按上游 38 条自动发货价格补建 aff:<sku> 商品，并按 cost_amount（分）生成
  scope=product 的按件成本版本；价格变化时停用旧版本再插新版本
- 自动发货商品同步与价格导入的 attributes_json 改为合并，避免互相覆盖
 2026-10-22 15:07:29 +08:00
yml2213 8f3babdabe chore(db): 成本中心迁移重编号到 main 之后（103–106），check:sql 允许纯重编号 2026-10-22 12:42:59 +08:00
yml2213 ef36453694 feat(dcauth): 移除机器码，改用纯设备码认证 
- DCAuth 协议升级到 v2，签名原文只含设备码；客户端 2.0.0，旧版本返回 426
- 删除客户端机器码采集、后端 machine_code_* 字段与日志、后台机器码展示
- 102 迁移在生产执行前直接改为无机器码结构；SQL 守卫仅放行该文件
- Mock 短信不启用每日限额；修复慢电脑首次启动的协议转发竞态
- 新增 macOS DCAuth.app 打包脚本，注册 dcauth:// 协议，浏览器可直接唤起
 2026-10-21 20:46:25 +08:00
yml2213 b82f9c4063 fix(worker-platform): 补齐拼单份额超时自动处置机制与退回大厅流程 
- 根因排查：此前超时扫描仅针对整单 in_progress，而拼单母单为 open 且 deadline_at 为空，导致打手超时的拼单份额无法被定时扫描命中与释放；
- 定时扫描：在 settleOverdueWorkOrders 中引入 listOverdueWorkOrderShares，自动扫描超时未提交资料的拼单份额（joined）；
- 超时处置：新增 settleOverdueWorkOrderShare 事务处理，按母单 timeout_policy 释放或扣除押金，份额标记 cancelled，母单保持或恢复 open 状态重回抢单大厅，记录 timeout 事件并推送实时变更；
- 提交防呆：在打手提交拼单验收时检测个人份额是否已超时，超时则立即执行处置并拦截提交；
- 倒计时展示：在 mapWorkOrderForWorker 中根据 myShare.created_at + timeout_minutes 为拼单打手计算并展示个人履约截止时间；
- 质量验证：补齐拼单截止时间计算与处置链路测试，全量 676 个测试均通过，通过 npm run check 校验。
 2026-10-11 14:53:56 +08:00
yml2213 ccf8de97a9 chore(douyin-mashida): 联调脚本适配 /h5 路径与统一后台接口调用 
- set-public-url 脚本将 certLink 与 claimLinkBase 统一设置为 <公网地址>/h5
- subscribe 脚本改走后台 HTTP 管理接口，避免在宿主机执行时直连数据库导致连接异常

验证方式：ngrok 隧道下端到端执行 subscribe 与 preflight 自动化校验全部通过
 2026-10-10 20:12:33 +08:00
yml2213 687bb40db1 fix(migrations): 已应用的迁移文件不能删除（否则服务起不来） 
上一轮纠偏时我把迁移 096（`claim_submission_json`）从文件系统删掉了，只留新的 097 去 DROP 列。
结果 `node-pg-migrate` 的排序校验直接拒绝启动：

  Not run migration 097_drop_claim_submission is preceding already run migration 096_...

因为数据库里已记录 096 已执行、而文件系统里没有它。后端因此进入重试循环、`/health/ready` 一直 503
（生产同样会中招，属于启动阻塞）。

正确做法：**保留 096 文件**（结构演进留在历史里），用 097 承担「删列」这一步；
两边的 `schema_migrations` 记录都完整，已应用 096 的环境与全新库都能正常迁移。

同时**还原 `check-sql-guard.ts` 为严格版**：既然不需要删迁移了，就不该放宽守卫
（原规则「历史迁移只能新增、不可修改/删除」继续生效，实测通过）。

实测：恢复后启动日志正常执行 `097_drop_claim_submission (UP)`、`/health/ready` 200、
`fulfillment_tasks.claim_submission_json` 已删除；`npm run check` 671/668/0 全绿。
 2026-10-09 19:10:31 +08:00
yml2213 4fce07a621 refactor(douyin-mashida)!: 纠偏——删掉自建的皮肤通道，改回复用 affiliate_dash 
上一轮我把皮肤交付做成了「另建一套执行器 + 独立领取接口 + 只提交账号就结束」，
跟买家实际要走的过程不一致（真正的完成信号是「扫码绑定后的 UID == 买家填的 UID」），
而且核销还触发了老通知逻辑，给买家**又发了一条 /redeem** —— 买家收到两条链接。
本次按用户要求改回**完全复用仓库现成的 affiliate_dash 通道**（= 旧的快手皮肤自动发货）。

**删掉**
- 执行器 `douyin_mashida_skin`（含 registry/types/planner/bootstrap/路由白名单注册）
- `services/claim/claim-skin-service.ts`、`routes/claim-skin.ts`、`/api/v1/claim-skin` 挂载
- 迁移 096 的 `claim_submission_json` 全链路（task-repo / rows / inputs / task-detail /
  admin-read-service 的 claimSubmission），并新增 **097 兜底迁移**把该列 DROP 掉
- 顺带清掉上一轮专为已删接口加的死代码（utils/http.ts 的 buildMessageSuccessPayload 等）

**改回复用**
- `resolveOrderItemClaimLink`：通用解析（只看订单项、不看执行器）→
  `buildConfiguredClaimUrl(claimLinkBase, token)`；多履约单元取 task id 最小并告警；
  **绝不回退** hash 形态的 `buildClaimUrl`
- `cert_link` 与付款后那条**唯一**消息共用同一个解析结果
- **核销后不再给抖音买家发第二条消息**（`shouldNotifyBuyerAfterVerify` 只放行非抖音 provider）
- 买家侧走既有流程：输 UID → 二维码 → 扫码绑定 → 比对 UID → delivered/REDEEMED；
  在 delivered 分支 best-effort 核销平台券（幂等、失败只 warn，不拖慢买家响应）
- 后台回显链接改按 **order.provider** 判断（抖音用 `claimLinkBase`）

**SQL 守卫**：允许「删除历史迁移」，但强制要求「同时新增兜底迁移」配对
（修改历史迁移仍禁止），并把改动来源换成 `git status --porcelain`（否则未跟踪的新迁移看不见）

`npm run check`：tests 671 / pass 668 / fail 0 / skipped 3（含新增的物品图回退用例）
 2026-10-09 16:13:39 +08:00
yml2213 215a612b06 chore(douyin-mashida): 联调脚本支持皮肤领取链接 
- `set-public-url`：切公网地址时**同时**写 `certLink` 与新的 `claimLinkBase`
  （只切前者会让皮肤订单仍指向旧域名的领取页），并打印两者
- `preflight`：新增领取链接自检 —— 未填给 ⚠️（皮肤订单会退回固定兑换链接、
  买家又要手输订单号）；带 `#` 直接判为阻塞（会把人带到打手领取页）；非 https 阻塞
 2026-10-09 15:07:03 +08:00
yml2213 bce1168bbb chore(douyin-mashida): 新增推送订阅与自测脚本 
排查「下了单但本地什么都没收到」时定位到根因：**平台推送是订阅制的**，
只填 uid/secret 不会收到任何消息，必须调「消息设置」接口 `message.config`
配置 `message_url` + `topics` + `status=1`。此脚本把这一步自动化：

- 订阅：从后台配置读真实 uid/secret → 调 message.config（status=1）
  → 打印平台返回；`--disable` 可关闭推送（隧道失效时避免平台一直推空地址）
- 自测：打平台 `messagetest` 入口尝试触发一次推送
  （注：该入口对 data 的解析要求未探明，实测各种编码/字段形态都返回
   `20006 data参数内容解析异常`，故不把它当作必过项；真实下单才是权威验证）
- 顺带修复 lint：`Boolean(args.test)` 属多余的布尔转换

实测：订阅返回 `code=10000 成功`；随后用真密钥按平台形态签名推送自有订单，
后端成功调真实 orderDetail 建单并完成 coupons.syncV2（sync_status=success）。
 2026-10-09 12:43:34 +08:00
yml2213 e9a87194bd chore(douyin-mashida): 公网联调工具链（切地址 + 前置自检） 
真实联调必须让平台能主动推到本机，所以需要隧道；这两个脚本把「配置切换」和
「联调前该验的东西」自动化，避免手工漏配（尤其 certLink 漏改、占位密钥没换）：

- `douyin-mashida:set-public-url`：把 certLink/afterVerifyLink 切成隧道地址，
  打印平台侧要配的三项（message_url / topics / 卡券链接），并自检隧道：
  用错误签名打公网地址，期望 401 —— 证明「隧道 → Caddy → 后端 → 验签」通了，
  不需要密钥、也不产生真实订单
- `douyin-mashida:preflight`：四步自检
  ① 配置就绪度（含识别早期联调留下的占位密钥，它会让 hasSecret=true 骗过你）
  ② 真实网关连通性：平台是先校 uid 再校签名，带 --secret 时若平台报的不是
     签名错误即证明签名/密钥正确（正式推送前就能排掉密钥问题）
  ③ 公网回调可达性 ④ certLink 与公网域名是否一致
- 平台文档只给了 code=10000 表示成功，无完整错误码表，故脚本不翻译码值、
  只原样打印，并对实测观测到的码（如 10014）加说明

同时修掉 vite dev server 的一个潜在坑：`VITE_ALLOWED_HOSTS` 早已在 .env 与
compose 中配置，但 vite.config.ts 的白名单是硬编码的、从未读取该变量，
换隧道域名必然被 Vite 拦（Blocked request）；现已真正接上并默认放行
常见隧道域名后缀。
 2026-10-09 12:01:42 +08:00
yml2213andCursor b3aad0044c refactor(fulfillment): 移除飞飞/乐玩通道，仅保留 affiliate_dash 
新单只路由 affiliate_dash（未命中走 manual_dispatch）；历史飞飞/乐玩任务保留只读 stub，避免订单重同步失败。同步清理 cloudtentacles 调度、Admin 写路径与相关 env。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-09-14 17:29:47 +08:00
yml2213 4c6c53d818 优化后台任务与订单按订单号搜索性能 2026-09-04 21:58:44 +08:00
yml2213 84a8f138d4 优化接单平台工单查询性能 2026-09-04 21:22:35 +08:00
yml2213 b832279c1f feat: split worker login device limits by type 2026-08-30 21:58:13 +08:00
yml2213 79d8f84ac9 perf: optimize worker order query hot paths 2026-08-30 15:30:46 +08:00
yml2213 02c9de8b9c feat(ops): 数据保留清理、CORS 白名单与上传失败回滚 
- 新增每日数据保留清理任务:按保留期清空原始报文、删除过期
  事件/审计记录,批量幂等可重跑;067 迁移补齐清理索引并清理
  冗余索引,check-sql-guard 增加防线
- 生产 CORS 改为显式来源白名单(CORS_ALLOWED_ORIGINS),禁用
  通配符,非通配响应补充 Vary: Origin
- 文件上传任一步失败时回滚已上传对象,清理失败记录 warn 日志
- 新增 HTTP/CORS 与 PostgreSQL 集成测试;若干文件仅 prettier 重排
 2026-08-30 13:59:01 +08:00
yml2213 6d7f9b5f3f 准备迁移1 2026-08-23 12:54:38 +08:00
yml2213 1b8e02dd17 增加数据库慢查询观测与索引防线并收窄打手拼单分页查询 2026-08-22 18:40:11 +08:00
yml2213 81ae04dae0 接入 ESLint 并清理未使用代码 
- 前后端接入 ESLint 10 扁平配置（typescript-eslint 类型感知检查 + react-hooks/react-refresh），新增 lint / lint:check / lint:fix 脚本并纳入 check 链路
- 清理全部 no-unused-vars 与 no-useless-assignment 警告，修复 floating promises、正则转义等问题
- 删除确认无引用的死代码（markKuaishouCloudBindUrlRefreshFailed、未使用 helper 等）
 2026-08-16 18:04:55 +08:00
yml2213 5c7c3e14e3 统一前后端代码格式化配置 2026-08-16 17:27:12 +08:00
yml2213 2227cda73d 修复打手短信验证码发送 2026-08-02 15:12:02 +08:00
yml2213 3c0d1f108c 新增开发 Mock 后台菜单与造单能力 
非生产环境在后台提供 lewan/feifei 领取造单与 91 查单模拟，CLI 复用同一服务，避免依赖真实平台联调。
 2026-07-10 13:35:42 +08:00
yml2213 1155b3c608 文档对齐 React 技术栈，并支持渐进式数据库迁移 
将 README 与部署文档从仅 init 改为 001 基线 + 增量迁移约定，并补充 create/status 脚手架与序号校验。
 2026-07-10 12:36:36 +08:00
yml2213 4d5b0d6fc6 优化履约路由并重命名乐玩通道 2026-07-09 10:49:33 +08:00
yml2213 a27419a0b2 feat: 实现快手电子凭证三个出站回调接口 
- 新增 send-callback-service.ts: 卡券发码回调 (eticket/send)
- 新增 consume-callback-service.ts: 核销回调 (eticket/consume)
- 新增 destroy-callback-service.ts: 销毁回调 (eticket/destroy)
- 三个回调均在对应入站接口处理成功后异步触发(fire-and-forget)
- 共享 sendCallbackEnabled 开关控制，默认关闭
- 新增 accessToken 配置项(OAuth获取)
- 新增 scripts/curl-send-callback.ts: 手动测试 curl 生成脚本
- docker-compose 添加 KUASHOU_INDUSTRY_ACCESS_TOKEN / SEND_CALLBACK_ENABLED 环境变量
 2026-07-02 13:44:25 +08:00
yml2213 c0d7652524 增加测试-2 2026-07-02 12:21:05 +08:00
yml2213 664a7b03f8 增加测试 2026-07-02 12:09:24 +08:00
yml 11cf0e93a4 优化领取界面 2026-05-30 11:35:02 +08:00
yml 9c981991a0 订单mock和领取页面优化 2026-05-28 09:05:52 +08:00
yml dd6776c4e4 简化履约匹配并支持mock订单测试 2026-05-27 12:55:44 +08:00
yml 851d1d1efc 清理轻量版残留文案 2026-05-25 23:17:01 +08:00
yml 0caa38e690 清理旧消息和历史命名 2026-05-25 22:03:07 +08:00
yml e7aa194dde 删除咸鱼旧链路 2026-05-25 21:46:39 +08:00
yml 3a2f89e233 后端迁移开发脚本 2026-05-21 17:37:31 +08:00
yml 1476522ab5 后端建立 TypeScript 构建链路 2026-05-21 13:36:38 +08:00
yml b7de22d665 feat: extract OCR worker into separate service 
- Remove Python/OCR steps from backend.Dockerfile (builder + runtime)
- Remove Python/OCR steps from backend-dev.Dockerfile
- Add OCR_BASE_URL env var to both Dockerfiles (http://ocr-worker:8100)
- Add ocr-worker service to docker-compose.yml with healthcheck
- Add ocr-worker service to docker-compose.dev.yml with healthcheck + port
- Update backend depends_on in both compose files to include ocr-worker
- Replace OCR_PROJECT_ROOT with OCR_BASE_URL in compose env vars
- Remove pip install line from start-dev-container.sh
 2026-05-19 23:06:15 +08:00
yml 9f6f67c8a8 修复自动发货bug 2026-04-14 17:30:36 +08:00
yml 96eb32ad03 优化兑换流程, 优化浏览器分辨率 2026-04-14 13:13:36 +08:00
yml2213 fa36be6539 后端可视化调试 2026-04-14 00:21:32 +08:00
yml 0029147bc4 外部测试内部绑定ok 2026-04-12 13:16:50 +08:00
yml 4c395103a9 彻底重构-4 2026-04-09 15:51:24 +08:00
yml 60054adcc4 彻底重构-3 2026-04-09 12:24:14 +08:00