跳到正文
后宇的技术站

百万级发券架构优化

采用数据流工厂设计,流程异步解耦,多节点并行幂等消费,解决发券慢的业务痛点;通 过预生成固定规则券码 id+数据库唯一索引解决超发券问题;基于状态机制调度数据解决少发券和异常重试问题。

架构设计0 评论12 分钟读完#重构

一、概述

  1. 场景:每月1号需要针对有积分的会员发放积分券,大致流程如下:
  • 会员卡拉取定时任务:负拉取会籍测会员卡卡号,作为初始值(待发券)并写入发券明细表,注册后续的临时任务,并广播
  • 会员拉取任务:根据发券明细表内的会员卡号,拉取会员服务卡号绑定的会员信息,主要包括:用户ID、用户手机号、用户会籍信息,更新数据及状态至会员拉取成功
  • 会员积分拉取任务:根据发券明细表内的已拉取到的会员卡号,拉取会员的积分数据,并写入积分数据,更新数据及状态至会员积分拉取成功
  • 发券任务:根据发券明细表内的会员积分情况,根据活动配置计算预计发券信息,执行用户发券,保存发券结果至发券明细表,更新数据及状态至发券成功/发券失败
  • 发券记录保存任务:根据发券明细表内已发券用户,保存发券活动的发券记录数据,更新发券记录保存结果为成功
  • 积分清零任务任务:根据发券明细表内已发券用户,调用接口清除积分,保存积分清除结果,更新积分扣减状态为扣减成功
  1. 核心工作项: 人群清洗->发券->积分清零 1701855636245.png
  2. 如何保障人群筛选的准确性
  • 难点1:会员数据大,需要保证会员数据在长链路下不丢失 解决方案: ① 会籍中台数据完全持久化到DB—事务保证初始数据不丢失
  • 难点2:目前在会员域和营销域都存在人群清洗逻辑,牵扯链路长 解决方案: ① 积分发券涉及会籍主干功能统一收口到营销域的发券项目—减少链路调用带来的数据丢失风险和一致性问题 ② 会员拉取和积分拉取业务拆分解耦—提升用户会员数据信息整体处理性能,职责单一化后,利于单一业务重试—解决链路长问题

1701855804303.png

  1. 如何保障发券不超发不少发
  • 难点1:用户需要发多张券,每张券发放数量不一样,需要保证券不少发 解决方案: ① 优惠券中台多张券的场景下,通过事务去保证用户发券功能的原子性
  • 难点2:用户多,需要防止用户少发 解决方案: ① 发券的数据入口从原有的kafka改为DB抓取在分发,源头上避免了用户的丢失
  • 难点3:如何保证用户不超发券 解决方案: ① 提前生成固定规则券码,通过数据库的唯一索引,实现防止用户的超发
  • 难点4:目前发券节点包含了发券动作、积分清零、保存发券记录,导致发券性能受限于无关业务 解决方案: ① 将会员拉取、积分清零和发券记录保存从发券逻辑解耦,提升发券性能,职责单一化后,利于单一业务重试—解决链路问题
  1. 如何扣减积分
  • 难点1:目前积分清零接口无法承受目前的并发量,且容易超时,调用方也无法区分是否真实扣减成功 解决方案: ①全量异步通知:发券完成后,异步同步名单给会籍侧需清除积分名单,能解耦掉和我们系统无关的功能,通过cos文件持久化文件内容,通过redis维护活动与cos文件的关系 ②批量调用接口:使用独立调度任务,职责单一,通过生成活动+券模板+用户ID+batchId实现幂等调用会籍的积分清零接口,超时后可重复调用,直至成功
  1. 用户未发券排查问题困难
  • 痛点1:每当有用户反馈未发放积分券,需要从营销->会员->会籍系统排查在哪个节点丢失了次用户,排查困难,且目前的数据化展示没有,导致每个问题都需要技术支持联系开发排查,效率低效 解决方案: 全链路数据持久化,对应流水线节点保存处理状态,方便排查用户未发券原因以及查看整体大盘发券情况

本次重构,其目标主要及时针对上述痛点难点进行优化,保障发券在复杂场景下发券的可靠性、稳定性,并解决发券性能问题,为往后的复杂场景发券沉淀出有效的可执行方案。

三、架构图 1701855911102.png

1. 会员卡拉取定时任务:负拉取会籍测会员卡卡号,作为初始值(待发券)并写入发券明细表,注册后续的临时任务,并广播 2. 会员拉取任务:根据发券明细表内的会员卡号,拉取会员服务卡号绑定的会员信息,主要包括:用户ID、用户手机号、用户会籍信息,更新数据及状态至会员拉取成功 3. 会员积分拉取任务:根据发券明细表内的已拉取到的会员卡号,拉取会员的积分数据,并写入积分数据,更新数据及状态至会员积分拉取成功 4. 发券任务:根据发券明细表内的会员积分情况,根据活动配置计算预计发券信息,执行用户发券,保存发券结果至发券明细表,更新数据及状态至发券成功/发券失败 5. 发券记录保存任务:根据发券明细表内已发券用户,保存发券活动的发券记录数据,更新发券记录保存结果为成功 6. 积分清零任务任务:根据发券明细表内已发券用户,调用接口清除积分,保存积分清除结果,更新积分扣减状态为扣减成功

**总结:**基于Msql DB作为存储介质的数据流式PipeLine设计,节点遵循单一职责原则,其主要优势有以下: a. 高可靠:所有spot节点数据都依赖Mysql,防止链路过长的数据丢失,且Mysql自身的高可用、高可靠性能能有效保障数据不丢失 b. 全链路异步化:全流程PipeLine解耦,能大大提升发券的整体性能,让数据就像水流一样,在节点间快速流动,充分发挥服务器的性能,且全流程解耦,可有效防止大对象的长时引用传递,利于GC c. 快速发券:将发券节点和发券以后节点解耦,能大大提升发券效率,后续节点处理动作只需最终一致即可 d. 代码简约:节点遵循单一职责原则,利于节点逻辑重试,方便代码理解与维护 四、各任务流程图 1.会员卡拉取定时任务 略 2.会员拉取任务 1701855969842.png 3.会员积分拉取任务 略 4.发券任务 略 5.发券记录保存任务 略 6.积分清零任务任务 略 7.发券服务重启后任务 略 六、数据库设计 1. 发券明细表

字段 类型 解释
id bigint(20) 主键
batch_id varchar(10) 批次ID ,例如"2021-12"
saas_id bigint(20) saas_id
activity_id bigint(20) 发券活动
activity_type int(2) 发券活动类型
card_no bigint(20) 卡号
user_id bigint(20) 用户ID
telephone bigint(20) 手机号
condition text 发券条件
except_result text 预计发券
result text 发券结果
status int(4) 发券结果(0.待发券,1.待发券(拉取会员成功),2.发券失败(拉取不到会员),3.待发券(拉取积分成功),4.发券失败(积分小于等于0),5.发券成功,6.发券失败)
coupon_record_status int(4) 发券记录保存结果(0.默认值,1.成功,2.失败)
bcp_code_dsc text 对账失败原因描述
create_time time 创建时间
remark text 备注
  • 联合唯一索引:batch_id+activity_id+card_no
  • 索引: ① batch_id+activity_id+status+user_id ②batch_id+activity_id+status+telephone ②batch_id+activity_id+status+integral_reset_status ②batch_id+activity_id+status+card_no
  1. 发券概况表(已删除)
字段 类型 解释
id bigint(20) 主键
batch_id varchar(10) 批次ID ,例如"2020-12"
activity_id bigint(20) 发券活动
template_id bigint(20) 券模板ID
template_name varchar 券模板清除
template_amount bigint(20) 券模板金额(分)
num_people int(10) 发放用户数
num_coupon int(10) 发券张数
coupon_amount bigint(20) 发放金额(分)
create_time time 创建时间
  • 联合唯一索引:batch_id+activity_id+template_id
  • 索引:todo

七、关键数据结构

  1. 发券条件—积分 {"integral":1234}
  2. 预计发券—每张券模板对应的发券情况 [{"templateId":1234567,"num":1, "amount": 1000//券面金额,单位分},{"templateId":1234568,"num":2, "amount": 1000}]
  3. 发券结果—保存券码 ["987","654"]
  4. 指定券码规则 目前券码样式;91390236513235054773

新券码样式:(92210112341818106209801) 92+ 月份(年份后两位+月份) +template_id(后四位?) + userId(18181062098后X位) + NN = 39

关键业务点券码长度限制条件:

Diff
+ 数据:没限制;
+ 营销内部:64
+ 交易:无限制
  1. Redis临时任务保存数据结构 key:send_coupon_tmp_task value:Map 任务实体:
Ruby
{
"jobName":"memeber_pull_task",//任务别名
"beanName":"circlePeopleJob",//任务触发bean
"cron":"0 /1 * * * ? *",//执行表达式
"jobParam":""//入参
}
  1. 积分异步扣减txt文件格式 卡号:扣减积分数:唯一ID(不用写入,契约)
Makefile
10742100282767458:1000:1234567890983
10742100282767459:2000:1234567890983
10742100282767457:3000:1234567890983
  1. 积分Redis数据结构
CSS
+ 积分人群状态:key: integral_crow_status_1000(活动ID) value:待处理/处理成功(不设置超时时间)
+ 积分人群推送文件:key:integral_crow_url_1000(活动ID) value:cos链接(不设置超时时间)
  1. 人群—发券结果条件(积分清除结果)映射关系
Markdown
+ 会员人群:
    + 已处理:发券结果(0、1、2、3、4、5、6)
+ 会员人群:发券结果(0、1、2、3、4、5、6)
    + 待处理:发券结果(0)
    + 有用户ID:发券结果(1、3、4、5、6)
    + 无用户ID:发券结果(2)
+ 会员积分人群:发券结果(1、3、4、5、6)
    + 待处理:发券结果(1)
    + 积分大于0:发券结果(3、5、6)
    + 积分小于等于0:发券结果(4)
+ 已发放优惠券人群:发券结果(3、5、6)
    + 待处理:发券结果(3)
    + 发券成功:发券结果(5)
    + 发券失败:发券结果(6)

八、注意点 为了提升处理性能,注意所有任务的多线程自举调用接口时,都采用多线程future机制

读完了,这篇对你有用吗?

一个赞就是继续写的理由,或者把问题写在下面的评论区,我基本都会回。

继续读别的

讨论

说点什么
0 / 1000