技术标签: 应用解耦 削峰填谷 消息中间件 流量控制 百图解码支付系统设计与实现 分布式
这是《百图解码支付系统设计与实现》专栏系列文章中的第(18)篇,也是流量控制系列的第(4)篇。点击上方关注,深入了解支付系统的方方面面。
本篇重点讲清楚分布式消息中间件的特点,常见消息中间件的简单对比,在支付系统的应用场景,比如削峰填谷,系统应用间的解耦,事务消息等。
内容偏入门介绍,已经使用过消息中间件的同学可以不用往下看了。
在流量控制系列文章中的前四篇,分别介绍了固定时间窗口算法、滑动时间窗口算法、漏桶原理、令牌桶原理,应用场景和java版本的核心代码。
我们做个简单回顾:
固定窗口:算法简单,对突然流量响应不够灵活。超过流量的会直接拒绝,通常用于限流。
滑动窗口: 算法简单,对突然流量响应比固定窗口灵活。超过流量的会直接拒绝,通常用于限流。
漏桶算法:在固定窗口的基础之上,使用队列缓冲流量。提供了稳定的流量输出,适用于对流量平滑性有严格要求的场景。
令牌桶算法:在滑动窗口的基础之上,使用队列缓冲流量。提供了稳定的流量输出,且能应对突发流量。
今天讲的分布式消息中间件在支付场景的削峰填谷用得比较多,且对精度没有那么苛刻的场景,比如集群低到1TPS,就无法做到。
削峰:在流量高峰期,通过消息中间件暂存大量的请求,减少对后端系统的直接压力。
填谷:在低峰期,逐渐处理这些积累的请求。
这种方法能有效平衡系统负载,防止在高峰时段系统崩溃。
我们一般使用消息中间件实现削峰填谷。下面是一个支付引擎自产生消的示例图。收到支付请求后,先扔到消息中间件,然后启用新的监听线程去消费。通过控制消费线程数来控制流量。
比如一下来了1000个请求,一共10台机器,每台机器消费线程只开5个,每个请求处理500ms,那么每秒就处理100个请求,共耗时10秒处理完。
消息中间件还有一个作用,就是应用间的解耦。比如支付成功后,渠道网关通过消息中间件返回给支付引擎。
消息中间件有很多,这里简单对比 RocketMQ、RabbitMQ 和 Kafka在性能、可靠性、易用性、功能特性、适用场景等方面的不同。如下:
性能
可靠性
易用性和管理
功能特性
适用场景
结论
另外,我也只是简单介绍,大家实际应用的时候,根据实际情况去选型,建议是做多方了解后,部署验证后才规模使用。不过话说回来,这几款分布式消息中间件的技术非常成熟了,除了几个顶流的互联网公司外,基本可以随便用,哪个手熟就使用哪个。
脑裂问题
曾经在生产环境碰到过RabbitMQ脑裂问题,交易全部中断。在分布式环境中完全避免也不现实,建议加强监控。
消费线程数问题
消费线程要合理设置,太多,可能达不到削峰填谷的效果,太少,消息有可能会积累,影响处理时效。
比如支付是有时效,积压太久就会导致用户放弃支付。
消息积压应对
提前做好预估,以及监控。一旦把中间件压爆,可能整个交易系统。
持久化与恢复
防止系统崩溃导致的数据丢失。
事务消息
在需要保证数据一致性的场景中,合理使用事务消息。
消息确认与重试
合理设置消息确认机制和重试策略。如果本次无法处理,一定再抛回去。建议不要先确认再处理,万一确认后,本机又无法处理,消息就丢失了。
消息中间件在支付系统中核心有几个核心应用场景:
基本上,消息中间件在支付系统中无所不在。
先声明,以下代码纯演示,生产环境需要考虑更多因素。
比如支付场景下,接收请求后,先放到队列,然后使用单独的消费线程去消费。以下是简单示例。
1. 添加依赖
首先,你需要在项目的 pom.xml 文件中添加 RocketMQ 的依赖:
<dependencies>
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-client</artifactId>
<version>5.1.4</version>
</dependency>
</dependencies>
确保使用最新版本的依赖。
2. 创建生产者 (Producer)
创建一个生产者以发送消息到 RocketMQ 服务器:
public class PayServiceImpl implements PayService {
@Autowired
private MQProducer mqProducer;
public PayOrder pay(PayRequest request) {
PayOrder payOrder = buildPayOrder(request);
// 前置处理,比如校验、保存DB等
... ...
// 发送到队列
Message msg = buildMessage(payOrder);
mqProducer.send(msg);
// 前置处理
... ...
return payOrder;
}
public boolean processPay(PayOrder payOrder) {
// 外发处理
... ...
}
}
3. 创建消费者 (Consumer)
创建一个消费者来接收从 RocketMQ 发送的消息:
public class PayConsumerServiceImpl implements PayConsumerService {
@Autowired
private MQConsumer mqConsumer;
@Autowired
private PayService payService;
@Postconstruct
public void init() {
mqConsumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
payService.processPay(buildPayOrder(msg);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
}
}
再次声明,上述代码纯演示,在生产环境中,需要考虑更复杂的场景和错误处理机制。
通过使用分布式消息中间件进行并发流量控制,支付系统可以更有效地应对高并发场景。能很好地提高系统整体的稳定性和可靠性,毕竟瞬间的大流量被缓冲到了消息中间件里。
但有些场景无法使用消息中间件,比如要求整个集群低到1TPS,又或者对接了外部上百个渠道,每个渠道要求不一样,有些要求最高20TPS,有些最高100TPS,使用消息中间件不好实现,就需要前面文章介绍的手撸一个漏桶或令牌桶。
下一篇聊聊阿里开源的流量控制与熔断利器:Sentinel。
专栏地址:百图解码支付系统设计与实现
《百图解码支付系统设计与实现》专栏介绍
《百图解码支付系统设计与实现》专栏大纲及文章链接汇总(进度更新于2023.1.15)
领域相关(部分):
支付行业黑话:支付系统必知术语一网打尽
跟着图走,学支付:在线支付系统设计的图解教程
图解收单平台:打造商户收款的高效之道
图解结算平台:准确高效给商户结款
图解收银台:支付系统承上启下的关键应用
图解支付引擎:资产流动的枢纽
图解渠道网关:不只是对接渠道的接口(一)
技术专题(部分):
交易流水号的艺术:掌握支付系统的业务ID生成指南
揭密支付安全:为什么你的交易无法被篡改
金融密语:揭秘支付系统的加解密艺术
支付系统日志设计完全指南:构建高效监控和问题排查体系的关键基石
避免重复扣款:分布式支付系统的幂等性原理与实践
支付系统的心脏:简洁而精妙的状态机设计与核心代码实现
精确掌控并发:固定时间窗口算法在分布式环境下并发流量控制的设计与实现
精确掌控并发:滑动时间窗口算法在分布式环境下并发流量控制的设计与实现
文章浏览阅读6.7k次。一、Mysql启用SSL配置1.检查mysql是否支持ssl在linux端用root账号进入mysql命令行界面,查看当前版本mysql数据库是否支持ssl,如果出现以下结果表示支持,如果没有考虑更换版本,或者编译一个带有SSL版本的mysqlshell>show variables like ‘%ssl%’;2.设置用户是否使用ssl连接1.查看用户是否使用SSL连接she..._jdbc mysql ssl
文章浏览阅读612次。java jwt使用,springboot 整合java-jwt,java jwt工具类================================Copyright 蕃薯耀2020-12-03https://www.cnblogs.com/fanshuyao/一、引入java-jwt的maven依赖<dependency> <groupId>..._jwtproperties
文章浏览阅读753次,点赞21次,收藏15次。列出现有主题,创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。启动成功,可以看到控制台输出的最后一行的started状态:此时kafka安装成功。查看zookeeper状态,zookeeper启动成功,再启动kafka。onsole-producer.sh用于生产消息**开启消费者和生产者,生产并消费消息。开启消费者和生产者,生产并消费消息。在Zookeeper中的根节点路径。创建主题,该主题包含多个分区。的地址,此处使用本地启动的。查看指定主题的详细信息。
文章浏览阅读695次。6-7 在一个数组中实现两个堆栈(20 分)本题要求在一个数组中实现两个堆栈。函数接口定义:Stack CreateStack( int MaxSize );bool Push( Stack S, ElementType X, int Tag );ElementType Pop( Stack S, int Tag );其中Tag是堆栈编号,取1或2;Max_pta数据结构6-7
文章浏览阅读123次。概述 您可能有大量应用程序产生的JSON数据,您可能需要对这些JSON数据进行整理,去除不想要的字段,或者只保留想要的字段,或者仅仅是进行数据查询。 那么,利用阿里云Data Lake Analytics或许是目前能找到的云上最为便捷的达到这一目标的服务了。仅仅需要3步,就可以完成对海量..._什么云服务可以直接存储json数据
文章浏览阅读413次。diff 算法 虚拟dom 理论_react diff 面试题
文章浏览阅读9.6k次,点赞11次,收藏89次。鼠标滚轮实现图像放大缩小的主要思想:通过wheelEvent来获得鼠标滚轮的angleDelta,即滚轮转角。然后通过数据类型转换,将读取的值转换成整型数值叠加到图像的尺寸长和宽上,从而实现图像的放大和缩小。注意:滚轮向上滑转角为正,所以图像放大。滚轮向下滑转角为负,所以图像缩小。下边直接上代码,头文件中只需要加上使用鼠标滚轮的声明函数就行:void wheelEvent(QWheelEve..._qt滚轮放大缩小
文章浏览阅读7.9w次,点赞53次,收藏235次。若该文为原创文章,未经允许不得转载原博主博客地址:https://blog.csdn.net/qq21497936本文章博客地址:https://blog.csdn.net/qq21497936/article/details/94585803目录前话相关博客QGLWidget概述QGLWidget子类示例更新绘制覆盖层绘制技术线程方案一:在线程中进..._qt 用qopenglwidget生成release版,依赖什么库
文章浏览阅读5.3k次。C 语言的浮点数类型_c语言float和double保留小数点后几位
文章浏览阅读3k次,点赞4次,收藏2次。gradle 打包时报以下错误:二、解决方法在 build.gradle 文件中找到 http://mirrors.huaweicloud.com/repository/maven/ 所在的位置,增加 allowInsecureProtocol = true 一行:_gradle using insecure protocols with repositories, without explicit opt-in,
文章浏览阅读7.3k次。微信群,请扫描二维码加入 本人在北京,主场北京,位置不限, 仅限java行业交流,C C##以及python请另外加群,谢谢欢迎准 java行业的进入,杜绝假冒程序员加入,精兵简政群内与java无关私事请私聊,任何java的问题,欢迎讨论——————————————————————————————————如若二维码失效,请加微信拉群..._java开发接单群
文章浏览阅读3.7k次,点赞2次,收藏43次。一、数据库系统概述数据库的四个基本概念:数据、数据库、数据库管理系统、数据库系统:1、数据:描述事物的符号记录称为数据。 (1)、数据是数据库中存储的基本对象。 (2)、数据是分类型的。 (3)、数据的含义称为数据的语义,数据与其语义是不可分的。 2、数据库:数据库是长期储存在计算机内、有组织的、可共享的大量数..._系统的数据管理逻辑