百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

什么是连接池?如何实现一个Java连接池?

yuyutoo 2024-12-27 17:38 2 浏览 0 评论

什么是连接池?

结构

连接池对外提供接口:

  • 获得连接
  • 归还连接

并暴露客户端可配置的参数:

  • 最小空闲连接数
  • 最大连接数

在内部则实现功能:

  • 连接建立
  • 连接心跳保持
  • 连接管理
  • 空闲连接回收
  • 连接可用性检测
  • 连接池结构示意图

业务中经常也会用到各种连接池:

  • 数据库连接池
  • Redis连接池
  • HTTP连接池

客户端SDK是否基于连接池

在使用三方客户端进行网络通信时,首要确定客户端SDK是否是基于连接池技术实现的。

若客户端SDK没有使用连接池,而直接是TCP连接,就需要考虑每次建立TCP连接的开销,因为TCP基于字节流,若在多线程下对同一连接操作,就有线程安全隐患。

TCP连接的客户端SDK,对外提供API的方式

连接池和连接分离的API

有一个XXXPool类负责连接池实现:

  • 先从其获得连接XXXConnection
  • 再用所获连接请求服务端
  • 完成后归还连接

XXXPool必须是线程安全的,可并发获取和归还连接,而XXXConnection是非线程安全的。 对应到连接池结构示意图,XXXPool就是右边连接池那个框,左边客户端是我们自己的代码。

内部带有连接池的API

对外提供一个XXXClient类,通过该类可直接请求服务端。该类内部维护了连接池,SDK使用者无需考虑连接的获取和归还问题。 XXXClient是线程安全的。对应到连接池结构示意图中,整个API就是蓝框。

非连接池的API

一般命名为XXXConnection,以区分其是基于连接池or单连接,而不建议命名为XXXClient。直接连接方式的API基于单一连接,每次使用都需要创建和断开连接,性能一般,且通常不是线程安全的。对应到连接池的结构示意图中,这种形式相当于没有右边连接池那个框,客户端直接连接服务端创建连接。

不排除有一些客户端特立独行,因此在使用三方SDK时,一定要

  • 查看官方文档了解其最佳实践
  • Stackoverflow搜索XXX threadsafe/singleton
  • 看源码,直到定位到原始Socket来判断Socket和客户端API的对应关系

使用SDK的最佳实践

分离方式

连接池本身一般是线程安全的,可复用。每次使用需要从连接池获取连接,使用后归还,归还的工作由使用者负责。

内置连接池

大多数中间件、数据库的客户端SDK都会支持连接池,SDK负责连接的获取和归还,使用的时候直接复用客户端。

SDK没有实现连接池

那通常不是线程安全的,而且短连接的方式性能不会很高,使用的时候需要考虑是否自己封装一个连接池。

下面看Jedis类到底属于哪种类型的API,直接在多线程环境下复用一个连接会产生什么问题,以及如何用最佳实践来修复这个问题。

首先,向Redis初始化2组数据,Key=a、Value=1,Key=b、Value=2:

@PostConstruct
public void init() {
    try (Jedis jedis = new Jedis("127.0.0.1", 6379)) {
        Assert.isTrue("OK".equals(jedis.set("a", "1")), "set a = 1 return OK");
        Assert.isTrue("OK".equals(jedis.set("b", "2")), "set b = 2 return OK");
    }
}
复制代码

然后,启动两个线程,共享操作同一个Jedis实例,每一个线程循环1000次,分别读取Key为a和b的Value,判断是否分别为1和2:

Jedis jedis = new Jedis("127.0.0.1", 6379);
new Thread(() -> {
    for (int i = 0; i < 1000; i++) {
        String result = jedis.get("a");
        if (!result.equals("1")) {
            log.warn("Expect a to be 1 but found {}", result);
            return;
        }
    }
}).start();
new Thread(() -> {
    for (int i = 0; i < 1000; i++) {
        String result = jedis.get("b");
        if (!result.equals("2")) {
            log.warn("Expect b to be 2 but found {}", result);
            return;
        }
    }
}).start();
TimeUnit.SECONDS.sleep(5);

执行程序多次,可以看到日志中出现了各种奇怪的异常信息,有的是读取Key为b的Value读取到了1,有的是流非正常结束,还有的是连接关闭异常:

//错误1
[14:56:19.069] [Thread-28] [WARN ] [.t.c.c.redis.JedisMisreuseController:45  ] - Expect b to be 2 but found 1
//错误2
redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream.
	at redis.clients.jedis.util.RedisInputStream.ensureFill(RedisInputStream.java:202)
	at redis.clients.jedis.util.RedisInputStream.readLine(RedisInputStream.java:50)
	at redis.clients.jedis.Protocol.processError(Protocol.java:114)
	at redis.clients.jedis.Protocol.process(Protocol.java:166)
	at redis.clients.jedis.Protocol.read(Protocol.java:220)
	at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:318)
	at redis.clients.jedis.Connection.getBinaryBulkReply(Connection.java:255)
	at redis.clients.jedis.Connection.getBulkReply(Connection.java:245)
	at redis.clients.jedis.Jedis.get(Jedis.java:181)
	at org.geekbang.time.commonmistakes.connectionpool.redis.JedisMisreuseController.lambda$wrong$1(JedisMisreuseController.java:43)
	at java.lang.Thread.run(Thread.java:748)
//错误3
java.io.IOException: Socket Closed
	at java.net.AbstractPlainSocketImpl.getOutputStream(AbstractPlainSocketImpl.java:440)
	at java.net.Socket$3.run(Socket.java:954)
	at java.net.Socket$3.run(Socket.java:952)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.Socket.getOutputStream(Socket.java:951)
	at redis.clients.jedis.Connection.connect(Connection.java:200)
	... 7 more

让我们分析一下Jedis类的源码,搞清楚其中缘由吧。

BinaryClient封装了各种Redis命令

都是调用其父类Connection方法,使用Protocol类发送命令

Protocol类的sendCommand方法

发送命令时是直接操作RedisOutputStream写字节。

在多线程环境下复用Jedis对象,其实就是在复用RedisOutputStream。如果多个线程在执行操作,那么既无法确保整条命令以一个原子操作写入Socket,也无法确保写入后、读取前没有其他数据写到远端。 这就能解释了为何多线程下使用Jedis对象操作Redis会出现各种问题:

  • 写操作互相干扰,多条命令交织,必然是非法的Redis命令,则Redis会关闭客户端连接,导致连接断开
  • 线程1和2先后写入get a和get b请求,Redis也返回了值1和2,但是线程2先读取了数据1就会出现数据错乱的问题。

那么如何修复呢? 使用Jedis提供的线程安全的类JedisPool来获得Jedis的实例。JedisPool作为连接池,可以声明为static 被多线程共享。注意使用try-with-resources模式。 这样使用后代码不再有线程安全问题。最好再通过shutdownhook,在程序退出之前关闭JedisPool:

@PostConstruct
public void init() {
    Runtime.getRuntime().addShutdownHook(new Thread(() -> {
        jedisPool.close();
    }));
}

Jedis#close

若Jedis是从连接池获取的话,则close方法会调用连接池的return方法归还连接:

如果不是,则直接关闭连接,其最终调用Connection类的disconnect方法来关闭TCP连接:

可见Jedis可独立使用,也可配合连接池(JedisPool)

JedisPool

  • JedisPool继承JedisPoolAbstract又继承抽象类Pool,Pool内部持有Apache Common的GenericObjectPool。

所以JedisPool的连接池其实就是直接复用的GenericObjectPool,并没有自己实现一套池子。

综上,Jedis API属于连接池和连接分离的API,JedisPool是线程安全的连接池,Jedis是非线程安全的单一连接。

作者:JavaEdge
原文链接:https://juejin.cn/post/6941292700456976398

相关推荐

牛逼哄哄的数据库连接池,底层原理是个啥?

作者:敦格来源:https://blog.csdn.net/shuaihj/article/details/14223015这次我们采取技术演进的方式来谈谈数据库连接池的技术出现过程及其原理,以及当下...

如何实现一个连接池?一文带你深入浅出,彻底搞懂

-前言-【2w1h】是技术领域中一种非常有效的思考和学习方式,即What、Why和How;坚持【2w1h】,可以快速提升我们的深度思考能力。今天我们通过【2w1h】方式来讨论“连接池”:什么是连接...

什么是连接池?如何实现一个Java连接池?

什么是连接池?结构连接池对外提供接口:获得连接归还连接并暴露客户端可配置的参数:...

什么是数据库连接池? 什么是数据库连接池?如何使用

在JDBC编程中,每次创建和断开Connection对象都会消耗一定的时间和IO资源。这是因为在Java程序与数据库之间建立连接时,数据库端要验证用户名和密码,并且要为这个连接分配资源,Java程序则...

男生怎么插入对方话题,分享这2点,可以快速搭讪

在日常生活中,男生怎么插入对方的话题呢?来分享一下几个小妙招,让男生快速搭讪。1、同女性聊天.普通的女性可以先有礼貌的打招呼,询问对方聊天内容,对方的话题适不适合自己发表观点,如果不适合可以等着对方说...

PDF文件如何插入、删除、替换、旋转页面

Hello,各位小伙伴们大家好,我是爱学习的小助手。...

SQL——INSERT:插入数据 sqlinsert怎么插入

INSERT语句用于向数据库表中插入数据。1、插入一条数据insert into adm_user(login_name,password,name,mobile_no)&...

近乎变态的USB发展史,命名混乱到了极致,一篇文章让你读懂

USB3.0经历过多次改名,到最后没有任何规律!特别是USB3.0居然“升格”到USB3.2,搞得人头大!同1个蓝色USB口好像说3.0/3.1/3.2的都有,究竟谁对?今天为大家缕一缕。点赞收藏!【...

女大学生把30厘米“兔兔管”插入体内:上瘾性行为,害了多少人?

轻触关注,打开知识的大门,我在这里将与您共享更多精彩内容!女大学生小玲身高160厘米,体重却高达170斤。她曾尝试过节许多减肥方法,但无一例外均以失败告终。...

大年初二铁棍插入10岁女童脑内,上海值班医生手术取出

澎湃新闻记者陈斯斯来自浙江嘉兴的10岁女童逛商场遭遇意外,一根铁棍插入其脑内,随后被120急救车急送上海交大医学院附属新华医院(简称上海新华医院)实施急诊手术。2月3日,澎湃新闻(www.thep...

插入语和状语的区别 where引导的定语从句和状语从句的区别

1.插入语是在一个句子中插入一个成分,它不是句子的成分,而是表示说话人的态度或进行解释补充说明等。...

用户数据之存量——DAU/MAU 用户数据到底是什么

编辑导语:数据分析是设计师了解用户行为的一个重要手段。本文作者分享了不同指标的核心含义,从用户数据的存量、Active活跃度、User用户展开分析,一起来学习一下吧,希望对你有帮助。随着设计师对产品设...

键盘上这些被厂商抠掉的功能键,到底有多没用?

最近呢,办公室流行起了客制化键盘这个东西,简单来讲就是可以根据自己的需求和喜好来定制独一无二的键盘。...

如何制作Windows系统安装U盘 最简单的方法 有手就行

前段时间一位朋友问我,能不能给他安装系统,他随后补了一句:给你钱。其实安装Windows系统是一件非常简单的事情,所以我想着,不如告诉大家最简单的操作方法,让大家能够省一笔安装系统的钱。该教程会分为两...

大模型给你的答案,也要插入广告了?

英伟达创始人CEO黄仁勋曾在被问到他是否使用ChatGPT或Bard时,他回答称,“我一般用Perplexity,而且几乎每天都在用。”Perplexity旨在用AI技术打造一个没有广告的“谷歌搜索...

取消回复欢迎 发表评论: