Spring Boot集成 Sharding

Stella981
• 阅读 663

Spring Boot集成 Sharding

一、 Sharding-jdbc简介

Sharding-jdbc是开源的数据库操作中间件;定位为轻量级Java框架,在Java的JDBC层提供的额外服务。它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。

官方文档地址:

https://shardingsphere.apache.org/document/current/cn/overview/

本文demo实现了分库分表功能。

作者能力有限,如有错误,欢迎各位在评论中指出。不胜感激!

二、项目结构

首先创建一个一般的Spring boot项目,项目采用三层架构,结构图如下:

Spring Boot集成 Sharding

POM.xml文件如下:

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <parent>        <groupId>org.springframework.boot</groupId>        <artifactId>spring-boot-starter-parent</artifactId>        <version>2.1.6.RELEASE</version>        <relativePath/> <!-- lookup parent from repository -->    </parent>    <groupId>com.macky</groupId>    <artifactId>spring-boot-shardingjdbc</artifactId>    <version>0.0.1-SNAPSHOT</version>    <name>spring-boot-shardingjdbc</name>    <description>Demo project for spring-boot-shardingjdbc</description>    <properties>        <java.version>1.8</java.version>    </properties>    <dependencies>        <dependency>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-web</artifactId>        </dependency>        <dependency>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-test</artifactId>            <scope>test</scope>        </dependency>        <!--mysql-->        <dependency>            <groupId>mysql</groupId>            <artifactId>mysql-connector-java</artifactId>            <scope>runtime</scope>        </dependency>        <!--Mybatis-Plus-->        <dependency>            <groupId>com.baomidou</groupId>            <artifactId>mybatis-plus-boot-starter</artifactId>            <version>3.1.1</version>        </dependency>        <!--shardingsphere start-->        <!-- for spring boot -->        <dependency>            <groupId>io.shardingsphere</groupId>            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>            <version>3.1.0</version>        </dependency>        <!-- for spring namespace -->        <dependency>            <groupId>io.shardingsphere</groupId>            <artifactId>sharding-jdbc-spring-namespace</artifactId>            <version>3.1.0</version>        </dependency>        <!--shardingsphere end-->        <!--lombok-->        <dependency>            <groupId>org.projectlombok</groupId>            <artifactId>lombok</artifactId>        </dependency>    </dependencies>    <build>        <plugins>            <plugin>                <groupId>org.springframework.boot</groupId>                <artifactId>spring-boot-maven-plugin</artifactId>            </plugin>        </plugins>    </build></project>

实体类以书本为例

package com.macky.springbootshardingjdbc.entity;import com.baomidou.mybatisplus.annotation.TableName;import com.baomidou.mybatisplus.extension.activerecord.Model;import groovy.transform.EqualsAndHashCode;import lombok.Data;import lombok.experimental.Accessors;/** * @author Macky * @Title class Book * @Description: 书籍是实体类 */@Data@EqualsAndHashCode(callSuper = true)@Accessors(chain = true)@TableName("book")public class Book extends Model<Book> {    private int id;    private String name;    private int count;}

开放保存和查询两个接口,代码如下:

package com.macky.springbootshardingjdbc.controller;import com.macky.springbootshardingjdbc.entity.Book;import com.macky.springbootshardingjdbc.service.BookService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.*;import java.util.List;/** * @author Macky * @Title class BookController * @Description: TODO */@RestControllerpublic class BookController {    @Autowired    BookService bookService;    @RequestMapping(value = "/book", method = RequestMethod.GET)    public List<Book> getItems(){        return bookService.getBookList();    }    @RequestMapping(value = "/book",method = RequestMethod.POST)    public Boolean saveItem(Book book){        return bookService.save(book);    }}

BookServiceImpl.java

package com.macky.springbootshardingjdbc.service.impl;import com.baomidou.mybatisplus.core.toolkit.Wrappers;import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;import com.macky.springbootshardingjdbc.entity.Book;import com.macky.springbootshardingjdbc.mapper.BookMapper;import com.macky.springbootshardingjdbc.service.BookService;import org.springframework.stereotype.Service;import java.util.List;/** * @author Macky * @Title class BookServiceImpl * @Description: TODO * @date 2019/7/12 20:47 */@Servicepublic class BookServiceImpl extends ServiceImpl<BookMapper, Book> implements BookService {    @Override    public List<Book> getBookList() {        return baseMapper.selectList(Wrappers.<Book>lambdaQuery());    }    @Override    public boolean save(Book book) {        return super.save(book);    }}

BookMapper.java

package com.macky.springbootshardingjdbc.mapper;import com.baomidou.mybatisplus.core.mapper.BaseMapper;import com.macky.springbootshardingjdbc.entity.Book;/** * @author Macky * @Title class BookMapper * @Description: TODO * @date 2019/7/12 20:46 */public interface BookMapper extends BaseMapper<Book> {}

创建数据库表,DDL语句如下

#创建数据库表数据CREATE DATABASE IF NOT EXISTS `db0`;USE `db0`;DROP TABLE IF EXISTS `book_0`;CREATE TABLE `book_0` (    `id` INT ( 11 ) NOT NULL,    `name` VARCHAR ( 255 ) DEFAULT NULL,    `count` INT ( 11 ) DEFAULT NULL,    PRIMARY KEY ( `id` ) ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;DROP TABLE IF EXISTS `book_1`;CREATE TABLE `book_1` (    `id` INT ( 11 ) NOT NULL,    `name` VARCHAR ( 255 ) DEFAULT NULL,    `count` INT ( 11 ) DEFAULT NULL,    PRIMARY KEY ( `id` ) ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;CREATE DATABASE IF NOT EXISTS `db1`;USE `db1`;DROP TABLE IF EXISTS `book_0`;CREATE TABLE `book_0` (    `id` INT ( 11 ) NOT NULL,    `name` VARCHAR ( 255 ) DEFAULT NULL,    `count` INT ( 11 ) DEFAULT NULL,    PRIMARY KEY ( `id` ) ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;DROP TABLE IF EXISTS `book_1`;CREATE TABLE `book_1` (    `id` INT ( 11 ) NOT NULL,    `name` VARCHAR ( 255 ) DEFAULT NULL,    `count` INT ( 11 ) DEFAULT NULL,    PRIMARY KEY ( `id` ) ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;CREATE DATABASE IF NOT EXISTS `db2`;USE `db2`;DROP TABLE IF EXISTS `book_0`;CREATE TABLE `book_0` (    `id` INT ( 11 ) NOT NULL,    `name` VARCHAR ( 255 ) DEFAULT NULL,    `count` INT ( 11 ) DEFAULT NULL,    PRIMARY KEY ( `id` ) ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;DROP TABLE IF EXISTS `book_1`;CREATE TABLE `book_1` (    `id` INT ( 11 ) NOT NULL,    `name` VARCHAR ( 255 ) DEFAULT NULL,    `count` INT ( 11 ) DEFAULT NULL,    PRIMARY KEY ( `id` ) ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;

配置分库分表策略application.properties:

# 数据源 db0,db1,db2sharding.jdbc.datasource.names=db0,db1,db2# 第一个数据库sharding.jdbc.datasource.db0.type=com.zaxxer.hikari.HikariDataSourcesharding.jdbc.datasource.db0.driver-class-name=com.mysql.cj.jdbc.Driversharding.jdbc.datasource.db0.jdbc-url=jdbc:mysql://localhost:3306/db0?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTCsharding.jdbc.datasource.db0.username=rootsharding.jdbc.datasource.db0.password=Aa123456# 第二个数据库sharding.jdbc.datasource.db1.type=com.zaxxer.hikari.HikariDataSourcesharding.jdbc.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driversharding.jdbc.datasource.db1.jdbc-url=jdbc:mysql://localhost:3306/db1?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTCsharding.jdbc.datasource.db1.username=rootsharding.jdbc.datasource.db1.password=Aa123456# 第三个数据库sharding.jdbc.datasource.db2.type=com.zaxxer.hikari.HikariDataSourcesharding.jdbc.datasource.db2.driver-class-name=com.mysql.cj.jdbc.Driversharding.jdbc.datasource.db2.jdbc-url=jdbc:mysql://localhost:3306/db2?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTCsharding.jdbc.datasource.db2.username=rootsharding.jdbc.datasource.db2.password=Aa123456# 水平拆分的数据库(表) 配置分库 + 分表策略 行表达式分片策略# 分库策略sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=idsharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=db$->{id % 3}# 分表策略 其中book为逻辑表 分表主要取决于id行sharding.jdbc.config.sharding.tables.book.actual-data-nodes=db$->{0..2}.book_$->{0..1}sharding.jdbc.config.sharding.tables.book.table-strategy.inline.sharding-column=count# 分片算法表达式sharding.jdbc.config.sharding.tables.book.table-strategy.inline.algorithm-expression=book_$->{count % 2}# 主键 UUID 18位数 如果是分布式还要进行一个设置 防止主键重复#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id# 打印执行的数据库以及语句sharding.jdbc.config.props..sql.show=truespring.main.allow-bean-definition-overriding=true#读写分离sharding.jdbc.datasource.dsmaster =

接口测试使用postman

示例:

GET请求------>http://localhost:8080/book
POST请求:------->http://localhost:8080/book?id=1&name=java编程思想&count=8

demo的github地址:

https://github.com/Macky-He/spring-boot–shardingsphere-examples

如各位觉得有帮助的话,还请给个star鼓励鼓励博主,谢谢!

三、总结

分库分表实现按照官方文档做一个demo是第一步,如需深入还需要研究源码,研究架构,研究思想;此文仅作为入门demo搭建指南,如需深入理解,还请移步至官方文档。

参考资料

1.官方文档:https://shardingsphere.apache.org/document/current/cn/manual/sharding-jdbc/usage/sharding/

作者:Macky_He

blog.csdn.net/Macky_He/article/details/95754402

往期精选

安全框架 Spring Security 如何实现 rememberMe 自动登录

IntelliJ IDEA 中集成 SonarLint 代码规范与质量检测插件

从零开始,开发一款属于自己的 IDEA 插件,要啥功能就做啥!

MySQL 表之间关联查询时,为什么建议小表驱动大表?

Redisson 是如何实现分布式锁的?

ElasticSearch 的基本概念和集群分布式底层实现

为什么阿里巴巴规定代码中禁用 static 修饰 SimpleDateFormat?

学会 IDEA REST Client 后,Postman就可以丢掉了...

Java 中回调机制,这篇文章解读的明明白白!

Java 程序员面试 10 大“潜规则”,千万不要踩坑!

实战派:一次消息队列 Kafka 卡顿事故排查过程记录!

Spring Boot集成 Sharding

点个赞,就知道你“在看”!

本文分享自微信公众号 - Java精选(w_z90110)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这