Spring Boot工程集成全局唯一ID生成器 UidGenerator

Stella981
• 阅读 541

Spring Boot工程集成全局唯一ID生成器 UidGenerator

本文共 823字,阅读大约需要 3分钟 !


概述

流水号生成器(全局唯一 ID生成器)是服务化系统的基础设施,其在保障系统的正确运行和高可用方面发挥着重要作用。而关于流水号生成算法首屈一指的当属 Snowflake雪花算法,然而 Snowflake本身很难在现实项目中直接使用,因此实际应用时需要一种可落地的方案。

UidGenerator 由百度开发,是Java实现的, 基于 Snowflake算法的唯一ID生成器。UidGenerator以组件形式工作在应用项目中, 支持自定义workerId位数和初始化策略, 从而适用于 docker等虚拟化环境下实例自动重启、漂移等场景。

本文就在项目中来集成 UidGenerator这一工程来作为项目的全局唯一 ID生成器。

注: 本文首发于 My Personal Blog,欢迎光临 小站

本文内容脑图如下:

Spring Boot工程集成全局唯一ID生成器 UidGenerator


基础工程创建

只需创建一个 Multi-Moudule的 Maven项目即可,然后我们集成进两个 Module:

  • uid-generator源码在此
  • uid-consumer:消费者( 使用uid-generator产生全局唯一的流水号 )

uid-generator模块我就不多说了,源码拿过来即可,无需任何改动;而关于 uid-consumer模块,先在 pom.xml中添加相关依赖如下:

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>1.3.2</version>
        </dependency>

        <!--for Mysql-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
            <version>8.0.12</version>
        </dependency>

        <!-- druid -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.9</version>
        </dependency>

        <!--必须放在最后-->
        <dependency>
            <groupId>cn.codesheep</groupId>
            <artifactId>uid-generator</artifactId>
            <version>1.0</version>
        </dependency>

    </dependencies>

然后在 application.properties配置文件中添加一些配置(主要是 MySQL和 MyBatis配置)

server.port=9999

spring.datasource.url=jdbc:mysql://xxx.xxx.xxx.xxx:3306/xxx?useUnicode=true&characterEncoding=utf-8&useSSL=false
spring.datasource.username=root
spring.datasource.password=xxx
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

mybatis.mapper-locations=classpath:mapper/*.xml
mybatis.configuration.map-underscore-to-camel-case=true

完成之后工程缩影如下图所示:

Spring Boot工程集成全局唯一ID生成器 UidGenerator

下面我们来一步步集成 UidGenerator的源码。


数据库建表

首先去 MySQL数据库中建一个名为 WORKER_NODE的数据表,其 sql如下:

DROP TABLE IF EXISTS WORKER_NODE;
CREATE TABLE WORKER_NODE
(
ID BIGINT NOT NULL AUTO_INCREMENT COMMENT 'auto increment id',
HOST_NAME VARCHAR(64) NOT NULL COMMENT 'host name',
PORT VARCHAR(64) NOT NULL COMMENT 'port',
TYPE INT NOT NULL COMMENT 'node type: ACTUAL or CONTAINER',
LAUNCH_DATE DATE NOT NULL COMMENT 'launch date',
MODIFIED TIMESTAMP NOT NULL COMMENT 'modified time',
CREATED TIMESTAMP NOT NULL COMMENT 'created time',
PRIMARY KEY(ID)
)
 COMMENT='DB WorkerID Assigner for UID Generator',ENGINE = INNODB;

Spring详细配置

  • CachedUidGenerator 配置

UidGenerator 有两个具体的实现类,分别是 DefaultUidGeneratorCachedUidGenerator,不过官方也推荐了对于性能比较敏感的项目应使用后者,因此本文也使用 CachedUidGenerator,而对于 DefaultUidGenerator不做过多阐述。

我们引入 UidGenerator源码中的 cached-uid-spring.xml文件,里面都是默认配置,我目前没有做任何修改

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd">

    <!-- UID generator -->
    <bean id="disposableWorkerIdAssigner" class="com.baidu.fsg.uid.worker.DisposableWorkerIdAssigner" />

    <bean id="cachedUidGenerator" class="com.baidu.fsg.uid.impl.CachedUidGenerator">
        <property name="workerIdAssigner" ref="disposableWorkerIdAssigner" />

        <!-- 以下为可选配置, 如未指定将采用默认值 -->
        <!-- RingBuffer size扩容参数, 可提高UID生成的吞吐量. --> 
        <!-- 默认:3, 原bufferSize=8192, 扩容后bufferSize= 8192 << 3 = 65536 -->
        <!--<property name="boostPower" value="3"></property>--> 
        
        <!-- 指定何时向RingBuffer中填充UID, 取值为百分比(0, 100), 默认为50 -->
        <!-- 举例: bufferSize=1024, paddingFactor=50 -> threshold=1024 * 50 / 100 = 512. -->
        <!-- 当环上可用UID数量 < 512时, 将自动对RingBuffer进行填充补全 -->
        <!--<property name="paddingFactor" value="50"></property>--> 
        
        <!-- 另外一种RingBuffer填充时机, 在Schedule线程中, 周期性检查填充 -->
        <!-- 默认:不配置此项, 即不实用Schedule线程. 如需使用, 请指定Schedule线程时间间隔, 单位:秒 -->
        <!--<property name="scheduleInterval" value="60"></property>--> 
        
        <!-- 拒绝策略: 当环已满, 无法继续填充时 -->
        <!-- 默认无需指定, 将丢弃Put操作, 仅日志记录. 如有特殊需求, 请实现RejectedPutBufferHandler接口(支持Lambda表达式) -->
        <!--<property name="rejectedPutBufferHandler" ref="XxxxYourPutRejectPolicy"></property>--> 
        
        <!-- 拒绝策略: 当环已空, 无法继续获取时 -->
        <!-- 默认无需指定, 将记录日志, 并抛出UidGenerateException异常. 如有特殊需求, 请实现RejectedTakeBufferHandler接口(支持Lambda表达式) -->
        <!--<property name="rejectedPutBufferHandler" ref="XxxxYourPutRejectPolicy"></property>--> 
        
    </bean>

</beans>
  • Mybatis Mapper XML 配置

即原样引入 UidGenerator源码中关于工作节点(Worker Node)操作的 mapper xml 文件:WORKER_NODE.xml,其内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.baidu.fsg.uid.worker.dao.WorkerNodeDAO">
    <resultMap id="workerNodeRes"
               type="com.baidu.fsg.uid.worker.entity.WorkerNodeEntity">
        <id column="ID" jdbcType="BIGINT" property="id" />
        <result column="HOST_NAME" jdbcType="VARCHAR" property="hostName" />
        <result column="PORT" jdbcType="VARCHAR" property="port" />
        <result column="TYPE" jdbcType="INTEGER" property="type" />
        <result column="LAUNCH_DATE" jdbcType="DATE" property="launchDate" />
        <result column="MODIFIED" jdbcType="TIMESTAMP" property="modified" />
        <result column="CREATED" jdbcType="TIMESTAMP" property="created" />
    </resultMap>

    <insert id="addWorkerNode" useGeneratedKeys="true" keyProperty="id"
        parameterType="com.baidu.fsg.uid.worker.entity.WorkerNodeEntity">
        INSERT INTO WORKER_NODE
        (HOST_NAME,
        PORT,
        TYPE,
        LAUNCH_DATE,
        MODIFIED,
        CREATED)
        VALUES (
        #{hostName},
        #{port},
        #{type},
        #{launchDate},
        NOW(),
        NOW())
    </insert>

    <select id="getWorkerNodeByHostPort" resultMap="workerNodeRes">
        SELECT
        ID,
        HOST_NAME,
        PORT,
        TYPE,
        LAUNCH_DATE,
        MODIFIED,
        CREATED
        FROM
        WORKER_NODE
        WHERE
        HOST_NAME = #{host} AND PORT = #{port}
    </select>
</mapper>

编写业务代码

  • config 类创建与配置

新建 UidConfig类,为我们引入上文的 cached-uid-spring.xml配置

@Configuration
@ImportResource(locations = { "classpath:uid/cached-uid-spring.xml" })
public class UidConfig {
}
  • service 类创建与配置

新建 UidGenService,引入 UidGenerator 生成 UID的业务接口

@Service
public class UidGenService {

    @Resource
    private UidGenerator uidGenerator;

    public long getUid() {
        return uidGenerator.getUID();
    }
}
  • controller 创建与配置

新建 UidTestController,目的是方便我们用浏览器测试接口并观察效果:

@RestController
public class UidTestController {

    @Autowired
    private UidGenService uidGenService;

    @GetMapping("/testuid")
    public String test() {
        return String.valueOf( uidGenService.getUid() );
    }
}

实验测试

我们每启动一次 Spring Boot工程,其即会自动去 MySQL数据的 WORKER_NODE表中插入一行关于工作节点的记录,类似下图所示:

Spring Boot工程集成全局唯一ID生成器 UidGenerator

接下来我们浏览器访问:http://localhost:9999/testuid

Spring Boot工程集成全局唯一ID生成器 UidGenerator

OK,全局唯一流水号ID已经成功生成并返回!


后记

由于能力有限,若有错误或者不当之处,还请大家批评指正,一起学习交流!



点赞
收藏
评论区
推荐文章
捉虫大师 捉虫大师
3年前
如何设计一款“高可用高性能”的发号器
本文已收录https://github.com/lkxiaolou/lkxiaolou欢迎star。背景在分布式场景中,很多地方需要生成全局唯一的id,如数据库分库分表后需要用唯一id代替单机版本的自增id。发号器的基本要求是全局唯一,无论如何都不能重复某些场景下还要求单调递增,如排序需求等。网上有很多介绍发号器的文章,比如美团的《Leaf——美团点
Stella981 Stella981
3年前
Redis 哈希结构内存模型剖析
!Profile(https://uploadimages.jianshu.io/upload_images/9824247af07824cf5595df9.png?imageMogr2/autoorient/strip%7CimageView2/2/w/1240)本文共1231字,阅读大约需要5分钟!概述
Stella981 Stella981
3年前
Spring Boot 工程集成全局唯一ID生成器 Vesta
!AE86(https://uploadimages.jianshu.io/upload_images/982424784cd7438afdf84ed.jpg?imageMogr2/autoorient/strip%7CimageView2/2/w/1240)本文内容脑图如下:!本文内容脑图(https://uploadimag
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql主从
\toc\1.GTID是什么?GTID全称Aglobaltransactionidentifier全局事物id,是MASTER创建的和事物相匹配的ID号;1.它不仅在本机上是唯一的,而且在其他服务器上也是唯一的;2.gitd与事物一一对应3.master每次comm
Stella981 Stella981
3年前
SnowFlake分布式唯一ID生成器
写在前面架构是权衡的结果,架构也是一层层的组件拼接起来的,如果没有好用的组件,架构势必会做阉割,架构的理想态是建立在一堆友好、易用、标准化的组件之上的。在我过去的经验中,有两类组件经常会出现在我的架构方案中,一个是唯一ID生成器,一个是推拉结合配置中心,有了他们我可以解决分布式系统下的时序问题,不会再因数据不一致问题手足无措,推拉结合的数据中心
Stella981 Stella981
3年前
Eureka Server 开启Spring Security Basic认证
!Desktop(https://uploadimages.jianshu.io/upload_images/98242475ce94f98ae00f42f.jpg?imageMogr2/autoorient/strip%7CimageView2/2/w/1240)文章共503字,阅读大约需要2分钟!概述
Wesley13 Wesley13
3年前
Java序列化JSON时long型数值不准确
现象项目中用到了唯一ID生成器.生成出的ID时long型的(比如说4616189619433466044).通过某个rest接口中返回json数据后,发现浏览器解析完变成了4616189619433466000原因大致描述:java中得long能表示的范围比js中number大,也就意味着部分数值在js中存不下(变成不准确的
Vitess全局唯一ID生成的实现方案 | 京东云技术团队
为了标识一段数据,通常我们会为其指定一个唯一id,比如利用MySQL数据库中的自增主键。但是当数据量非常大时,仅靠数据库的自增主键是远远不够的,并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此,产生了多种解决方案,如UUID,Sn