本文已收录https://github.com/lkxiaolou/lkxiaolou欢迎star。背景在分布式场景中，很多地方需要生成全局唯一的id，如数据库分库分表后需要用唯一id代替单机版本的自增id。发号器的基本要求是全局唯一，无论如何都不能重复某些场景下还要求单调递增，如排序需求等。网上有很多介绍发号器的文章，比如美团的《Leaf——美团点

前言Spark是目前主流的大数据计算引擎，功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。作为一种内存计算框架，Spark运算速度快，并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商，个推从早期的1.3版本便引入Spark，

hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。HiveSQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在

在MySQL中的行级锁、表级锁和页级锁中，咱们介绍过，行级锁是MySQL中锁定粒度最细的一种锁，行级锁能大大减少数据库操作的冲突。行级锁分为共享锁和排他锁两种，本文将详细介绍共享锁和排他锁的概念、使用方式及注意事项。共享锁（ShareLock）共享锁又称读锁，是读取操作创建的锁。其他用户可以并发读取数据，但任

最近开发一个WEB的ETL工具需要用到不同的数据源。第一次用POSTGRESQL发现一个双引号引发的问题：标准的SQL是不区分大小写的。但是PostgreSQL对于数据库中对象的名字允许使用支持大小写区分的定义和引用方法。方式就是在DDL中用双引号把希望支持大小的对象名括起来。比如希望创建一个叫AAA的表。如果用CREATETABLEAAA（

基础概念文件描述fd        文件描述符(filedescription),用于表述指向文件引用的抽象话题概念文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表,当程序打开一个现有文件或者创建一个新文件时,内核就向该进程返回一个文件描述符        unix系统把任何对象看做

本节目录一锁的分类及特性二表级锁定(MyISAM举例)三行级锁定四查看死锁、解除锁五事务六慢日志、执行计划、sql优化七OLTP与OLAP的介绍和对比八关于autocommit的测试一锁的分类及特性　　数据库锁定机制简单来说，就是数据库为了保证数据的一致性，而使各种共享资源在被并发访问变得有序所设计的一种规则。对于任何

一、前言1、由于每月月底都需要对一些oracle数据库环境进行一些简单的巡检，而通过运行一条条语句，并依依去截图保存到word文档中效率低下，所以这里我就将手工巡检过程编写成shell脚本来提高巡检效率，同时也免去了截图照片图片不清晰的问题。2、脚本简单容易二次编辑，本文仅提供简单巡检的事项，如数据表空间是否自动扩展、是否开启归档等，

MySQL主从复制概念MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。 !(https://img2018.cnblogs.c

作者：张政俊，中欧基金DBAMysql一般出现CPU负载过高问题的时候，我们都会去看下故障期间的慢sql日志，然后找出全表扫描、索引不合理、函数运算过多的sql，让开发同学优化下。实在不行的话，那就升级CPU硬件，替换更高频率的CPU，1路的升级成2路，2路的升级成四路。这次出现的问题因为关乎到每天的业务处理，所以很多措施无法第一时间到位，