本文已收录https://github.com/lkxiaolou/lkxiaolou欢迎star。背景在分布式场景中，很多地方需要生成全局唯一的id，如数据库分库分表后需要用唯一id代替单机版本的自增id。发号器的基本要求是全局唯一，无论如何都不能重复某些场景下还要求单调递增，如排序需求等。网上有很多介绍发号器的文章，比如美团的《Leaf——美团点

前言Spark是目前主流的大数据计算引擎，功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。作为一种内存计算框架，Spark运算速度快，并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商，个推从早期的1.3版本便引入Spark，

1.创建索引一.要尽量避免全表扫描，首先应考虑在where及orderby涉及的列上建立索引 (1)在经常需要进行检索的字段上创建索引，比如要按照表字段username进行检索，那么就应该在姓名字段上创建索引，如果经常要按照员工部门和员工岗位级别进行检索，那么就应该在员工部门和员工岗位级别这两个字段上创建索引。 (2)创建索引

一、索引MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。索引分单列索引和组合索引。单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。组合索引，即一个索引包含多个列。创

基础概念文件描述fd        文件描述符(filedescription),用于表述指向文件引用的抽象话题概念文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表,当程序打开一个现有文件或者创建一个新文件时,内核就向该进程返回一个文件描述符        unix系统把任何对象看做

\TOC\MySQL通讯协议（1）数据类型对于大部分开发者来说，并不需要了解MySQL客户端和服务端是如何交互的。但是当业务发展到一定阶段，数据量增大时，分库分表就成了不得不考虑的一种优化措施。目前主流的方案主要有两种，一种是本地代理连接、分析重写SQL、路由、执行、合并结果，一种是把这些放到中间件里。而后一种就

本节目录一锁的分类及特性二表级锁定(MyISAM举例)三行级锁定四查看死锁、解除锁五事务六慢日志、执行计划、sql优化七OLTP与OLAP的介绍和对比八关于autocommit的测试一锁的分类及特性　　数据库锁定机制简单来说，就是数据库为了保证数据的一致性，而使各种共享资源在被并发访问变得有序所设计的一种规则。对于任何

MySQL中的事务为什么需要事务现在的软件基本上都是多用户、多程序、多线程的，对同一个表可能同时有很多人在用，为保持数据的一致性，所以提出了事务的概念。一个事务一般包含多个操作，这些操作必须当成一个整体来执行，要么都成功，要么都失败，不允许部分成功和部分失败。假如要从A的账户给B的账户转账1000元，那么A的账

MySQL主从复制概念MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。 !(https://img2018.cnblogs.c

今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时（尤其是查表时的SQL语句），我们都需要注意数据操作的性能。这里，我们不会讲过多的SQL语句的优化，而只是针对MySQL这一Web应用最多的数据库。希望下面