今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

当数据库中数据量特别大的时候，查询的速度就比较慢，这时候需要添加索引，来提高查询速度。索引的优点1通过创建唯一索引，可以保证数据库表中每行数据的唯一性。2加快数据查询速度3在使用分组和排序进行数据查询时，可以显著的减少查询中分组和排序的时间索引的缺点1维护索引需要消耗数据库资源2索引需要占用磁盘空间，索引文件可能会比数据

1.创建索引一.要尽量避免全表扫描，首先应考虑在where及orderby涉及的列上建立索引 (1)在经常需要进行检索的字段上创建索引，比如要按照表字段username进行检索，那么就应该在姓名字段上创建索引，如果经常要按照员工部门和员工岗位级别进行检索，那么就应该在员工部门和员工岗位级别这两个字段上创建索引。 (2)创建索引

微信公众号：\中间件兴趣圈\作者简介：《RocketMQ技术内幕》作者索引的配置项按是否可以更改分为static属性与动态配置，所谓的静态配置即索引创建后不能修改。索引静态配置index.number\_of\_shards索引分片的数量。在ES层面可以通过es.index.max\_num

正文一、SQL分析性能下降、SQL慢、执行时间长、等待时间长查询语句写得差索引失效关联查询太多join(设计缺陷)单值索引：在user表中给name属性创建索引，createindexidx\_nameonu

0.表结构如下:(包含两个索引)CreateTable:CREATETABLEuser(userIDvarchar(40)NOTNULL,userCodevarchar(20)DEFAULTNULL,userNamevarchar(25)DEFAULTN

下面是我总结的Mysql中常用的一些SQL，一般分为下面三种：DDL：DataDefinitionLanguage，数据定义语言，这些语句操作的是数据库对象，比如：定义了数据库、表、列、索引等。常用的关键字包括：create、drop、alter等。DML：DataManipulationLanguage，数据操作语句，用于添加、更新、删除、

笔记记录自林晓斌（丁奇）老师的《MySQL实战45讲》（本篇内图片均来自丁奇老师的讲解，如有侵权，请联系我删除）11）怎么给字符串字段加索引？　　日常工作中的登录系统，你很可能会使用emai这个字段。因此也很容易遇到类似这样的语句：mysqlselectfromuserwhereemail'xxx';　　

一.elasticSearch提供了一些基本的rest命令，基本如下：/index/_search搜索指定索引下的数据，http://ip:9200/index/_search查询当前索引下的数据/index/查看指定索引的详细信

前言之前遇到过一个由MySQL间隙锁引发线上sql执行超时的场景，记录一下。背景说明分布式事务消息表：业务上使用消息表的方式，依赖本地事务，实现了一套分布式事务方案消息表名：mqmessages数据量：3000多万索引：createtime和statuss