今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

1.问题产生情况我遇到这个问题是做微信开发的时候有些有用的头像用了微信的emoji表情，然而我的mysql数据库用的编码是utf8\_general\_ci,就是utf8编码，结果也就报错误了。2.为什么会出现这种原因因为mysql的utf8编码的一个字符最多3个字节，但是一个emoji表情为4个字节，所以utf8不支持存储em

一、概念在企业中，数据库高可用一直是企业的重中之重，中小企业很多都是使用mysql主从方案，一主多从，读写分离等，但是单主存在单点故障，从库切换成主库需要作改动。因此，如果是双主或者多主，就会增加mysql入口，增加高可用。不过多主需要考虑自增长ID问题，这个需要特别设置配置文件，比如双主，可以使用奇偶，总之，主之间设置自增长ID相互不冲突就能

准备工作下载mysql二进制包，以及安装mysql依赖包安装mysql所需依赖包yuminstalllibaioy下载mysql二进制安装包wgethttp://mirrors.163.com/mysql/Downloads/MySQL8.0/mysql8.0.14linuxglibc2.

回顾POLARDB1.0POLARDB1.0主要的改进包括采用了计算存储分离的架构，完全兼容MYSQL，性能是原生MySQL的6倍。一个用户集群可以在分钟级弹性扩展到16个计算节点，对业务完全透明的计算和存储分离代理，从库延迟仅毫秒级。存储为分布式块存储，可以弹性扩展至100TB的规模。存储层面采用多副本技术，使得数据库的RPO做到了0，完全没有丢

 最近项目组用CDH搭建数据开发环境，有用到Kerberos安全组件。如下是相关命令，请参考：进入kadminkadmin.local/kadmin创建数据库kdb5\_utilcreater HADOOP.COMs　启动kdc服务servicekrb5kdcstart启动kadmin服务serviceka

    MySQl大多数事务性存储引擎实现的都不是简单的行级锁。基于高性能考虑，他们一般都同时是想了多版本并发控制器（MVCC）。不仅仅MySQL，包括Oracle、PostgreSQL等其他数据库系统也都实现了MVCC，但各自实现机制不尽相同，因为MVCC没有一个统一的实现标准。MVCC可以说是行级锁的一个变种，但是他在多数情况下避免了加锁操作，因此开销更

原文：http://www.cnblogs.com/kissdodog/p/5422195.htmlMySQL的主从备份，听个名词很高大上，其实都是MySQL原本就实现的了，你只需要简单配置一下就可以实现。第一步：保持主从两个数据库是同步的，最好事先手动同步一下；第二步：停止两个数据库，分别更改配置文件；　　下面我使用如下两个

存储过程和函数存储过程和函数是事先经过编译并存储在数据库中的一段SQL语句的集合。存储过程或函数的相关操作创建，修改存储过程或函数相关语法CREATEDEFINER{user|CURRENT_USER}PROCE

很多时候，我们在mysql中创建了索引，但是某些查询还是很慢，根本就没有使用到索引！一般来说，可能是某些字段没有创建索引，或者是组合索引中字段的顺序与查询语句中字段的顺序不符。看下面的例子：假设有一张订单表(orders)，包含order\_id和product\_id二个字段。一共有31条数据。符合下面语句的数据有5条。执行下面的s