今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

1.问题产生情况我遇到这个问题是做微信开发的时候有些有用的头像用了微信的emoji表情，然而我的mysql数据库用的编码是utf8\_general\_ci,就是utf8编码，结果也就报错误了。2.为什么会出现这种原因因为mysql的utf8编码的一个字符最多3个字节，但是一个emoji表情为4个字节，所以utf8不支持存储em

前言分享完需求，我们就按照需求去设计数据库就可以了，这里我数据库选用Mysql原因呢Mysql相对于其他数据库如ORACLE等轻巧，方便，开源，免费，好用，而且效率也够用数据库设计这里数据库设计我推荐大家一款数据库设计工具，我一直在使用觉得还不错叫PDMan多平台版本，MacWindows,Linux系统都有。总之功能非常强大，分表设计用户表

\恢复内容开始摘要:mysql5.7版本相比较之前的版本有很多的特性的增加以及默认配置的改变，在使用中难免会遇到与之前的使用习惯或者项目需求不符的情况。就需要调整相应的变量的值，比如sql\_mode的值最近在做一个项目的迁移工作，由于开发环境所使用的都是最新的软件版本（mysql5.7）。迁移时难免会遇到一些兼容性的“坑”，比如将

    MySQl大多数事务性存储引擎实现的都不是简单的行级锁。基于高性能考虑，他们一般都同时是想了多版本并发控制器（MVCC）。不仅仅MySQL，包括Oracle、PostgreSQL等其他数据库系统也都实现了MVCC，但各自实现机制不尽相同，因为MVCC没有一个统一的实现标准。MVCC可以说是行级锁的一个变种，但是他在多数情况下避免了加锁操作，因此开销更

操作系统及MySQL数据库的实时性能状态数据尤为重要，特别是在有性能抖动的时候，这些实时的性能数据可以快速帮助你定位系统或MySQL数据库的性能瓶颈，就像你在Linux系统上使用「top，sar，iostat」等命令工具一样，可以立刻定位OS的性能瓶颈是在IO还是CPU上，所以收集/展示这些性能数据就更为重要，那都有哪些重要的实时性能状态指标可以反应出系统和

PostgreSQL一直以为是一个和sqlite一个级别的数据库，但是在查询之后，自己的态度就完全变了，mysql被oricle公司收购以后，PG就成了比较流行的开源数据库的首选，而且heroku上面不支持mysql，但是却大力支持PG，所以说，不得不学学PG，并非迫不得已的样子，至少以后PG会比较流行，学学固然是好的，自己学习的一点感想，供新手快速入门。

引言之前在深入了解数据库理论的时候，了解到事物的不同隔离级别可能存在的问题。为了更好的理解所以在MySQL数据库中测试复现这些问题。关于脏读和不可重复读在相应的隔离级别下都很容易的复现了。但是对于幻读，我发现在可重复读的隔离级别下没有出现，当时想到难道是MySQL对幻读做了什么处理？测试：创建一张测试用的表dept：CREAT

首先在这里我就不说关系型数据库与非关系型数据库之间的区别了（百度上有很多）直接切入主题我想查询的内容是这样的：分数大于0且人名是bob或是jake的总分数 平均分数 最小分数 最大分数 计数举这个实例来试试用MySQL和mongodb分别写一个查询首先我们先做一些准备工作MySQL的数据库结构如下1CREATETABL

本文针对MySQL数据库的InnoDB存储引擎，介绍其中索引的实现以及索引在慢SQL优化中的作用。本文主要讨论不同场景下索引生效与失效的原因。