今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

简单明了地说，连接分内连接和外链接假设有A和B两张表内连接：innerjoin   表示把AB表的记录相符都显示出来，把AB表不符合条件的都排除外连接分三种，即左连接(LEFTOUTERJOIN)、右连接(RIGHTOUTERJOIN)、全连接(FULLOUTERJOIN)，下面就简单解析一下，。1.ALEFTOUTERJOI

1.创建保存备份文件的文件夹mkdir/data/mysqlbak2.编写脚本cd/data/mysqlbakvisqlAutoBak.shSH脚本内容：DBUSER"root"DBPASS"root"你的数据库密码DBHOST"localhost"DBNAME"test"你要备份的数据库BINDIR"/usr/bin"BCKDIR"/d

MySQLUPDATE查询如果我们需要修改或更新MySQL中的数据，我们可以使用SQLUPDATE命令来操作。.语法以下是UPDATE命令修改MySQL数据表数据的通用SQL语法：UPDATEtable_nameSETfield1newvalue1,field2n

这个时候所有的mysql的相关进程都会停止，直到drop结束，mysql才会恢复执行。出现这个情况的原因就是因为，在droptable的时候，innodb维护了一个全局锁，drop完毕锁就释放了。这意味着，如果在白天，访问量非常大的时候，如果你在不做任何处理措施的情况下，执行了删大表的命令，整个mysql就挂在那了，在删表期间，QPS会严重下滑，然后产

第一章概述锁的分类:从对数据操作的粒度分表锁、行锁。从对数据的操作类型(读\\写)分读锁(共享锁)、写锁(排它锁)读锁(共享锁):针对同一份数据，多个读操作可以同时进行而不会互相影响。写锁(排它锁):当前写操作没完成前，它会阻断其他写锁和读锁。第二章 表锁(偏读)偏向MyISAM存储引擎，开销小，加

mysql查询优化的方法有很多种，explain是工作当中用的比较多的一种检查方式。explain翻译即解释，就是看mysql语句的查询解释计划，从解释计划我们能很清楚的看到解释的语句有没有合理用到索引，扫描了多少行数，有没有触及全表扫描、用到临时表等影响慢查询的原因。使用很简单，如explainselect\fromuse

不知道从什么时候开始，网上流传着这么一个说法：MySQL的WHERE子句中包含ISNULL、ISNOTNULL、!这些条件时便不能使用索引查询，只能使用全表扫描。这种说法愈演愈烈，甚至被很多同学奉为真理。咱啥话也不说，举个例子。假如我们有个表s1，结构如下：!MySQL中ISNULL、!不能用索引？胡扯(https://o

详谈MySQL8.0原子DDL原理背景MySQL5.7的字典信息保存在非事务表中，并且存放在不同的文件中（.FRM，.PAR，.OPT，.TRN，.TRG等)。所有DDL操作都不是CrashSafe，而且对于组合DDL（ALTER多个表）会出现有的成功有的失败的情况，而不是总体失败。这样主从复制就出现了问题，也导致基于复制的高可

作者：京东物流京东物流一、前言在做MySQL的SQL优化时，如果只涉及到单表查询，那么大部分慢SQL都只需从索引上入手优化即可，通过添加合适的索引来消除全表扫描或者排序操作，执行效果，大概率能实现质的飞跃。然而，在实际生产中，除了单表查询，更多的是多个表的