今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

Java语言包含两种内在的同步机制：同步块（或方法）和volatile变量（不稳定变量）。这两种机制的提出都是为了实现代码线程的安全性。其中Volatile变量的同步性较差（但有时它更简单并且开销更低），而且其使用也更容易出错。Java语言中的volatile变量可以被看作是一种“程度较轻的synchronized”；与synchr

最近几年涌现出了很多技术博客和技术社区,也有很多技术同仁开始打造自己的博客,我们可以把自己的博客同步到不同的技术平台,但是随着技术平台的增多,我们文章同步所花费的

这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。19年的时候我曾经写过一点canal的文章。现在你只要看这个文章就可以了。这篇文章是一个读者推荐给我的，原地址：https://dwz.cn/XYdYpNiI，作者：混绅士我对其中的一些内容做了修改。关系型数据库和Hadoop生态的沟通越来

原文地址：blog.csdn.net/lzb348110175/article/details/98941378学习之前，我们先来了解一下IO模型：    ①同步阻塞IO（BlockingIO）：即传统的IO模型。    ②同步非阻塞IO（NonblockingIO）：默认创建的socket都是阻塞的，非阻塞

原文同步至http://waylau.com/abouthbase/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwaylau.com%2Fabouthbase%2F)（若打不开，请翻墙，或者使用https访问）ApacheHBase是一个分布式的、面向列的开源数据库。正

主从复制官方文档：https://redis.io/topics/replicationRedis中的主从复制，也就是MasterSlave模型，有以下特点　　Master可以拥有多个slave　　多个slave不仅可以连接同一个master，还可以连接到其他的slave　　主从复制不会阻塞master，在同步数据时，maste

MySql之自动同步表结构开发痛点在开发过程中，由于频繁的修改数据库的字段，导致rd和qa环境的数据库表经常不一致。而由于这些修改数据库的操作可能由多个rd操作,很难一次性收集全。人手工去和qa环境对字段又特别繁琐，容易遗漏。解决之道于是笔者就写了一个能够自动比较两个数据库的表结构，并生成