今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

一直在写java高并发的博客，突然想起自己刚开始学习相关技术开发的境况，一切都只是理论，案例是最能讲解的地方，后面的章节将从采用netty通信实现rpc的服务调用，采用hession序列化来设计netty的编码解码操作。该项目将涉及到单例设计，回调设计，数据安全设计，数据加载设计，面向接口设计。会涉及java自身的线程池，多线程执行，高并发数据安全，同时也出

一、基本概念Java内存模型中的可见性、原子性和有序性。可见性：　　可见性是一种复杂的属性，因为可见性中的错误总是会违背我们的直觉。通常，我们无法确保执行读操作的线程能适时地看到其他线程写入的值，有时甚至是根本不可能的事情。为了确保多个线程之间对内存写入操作的可见性，必须使用同步机制。　　可见性，是指线程之间的可见性，一个线

前言现在生活节奏加快，人们之间交流方式也有了天差地别，为了更加便捷的交流沟通，电子邮件产生了，众所周知，电子邮件其实就是客户端和服务器端发送接受数据一样，他有一个发信和一个收信的功能，电子邮件的通信协议为SMTP，POP3,IMAP，而且他们都属于tcp/ip协议，像我们经常用到的QQ邮箱，网易邮箱，这些都是同样的模式。准备编辑器：sublime

一、什么是内存模型，为什么要使用它如果缺少同步，那么将会有许多因素使得线程无法立即甚至永远看到一个线程的操作结果编译器把变量保存在本地寄存器而不是内存中编译器中生成的指令顺序，可以与源代码中的顺序不同处理器采用乱序或并行的方式来执行指令保存在处理器本地缓存中的值，对于其他处理器是不可见在单线程中，只要

MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性;复制还允许您从硬件故障和服务中断中恢复数据。MongoDB复制原理mongodb的复制至少需要两个节点。其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节点上的数据。mon

最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。一、   Kafka介绍　　Kafka是由Java和Scala编写的是一个分布式、高吞吐量、分区的、多副本的、多订阅者

协同控制是并发程序必不可少的重要手段。主要分为两大控制方法，一个是JDK提供的最基础的协同控制方法，一个是java.util.concurrent包下的拓展类控制，接下来我们将会介绍这两种方法有哪些操作可以进行同步控制。一、基础的协同控制线程基础知识因为加锁涉及到多线程，所以有必要先说一下线程的基础知识（定义那

!(https://oscimg.oschina.net/oscnet/b28f90bfd78b4050ad8c40ae2bb9abe3.png)当数据库服务器和客户端位于不同的主机时，就需要建立网络连接来进行通信。客户端必须使用数据库连接来发送命令和接收应答、数据。通过提供给客户端数据库的驱动指定连接字符串后，客户端就可以和数据库建立连接了

1：想天浏览器基于Chromium内核，一款团队协作与浏览器结合的桌面浏览器，支持全局搜索；云端标签分组空间；团队的创建、显示，同步创建一个团队沟通群聊与社区圈子；下载助手；；支持消息中心；标签组管理功能；密码管理功能；用户脚本管理；强大的导航管理；DIY桌面功能等丰富的功能，不仅如此想天浏览器还有很多实用的插件，可以帮助你拦截广告、翻译网页等，为你带来高效