今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

Vue.js是构建用户界面的MVVM框架 ，只关注视图层Vue将DOM和数据绑定起来，一旦创建了绑定，DOM将和数据保持同步，每当变更了数据，DOM也会相应地更新。这样就减少了不必要的DOM操作提高渲染效率，让前端程序员只需要关心业务逻辑不再关心DOM是如何渲染的MVC和MVVM的区别：MVC是后端分层开发概念，MVVM是前端视图层

前言本文主要介绍uniapp提供的一些基础接口，包括：网络请求接口，用于通过指定的请求方法，携带特定的数据，向特定的地址请求并返回请求结果；图片处理接口，包括选择、预览、获取信息、保存到本地等接口；文件处理接口，包括文件上传和下载接口；数据缓存接口，包括以同步或异步的方式保存、获取或删除数据的接口。一、网络请求小程序要想正常运转，都需要与服务器端进

一、主从同步/复制　　通过持久化功能，Redis保证了即使在服务器重启的情况下也不会丢失（或少量丢失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。　　为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出

在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题，从Java5之后，在 java.util.concurrent.locks包下提供了另外一种方式来实现同步访问，那就是Lock。也许有朋友会问，既然都可以通过synchronized来实现同步访问了，那么为什么还需要提供Lock？这个问题将在下面

这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。19年的时候我曾经写过一点canal的文章。现在你只要看这个文章就可以了。这篇文章是一个读者推荐给我的，原地址：https://dwz.cn/XYdYpNiI，作者：混绅士我对其中的一些内容做了修改。关系型数据库和Hadoop生态的沟通越来

mysql主从宕机恢复步骤在生产环境中经常会出现slave出现错误，从而发生主从同步故障，此时就需要人工干预了。以下是小生整理出的一个回复思路，欢迎大佬指导，分享更好的方法。宕机恢复分为几种情况：1.从库数据一致性要求低2.从库数据一致性要求高从库数据要求一致性低：这种情况比较好解决，由于

MySql之自动同步表结构开发痛点在开发过程中，由于频繁的修改数据库的字段，导致rd和qa环境的数据库表经常不一致。而由于这些修改数据库的操作可能由多个rd操作,很难一次性收集全。人手工去和qa环境对字段又特别繁琐，容易遗漏。解决之道于是笔者就写了一个能够自动比较两个数据库的表结构，并生成

为了能够同步访问实体，JPA提供了2种锁机制。这两种机制都可以避免两个事务中的其中一个，在不知情的情况下覆盖另一个事务的数据。通过实体锁，我们通常希望避免在两个并行事务中产生如下情形：1.Adam的事务读取数据X2.Barbara的事务读取数据X3.Adam的事务修改数据X，并将其修改为XA4.Adam的事务写入数据