Easter79 Easter79
4年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Wesley13 Wesley13
4年前
java多线程(四)之同步机制
1.同步的前提  多个线程  多个线程使用的是同一个锁2.同步的好处  同步的出现解决了多线程的安全问题3.同步的弊端  当线程较多时,因为每个线程都会去判断同步上的锁,这样是很耗费资源的,会降低程序的运行效率.4.同步方法:  1.就是将同步关键字,synchronized加到方法上,此时的锁对象是this  
Wesley13 Wesley13
4年前
IO模型详解及应用
如何阅读这篇文章顺序1.1:了解同步异步和阻塞非阻塞    1.11:同步异步    1.12:阻塞非阻塞1.2:了解一次read操作需要的步骤1.3:五种模型1.1:I/O模型中的同步异步,阻塞非阻塞:1.11:同步和异步:synchronous,asyncronous
Stella981 Stella981
4年前
ElasticSearchd未授权访问
ElasticSearch是一款Java编写的企业级搜索服务,启动此服务默认会开放HTTP9200端口,可被非法操作数据。1.熟悉的响应YouKnow,forSearch2.漏洞测试安装了river之后可以同步多种数据库数据(包括关系型的mysql、mongodb等)。h
Stella981 Stella981
4年前
MariaDB Galera Cluster 部署(如何快速部署MariaDB集群)
MariaDB作为Mysql的一个分支,在开源项目中已经广泛使用,例如大热的openstack,所以,为了保证服务的高可用性,同时提高系统的负载能力,集群部署是必不可少的。MariaDBGaleraCluster介绍MariaDB集群是MariaDB同步多主机集群。它仅支持XtraDB/InnoDB存储引擎(虽然有对MyISAM实验支持
Stella981 Stella981
4年前
Linux系统sersync数据实时同步
Linux系统sersync数据实时同步Linux系统sersync数据实时同步前面介绍了以守护进程的方式传输或同步数据rsync软件,linux系统数据同步软件很多,今天来介绍下sersync数据同步软件一:sersync介绍sersync其实是利用inotify和rsync两种软件技术
Wesley13 Wesley13
4年前
AQS 原理剖析
!(https://images.ytao.top/20200627230025.jpg)AQS即AbstractQueuedSynchronizer类称作队列同步器,是构建其他同步器的一个重要的基础框架,同步器自身是没有实现任何同步接口。它是通过控制一个int类型的state变量来表示同步状态,使用一个内置的FIFO(先进先出)
子桓 子桓
2年前
mac电脑用什么文件备份和同步工具?
mac电脑用什么文件备份和同步工具?Syncovery激活版非常高效的同步备份软件,一款同步备份工具,它可以在多个设备之间同步文件和文件夹。Syncovery支持Windows、macOS和Linux等操作系统,并且可以同步到本地磁盘、网络驱动器、FTP服
京东云开发者 京东云开发者
4个月前
一次线上生产库的全流程切换完整方案
作者:京东零售杨亚龙一、现状梳理本篇介绍了一次数据库迁移的完整方案。本次需要改造的系统为一个较为陈旧的技术栈系统,其中MongoDB作为核心数据存储中间件,承担着存储全部核心数据的重要任务。该系统目前的配置为1主1副本模式,涉及1个数据库和2张表,服务于7
京东云开发者 京东云开发者
3个月前
一次线上生产库的全流程切换完整方案
作者:京东零售杨亚龙一、现状梳理本篇介绍了一次数据库迁移的完整方案。本次需要改造的系统为一个较为陈旧的技术栈系统,其中MongoDB作为核心数据存储中间件,承担着存储全部核心数据的重要任务。该系统目前的配置为1主1副本模式,涉及1个数据库和2张表,服务于7