Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Wesley13 Wesley13
3年前
java后台框架源码 springmvc mybatis oracle mysql maven HTML5 bootstrap 全新技术
!(https://img.alicdn.com/imgextra/i3/332189337/TB2ZRyRkbRkpuFjSspmXXc.9XXa_!!332189337.png)获取【下载地址】(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fitem.taobao.
Wesley13 Wesley13
3年前
SEO题记
昨天和好朋友小聚,他最近研究SEO,深受启发。简要总结如下:用一句话独特的话描述你的网站。搜索引擎显示你的网站的时候,只会显示非常短的一句话(约一百多个字符)。要想让别人注意,必须要用一句特别独特、高度概括、并且要非常准确的话来说明你的网站。并作为首页的Title外链尽量多的让外部的网站给你做链接。而且尽量做具有针对
BichonCode BichonCode
4年前
双指针问题
一、双指针之左右指针相关题目1.1题目要求:给定一个升序排列的整数数组,找到两个数,使它们的和等于给定的数,有且仅有一个满足条件的解,返回索引。题目分析:需要两个指针,一个指向开头,一个指向末尾,然后向中间遍历,如果指向的两个数相加正好等于target的话,直接返回两个指针的位置即可,若小于target,左指针右移一位,若大于target,右
Stella981 Stella981
3年前
Linux IO 概念(1)
基础概念文件描述fd        文件描述符(filedescription),用于表述指向文件引用的抽象话题概念文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表,当程序打开一个现有文件或者创建一个新文件时,内核就向该进程返回一个文件描述符        unix系统把任何对象看做
Wesley13 Wesley13
3年前
IP种子——网络安全的重要组成部分
    BT下载,在网络中通过点对点技术,被广泛用来下载或共享大体积文件(如一部电影或大型软件)的一种方式。其中,BT种子文件就是用来记录所需下载文件的具体存放位置、文件的大小、下载服务器的IP地址、种子发布者的IP地址等数据的一个索引文件。我们构建一种采用IP种子技术的方式来进行BT种子传播监控,从而达到全球P2P网络实时监测。在IP种子
Wesley13 Wesley13
3年前
oracle中去掉文本中的换行符、回车符、制表符小结
一、特殊符号ascii定义 制表符chr(9) 换行符chr(10) 回车符chr(13)二、嵌套使用repalce,注意每次只能提交一个符号,如先回车再换行         selectREPLACE(gg,chr(10),'')fromdual   要注意chr(13)||chr(10)此类结
Wesley13 Wesley13
3年前
MySQL字符集
一、字符集和校验规则字符集是一套符号和编码,校验规则(collation)是在字符集内用于比较字符的一套规则,即字符集的排序规则。MySQL可以使用多种字符集和检验规则来组织字符。MySQL服务器可以支持多种字符集,在同一台服务器,同一个数据库,甚至同一个表的不同字段都可以指定使用不同的字符集,相比oracle等其他数据库管理系
Wesley13 Wesley13
3年前
JavaSE
DAY081.数组1.1定义数组是相同类型数据的有序集合。数组描述的是相同类型的若干个数据,按照一定的先后次序排列组合而成。其中,每一个数据称作一个元素,每个元素可以通过一个索引(下标)来访问它们。数组的三个基本特点:1.长度是确定的。数组一旦被创建,它的大小就是不可以改变的。2.其元素必须
Wesley13 Wesley13
3年前
MySQL数据库CPU问题一则
作者:张政俊,中欧基金DBAMysql一般出现CPU负载过高问题的时候,我们都会去看下故障期间的慢sql日志,然后找出全表扫描、索引不合理、函数运算过多的sql,让开发同学优化下。实在不行的话,那就升级CPU硬件,替换更高频率的CPU,1路的升级成2路,2路的升级成四路。这次出现的问题因为关乎到每天的业务处理,所以很多措施无法第一时间到位,