Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Easter79 Easter79
3年前
springboot下 shiro使用ehcache和@cacheable冲突的处理
springboot提供缓存注解标签@Cacheable,当使用ehcache时,autoconfig机制会根据配置文件自动去初始化bean而shiroConfig在@Configuration构造时,也会去初始化ehcache,项目启动会产生如下异常org.apache.shiro.cache.CacheException:net.sf.
Wesley13 Wesley13
3年前
ubuntu 18.04 server下tomcat部署sprongboot项目
1springboot项目相关1.1修改pom.xml文件依赖如果要将最终的打包形式改为war的话,还需要对pom.xml文件进行修改,因为springbootstarterweb中包含内嵌的tomcat容器,所以直接部署在外部容器会冲突报
Stella981 Stella981
3年前
SVN 命令行
1、查看文件状态svnstatus[目录路径or文件名]注:目录下的文件和子目录的状态,正常状态不显示?:不在svn的控制中;M:内容被修改;C:发生冲突;K:被锁定svnstatusv[目录路径or文件名]
Stella981 Stella981
3年前
SpringBoot整合Nacos服务发现+配置中心
【建立一个新的模块,使用springbootnacos,搭建完启动服务发现报了两个问题:1.Noactiveprofileset,fallingbacktodefaultprofiles:default2.Processfinishedwithexitcode1查了许多文章,都反应是pom文件中maven依赖冲突或
Stella981 Stella981
3年前
Charles 从入门到精通
内容清单Charles的简介安装CharlesCharles初始化设置过滤网络请求截取HTTP/HTTPS数据模拟弱网环境修改网络请求修改服务器返回内容服务器压力测试反向代理解决与翻墙软件的冲突Charles的简介
Wesley13 Wesley13
3年前
MYSQL导入数据load data infile三种方式
正常导入:LOAD DATA LOCAL INFILE 'xxx.data'INTO TABLEdim_department_info(a,b,c,d)如果导入的数据中存在与唯一索引冲突的情况则需要以下两种导入方式:LOAD DATA LOCAL INFILE 'xxx.data'IGNOR
Easter79 Easter79
3年前
SVN 命令行
1、查看文件状态svnstatus[目录路径or文件名]注:目录下的文件和子目录的状态,正常状态不显示?:不在svn的控制中;M:内容被修改;C:发生冲突;K:被锁定svnstatusv[目录路径or文件名]
破局主键重复问题的坎坷路 | 京东物流技术团队
在这个燥热的夏天,又突然收到告警,分库分表的主键冲突了,这还能忍?不,坚决不能忍,必须解决掉!后面咱们慢慢道来是如何破局的,如何走了一条坎坷路……
小万哥 小万哥
8个月前
Java 包和 API 深度解析:组织代码,避免命名冲突
Java包和APIJava中的包用于将相关的类分组在一起。可以将其视为文件目录中的一个文件夹。我们使用包来避免名称冲突,并编写更易于维护的代码。包分为两类:1.内置包(来自JavaAPI的包)2.用户定义的包(创建自己的包)内置包JavaAPI是一个预先编