Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Wesley13 Wesley13
3年前
java emoji表情存储解决方案
1.问题产生情况我遇到这个问题是做微信开发的时候有些有用的头像用了微信的emoji表情,然而我的mysql数据库用的编码是utf8\_general\_ci,就是utf8编码,结果也就报错误了。2.为什么会出现这种原因因为mysql的utf8编码的一个字符最多3个字节,但是一个emoji表情为4个字节,所以utf8不支持存储em
Alex65 Alex65
4年前
一文带你认知MySQL异常
摘要:在本文中,总结了开发过程中最为常见的几种MySQL抛出的异常以及如何解决,包括高版本驱动的问题、时区配置问题、SSL连接问题等,是一篇经验总结贴。前言在本文中,总结了开发过程中最为常见的几种MySQL抛出的异常以及如何解决,包括高版本驱动的问题、时区配置问题、SSL连接问题等,是一篇经验总结贴,于我个人而言,这一篇足以解决目前
Wesley13 Wesley13
3年前
MySQL 中的共享锁和排他锁的用法
在MySQL中的行级锁、表级锁和页级锁中,咱们介绍过,行级锁是MySQL中锁定粒度最细的一种锁,行级锁能大大减少数据库操作的冲突。行级锁分为共享锁和排他锁两种,本文将详细介绍共享锁和排他锁的概念、使用方式及注意事项。共享锁(ShareLock)共享锁又称读锁,是读取操作创建的锁。其他用户可以并发读取数据,但任
Wesley13 Wesley13
3年前
mysql5.7 版本中 timestamp 不能为零日期 以及sql_mode合理设置
\恢复内容开始摘要:mysql5.7版本相比较之前的版本有很多的特性的增加以及默认配置的改变,在使用中难免会遇到与之前的使用习惯或者项目需求不符的情况。就需要调整相应的变量的值,比如sql\_mode的值最近在做一个项目的迁移工作,由于开发环境所使用的都是最新的软件版本(mysql5.7)。迁移时难免会遇到一些兼容性的“坑”,比如将
Stella981 Stella981
3年前
POLARDB v2.0 技术解读
回顾POLARDB1.0POLARDB1.0主要的改进包括采用了计算存储分离的架构,完全兼容MYSQL,性能是原生MySQL的6倍。一个用户集群可以在分钟级弹性扩展到16个计算节点,对业务完全透明的计算和存储分离代理,从库延迟仅毫秒级。存储为分布式块存储,可以弹性扩展至100TB的规模。存储层面采用多副本技术,使得数据库的RPO做到了0,完全没有丢
Wesley13 Wesley13
3年前
MySQL 的实时性能监控利器
操作系统及MySQL数据库的实时性能状态数据尤为重要,特别是在有性能抖动的时候,这些实时的性能数据可以快速帮助你定位系统或MySQL数据库的性能瓶颈,就像你在Linux系统上使用「top,sar,iostat」等命令工具一样,可以立刻定位OS的性能瓶颈是在IO还是CPU上,所以收集/展示这些性能数据就更为重要,那都有哪些重要的实时性能状态指标可以反应出系统和
Stella981 Stella981
3年前
Linux下PostgreSQL基础操作
PostgreSQL一直以为是一个和sqlite一个级别的数据库,但是在查询之后,自己的态度就完全变了,mysql被oricle公司收购以后,PG就成了比较流行的开源数据库的首选,而且heroku上面不支持mysql,但是却大力支持PG,所以说,不得不学学PG,并非迫不得已的样子,至少以后PG会比较流行,学学固然是好的,自己学习的一点感想,供新手快速入门。
Wesley13 Wesley13
3年前
MySQL的可重复读级别能解决幻读吗
引言之前在深入了解数据库理论的时候,了解到事物的不同隔离级别可能存在的问题。为了更好的理解所以在MySQL数据库中测试复现这些问题。关于脏读和不可重复读在相应的隔离级别下都很容易的复现了。但是对于幻读,我发现在可重复读的隔离级别下没有出现,当时想到难道是MySQL对幻读做了什么处理?测试:创建一张测试用的表dept:CREAT
Wesley13 Wesley13
3年前
MySQL与Mongo简单的查询 1
首先在这里我就不说关系型数据库与非关系型数据库之间的区别了(百度上有很多)直接切入主题我想查询的内容是这样的:分数大于0且人名是bob或是jake的总分数 平均分数 最小分数 最大分数 计数举这个实例来试试用MySQL和mongodb分别写一个查询首先我们先做一些准备工作MySQL的数据库结构如下1CREATETABL