希望的天 希望的天
4年前
MySql架构设计:如何合理利用第三方 Cache 解决方案?
使用较为成熟的第三方解决方案最大的优势就在于在节省自身研发成本的同时,还能够在互联网上面找到较多的文档信息,帮助我们解决一些日常遇到的问题还是非常有帮助的。目前比较流行的第三方Cache解决方案主要有基于对象的分布式内存Cache软件Memcached和嵌入式数据库编程库BerkeleyDB这两种。下面我将分别针对这
Easter79 Easter79
4年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Easter79 Easter79
4年前
springboot2结合mybatis拦截器实现主键自动生成
前言前阵子和朋友聊天,他说他们项目有个需求,要实现主键自动生成,不想每次新增的时候,都手动设置主键。于是我就问他,那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成,因此为了项目稳定性,不会切换id的生成方式。朋友问我有没有什么实现思路,他们公司的orm框架是mybatis,我就建议他说,不然让你老大把m
Easter64 Easter64
4年前
MySQL语句优化
在MySQL数据库怎么加快查询速度,优化查询效率,主要原则就是应尽量避免全表扫描,应该考虑在where及orderby涉及的列上建立索引。  建立索引不是建的越多越好,原则是:  第一:一个表的索引不是越多越好,也没有一个具体的数字,根据以往的经验,一个表的索引最多不能超过6个,因为索引越多,对update和insert操作也会有性能的影响,涉及
Wesley13 Wesley13
4年前
mysql基础之mysql双主(主主)架构
一、概念在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动。因此,如果是双主或者多主,就会增加mysql入口,增加高可用。不过多主需要考虑自增长ID问题,这个需要特别设置配置文件,比如双主,可以使用奇偶,总之,主之间设置自增长ID相互不冲突就能
Wesley13 Wesley13
4年前
INNODB锁(2)
在上一篇文章写了锁的基本概述以及行锁的三种形式,这一篇的主要内容如下:一致性非锁定读自增长与锁外键和锁一致性性非锁定读一致性非锁定读是InnoDB通过多版本并发控制(MVCC,multiversionconcurrencycontrol)的方式来读取当前执行时间数据库中的最近一次快照,如果读取的行正在执行
Stella981 Stella981
4年前
Spring Boot 学习(一)感慨
老是在传统行业混,面试了几家公司。我这种独立开发者,(之前写全栈,和面试官争吵了一会儿啊,hah观点不同,会java,数据库,前端,android的简直不被看好。主要是不太精通)面试劣势。都是问一些集群,并发,大数据,分布式的东西,看来普通的java程序员混不下去了。hah。所以也学习一下吧~在综合考虑对spring也是比较熟悉的情况下,想学习spr
Wesley13 Wesley13
4年前
HGDB分区表的使用与管理
目录文档用途详细信息文档用途了解HGDB分区表的简单使用详细信息1.简介数据库表分区把一个大的物理表分成若干个小的物理表,并使得这些小物理表在逻辑上可以被当成一张表来使用。一般来讲我们把上述说明中的大的物理表称为父表/主表,小的物理表称为子表/分区表。主表/父表/MasterTable 该表是创建子表的模板。它是
Stella981 Stella981
4年前
Redis基础:持久化
什么是持久化?简单来讲就是将数据放到断电后数据不会丢失的设备中,也就是我们通常理解的硬盘上。Blog:博客园个人什么是持久化?简单来讲就是将数据放到断电后数据不会丢失的设备中,也就是我们通常理解的硬盘上。首先我们来看一下数据库在进行写操作时到底做了哪些事,主要有下面五个过程:客户端向服务端发送写操作(数据在客户端的内存中);
Stella981 Stella981
4年前
Python配置管理的几种方式
一、为什么要使用配置如果我们在较复杂的项目中不使用配置文件,我们可能会面临下面的情况:你决定更改你的项目中数据库的host,因为你要将项目从测试环境转移到实际的上产环境中。如果你的项目中多个位置用到了这个host,那你不得不一个一个找到这些位置再修改成新的host。花了半天,然后过了一天,你发现项目在生产环境