希望的天 希望的天
3年前
MySql架构设计:如何合理利用第三方 Cache 解决方案?
使用较为成熟的第三方解决方案最大的优势就在于在节省自身研发成本的同时,还能够在互联网上面找到较多的文档信息,帮助我们解决一些日常遇到的问题还是非常有帮助的。目前比较流行的第三方Cache解决方案主要有基于对象的分布式内存Cache软件Memcached和嵌入式数据库编程库BerkeleyDB这两种。下面我将分别针对这
Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Easter64 Easter64
3年前
MySQL语句优化
在MySQL数据库怎么加快查询速度,优化查询效率,主要原则就是应尽量避免全表扫描,应该考虑在where及orderby涉及的列上建立索引。  建立索引不是建的越多越好,原则是:  第一:一个表的索引不是越多越好,也没有一个具体的数字,根据以往的经验,一个表的索引最多不能超过6个,因为索引越多,对update和insert操作也会有性能的影响,涉及
Stella981 Stella981
3年前
Spring Boot 1 和 Spring Boo 2的差别
有差别,但差别不大。基本上基于SpringBoot的代码不需要改动,但有些配置属性和配置类,可能要改动,改动原因是配置已经不存在或者改名类已经不存在改名听着挺吓人,但我实际切换过程中改动的地方很少。一般正常的MVC,数据库访问这些都不需要改动,下面按照我写的《SpringBoot2精髓:从构建小系统到架构分布式大系统》(https://ww
Stella981 Stella981
3年前
Redis实现之对象(一)
对象前面我们介绍了Redis的主要数据结构,如:简单动态字符串SDS、双端链表、字典、压缩列表、整数集合等。Redis并没有直接使用这些数据结构来实现键值对数据库,而是基于这些数据结构创建了一个对象系统,这个系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象,每种对象都用到了至少一种我们之前介绍的数据结构通过这五种
Stella981 Stella981
3年前
Spring Boot 学习(一)感慨
老是在传统行业混,面试了几家公司。我这种独立开发者,(之前写全栈,和面试官争吵了一会儿啊,hah观点不同,会java,数据库,前端,android的简直不被看好。主要是不太精通)面试劣势。都是问一些集群,并发,大数据,分布式的东西,看来普通的java程序员混不下去了。hah。所以也学习一下吧~在综合考虑对spring也是比较熟悉的情况下,想学习spr
Wesley13 Wesley13
3年前
oracle自动巡检脚本生成html报告
一、前言1、由于每月月底都需要对一些oracle数据库环境进行一些简单的巡检,而通过运行一条条语句,并依依去截图保存到word文档中效率低下,所以这里我就将手工巡检过程编写成shell脚本来提高巡检效率,同时也免去了截图照片图片不清晰的问题。2、脚本简单容易二次编辑,本文仅提供简单巡检的事项,如数据表空间是否自动扩展、是否开启归档等,
Wesley13 Wesley13
3年前
HGDB分区表的使用与管理
目录文档用途详细信息文档用途了解HGDB分区表的简单使用详细信息1.简介数据库表分区把一个大的物理表分成若干个小的物理表,并使得这些小物理表在逻辑上可以被当成一张表来使用。一般来讲我们把上述说明中的大的物理表称为父表/主表,小的物理表称为子表/分区表。主表/父表/MasterTable 该表是创建子表的模板。它是
Wesley13 Wesley13
3年前
0206银华面试回顾
银华的面试比较变态,不做笔试题,去了直接开聊,逮住一个题使劲往里问,直到问住你为止.....1.数据库中两张表结构相同,怎么把一张表中的数据复制到另一张表2.MyBatis中<where标签和where有什么区别3.什么是JSON,有什么用4.JSON除了在前后端传输数据外还有那些应用。5.JSON的{}是干什么用的6.JQue
Stella981 Stella981
3年前
Redis基础:持久化
什么是持久化?简单来讲就是将数据放到断电后数据不会丢失的设备中,也就是我们通常理解的硬盘上。Blog:博客园个人什么是持久化?简单来讲就是将数据放到断电后数据不会丢失的设备中,也就是我们通常理解的硬盘上。首先我们来看一下数据库在进行写操作时到底做了哪些事,主要有下面五个过程:客户端向服务端发送写操作(数据在客户端的内存中);