Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Stella981 Stella981
3年前
Elasticsearch——DevTools
RESTful接口URL的格式是:http://cluster的地址:9200/其中,index,type是必须提供的(index可以理解为数据库;type理解为数据表);id是可选的(相当于数据库表中记录的主键是唯一的。如果不提供,Elasticsearch会向动生成。增、删、改,查分别对应HTTP请求的PUT、
Wesley13 Wesley13
3年前
MySQL表介绍
MySQLInnoDB表介绍一、索引组织表在InnoDB引擎中,表都是根据主键顺序存放的。这种存储方式称为索引组织表,在InnoDB引擎中,每张表都有逐渐。如果没有显示定义主键,则引擎会按照以下方式选择或创建主键。(1)、判断表是否有非空唯一索引,如果有,则该字段为主键。如果有多个非空唯一索引,则选择第一个定义的非空索引字段作为
Stella981 Stella981
3年前
Mongo _id 生成和使用
MongoDB中我们经常会接触到一个自动生成的字段:”\_id”,类型为ObjectId。ObjectId构成之前我们使用MySQL等关系型数据库时,主键都是设置成自增的。但在分布式环境下,这种方法就不可行了,会产生冲突。为此,MongoDB采用了一个称之为ObjectId的类型来做主键。ObjectId是一个12字节的BSON类型字符串。按照字节顺
Easter79 Easter79
3年前
SQL JOIN语法,以及JOIN where 和and区别,还有where和join效率问题。
语法join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。Join和Key有时为了得到完整的结果,我们需要从两个或更多的表中获取结果。我们就需要执行join。数据库中的表可通过键将彼此联系起来。主键(PrimaryKey)是一个列,在这个列中的每一行的值都是唯一的。在表中,每个主键的值都是唯一的。这
Stella981 Stella981
3年前
BeetlSQL 3.2.6 发布,建议升级
本次发布修复了3.2以来重构导致batch操作未关闭数据库链接,此Bug不影响与Spring等含事务管理框架的代码,但影响非事务下的代码,建议升级修复batch更新和插入导致数据库连接未关闭增强代码生成中指定代码生成目录如果不存在,则先建立此目录兼容2.x,中通过DbStyle来指定数据库主键的使用方式,而强制要求使用
Wesley13 Wesley13
3年前
Oracle修改主键约束
  项目需求,有张表,原有三个联合主键,现在需要再加一个字段进去,而恰恰这个字段可以为空的。去数据库捞了一把,还好数据都不为空:SQLselectcount()fromt_wlf_recordtwheret.acceptinvitetimeisnull;COUNT()
Wesley13 Wesley13
3年前
56、数据库设计(铁路购票系统)作业评改
实验目的:1、根据需求完成数据库设计建模,熟练使用ER模型;2、在数据库设计方案基础上实现为数据库。    作业要求(模拟火车票购票系统):1、以ER模型展示你的设计方案,要求包含完整的设计,有实体名称、实体属性、主键,并在图中体现实体间的关系;注:ER模型,可以手绘后拍照,也可以直接在WORD中绘制,还可以使用V
Stella981 Stella981
3年前
SQL JOIN语法,以及JOIN where 和and区别,还有where和join效率问题。
语法join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。Join和Key有时为了得到完整的结果,我们需要从两个或更多的表中获取结果。我们就需要执行join。数据库中的表可通过键将彼此联系起来。主键(PrimaryKey)是一个列,在这个列中的每一行的值都是唯一的。在表中,每个主键的值都是唯一的。这
Stella981 Stella981
3年前
Mybatisplus在实体类上设置@KeySequence,在插入时对主键字段自动填充复杂计算值
在启动类中使用@EnableKeyGen启动主键自定义主键填充功能注意如果自己实现了IKeyGenerator会与@EnableKeyGen冲突@SpringBootApplication@EnableMPP@EnableKeyGenpublicclassPlusDemoApplication{