今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

我整理的jcsv工具类库简介：csv导入导出组件jcsv(https://my.oschina.net/lipengxs/blog/3094719)jcsv可以支持导入校验规则动态扩展，以及导出规则动态扩展。下面来介绍下扩展思路问题我们支持文件校验、题头校验、列校验等，规则已经多样化，已经覆盖了绝大多数场景，但是难免有一些个性化的校

前言：在做一个订单导出时，遇到多表都含有state这个字段，含有多个状态首先想到的是：casecolumewhenconditionthenresultwhenconditionthenresultwhenconditionthenresultelseresultend

导出文本文件：selectsx,mz,bzfromcr01intoOUTFILE'C:/Users/del/Desktop/a.txt'fieldsterminatedby':'LINESTERMINATEDBY'\r\n';导入恢复：

2018年11月25日，我在2003系统导出，报错，是客户TNS没建好（不过这个用plsql也能连上）!Oracle导入导出服务端和客户端版本要一致(https://s4.51cto.com/images/blog/202009/25/16d31485c8c83962c3e8cc1c4a0cae3c.png?xossprocessimage

EasyExcel是什么？快速、简单避免OOM的java处理Excel工具一、项目需求    从mongo库中查询数据，导出到excel文件中。但是动态导出的excel有多少列、列名是什么、有多少sheet页都需要动态获取。所以生成的excel也必须是动态生成，不能通过注解配置对象映射。而且写入的数据量，有可能达到100W级，使用传统的PO

从这一篇开始，大概会花四五篇的内容篇幅，归纳整理一下之前学过的SQL数据库，一来可以为接下来数据分析工作提前巩固基础，二来把以前学的SQL内容系统化、结构化。今天这一篇仅涉及MySQL与本地文本文件的导入导出操作，暂不涉及主要查询语言以及MySQL与R语言和Python的交互。平台使用NavicatPremium（当然你也可以使用MySQL自带的w

工作流模块\1.模型管理  ：web在线流程设计器、预览流程xml、导出xml、部署流程2.流程管理  ：导

MySQL导出的SQL语句在导入时如果数据量较大时会非常非常慢，经历过导入仅3000万条，用了近30个小时。在导出时合理使用几个参数，可以大大加快导入的速度。\e使用多VALUES的INSERT语法; \max\_allowed\_packetXXX客户端/服务器之间通信的缓存区的最大大小; \net\_buffer\_len

缘起目前生产环境（k8s部署的）发现某个服务被重启了，当前监控只有普罗米修斯，可以看到当时的内存和CPU都很高。服务接入了阿里的监控工具ARMS，但是没法导出当时的内存快照，ARMS虽然提供了手动导出的功能，但是人很难确定哪个时间点的内存快照是最合适的。虽