今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

一、前言大家好，我是崔艳飞。工作中有时需要把A表中的经纬度点，从B表中匹配一个最近的点出来，用Mapinfo也可以实现，但处理速度慢，特别是数据量大时根本处理不动，此时用Python就能轻松实现，还能显示处理进度，详细如下。二、项目目标用Python实现两张表间最近点的计算。三、项目准备软件：PyCharm需要的库：pandas，xlrd，os

在MySQL数据库怎么加快查询速度，优化查询效率，主要原则就是应尽量避免全表扫描，应该考虑在where及orderby涉及的列上建立索引。　　建立索引不是建的越多越好，原则是：　　第一：一个表的索引不是越多越好，也没有一个具体的数字，根据以往的经验，一个表的索引最多不能超过6个，因为索引越多，对update和insert操作也会有性能的影响，涉及

需求：　　在本地电脑上的mysql中创建了一个数据库，并且在该数据库中创建了很多表，表中数据比较多；　　现在想换一台电脑，但是又不想重新建数据库、建表、造数据。解决方案：　　利用mysql提供的命令，在本地将所需数据和表导出成.sql文件；　　然后在另外一台电脑中使用mysql提供的命令，将导出的.sql文件导入，这样就能

有一次我女朋友让我帮忙解一个excel表格的保护密码，然后~用了宏网上下载来的Excel经常会有工作表保护，也就是无法修改，妄图做任何修改的时候你就会看见这句话：您试图更改的单元格或图表位于受保护的工作表中。若要进行更改，请取消工作表保护。您可能需要输入密码。那么这篇文章可以简单的帮你解决这个问题...因为Excel中内置了VisualBasi

分析和优化的基本步骤如下：1、如果是SQL语句的写法问题，我们可以通过在不更改业务逻辑的情况下改写SQL来加以解决；2、如果是不必要的全表扫描/排序而导致了目标SQL的性能问题，我们可以通过建立合适的索引（包括函数索引、位图索引等）来加以解决；3、如果是表或者索引的不良设计导致的目标SQL的性能问题，我们可以通过重新设计表/索引

hbase存储：HBase存储数据其底层使用的是HDFS来作为存储介质，HBase的每一张表对应的HDFS目录上的一个文件夹，文件夹名以HBase表进行命名（如果没有使用命名空间，则默认在default目录下），在表文件夹下存放在若干个Region命名的文件夹，Region文件夹中的每个列簇也是用文件夹进行存储的，每个列簇中存储就是实际的数据，以HF

银华的面试比较变态,不做笔试题,去了直接开聊,逮住一个题使劲往里问,直到问住你为止.....1.数据库中两张表结构相同，怎么把一张表中的数据复制到另一张表2.MyBatis中<where标签和where有什么区别3.什么是JSON，有什么用4.JSON除了在前后端传输数据外还有那些应用。5.JSON的｛｝是干什么用的6.JQue

面试的技术名词面试一般会遇到一些名词，其实可能自己都知道其中的道理，但是因为没了解过，当时心里就一句WC，然后弱弱答一句：不好意思这个我只是听过，具体还没了解过；回表覆盖索引最左前缀匹配索引下推1、回表所谓的回表就是因为普通索引的叶子节点中存储的不是行数据而是主键的值，然后通过主键值

1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR