Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
DaLongggggg DaLongggggg
3年前
python刷题-字母图形
问题描述利用字母可以组成一些美丽的图形,下面给出了一个例子:ABCDEFGBABCDEFCBABCDEDCBABCDEDCBABC这是一个5行7列的图形,请找出这个图形的规律,并输出一个n行m列的图形。输入格式输入一行,包含两个整数n和m,分别表示你要输出的图形的行数的列数。输出格式输出n行,每个m个字符,为你的图形。样例输入57样例输
Karen110 Karen110
3年前
人工智能数学基础2:指数、方根及对数运算公式
本节主要介绍指数、方根及对数运算公式,这些公式都是基本的公式,但使用得比较多。一、指数公式二、方根运算在a、b大于0的情况下:三、对数运算2.1、对数的定义如果ba的n次方,即a的n次方等于b(a0且a不等于1),那么数n就叫做以a为底的b的对数,记作:其中,a叫做对数的底数,b叫做真数,n叫做以a为底b的对数。由此可见,在某种情况下(底数大于0,
DaLongggggg DaLongggggg
3年前
python刷题-数列排序
资源限制时间限制:1.0s内存限制:512.0MB问题描述  给定一个长度为n的数列,将这个数列按从小到大的顺序排列。1<n<200输入格式  第一行为一个整数n。  第二行包含n个整数,为待排序的数,每个整数的绝对值小于10000。输出格式  输出一行,按从小到大的顺序输出排序后的数列。样例输入583649样例输出34689···
Aimerl0 Aimerl0
3年前
每日一题(二)
2021.01.25不知道为什么,腾讯管家扫毒的时候把我这篇文章扫出来了,然后我顺手给清掉了,只能选择重新发一遍了写在前面每日一题每十题开一篇新文章RoarCTF2019EasyCalc刚进来是有一个计算器的功能,试了好大好大的数,没有发生溢出情况,查看源代码发现了东西访问calc.php发现过滤的php代码<?phperrorre
Wesley13 Wesley13
3年前
NGINX 502 BAD GATEWAY的解决办法
出现502badgateway错误的原因1.phpfpm进程数不够用2.Linux内核打开文件数量小3.脚本执行时间超时4.缓存设置比较小网站间歇性出现502,第一反应不是程序的问题,而是nginx服务器的问题,因为这是代理服务器出现的问题,代理服务器并没有安装php排除第一中情况。于此想到的是可能是超时,所以我把超时修
Wesley13 Wesley13
3年前
MYSQL数据库 LIMIT限定特定行数
最近在运行Informatica全量抽取时候,系统报了很多莫名的错误,日志也没有显示警告信息。按有限的日志信息查询,可能的原因一般是磁盘空间不够,内存不够,或者是数据量量太大,缓存爆了。经排查,是加载的数据量过大,导致了数据加载的失败。只好通过限制每次的加载数量,分批多次进行跑数据了。业务系统使用的是Mysql数据库,因此在ODS层抽数时候,使用
Stella981 Stella981
3年前
JavaScript 位运算笔记
之前一直以为,在js的位运算中,双精度浮点数在内部会先被转成32位整数,再执行位运算,然后再转为64位数值,因此效率极低。今天实验发现,对浮点执行位运算只会导致数值不准确,而不会导致效率低下,相比乘法,左移位要快66%(其实就是浮点运算与整数运算的差距)。以下结果在IE7~IE10上测试得出技巧1:移位运算比乘除法快(当因数是2的幂数)
Wesley13 Wesley13
3年前
CNN中常用的四种卷积详解
卷积现在可能是深度学习中最重要的概念。正是靠着卷积和卷积神经网络,深度学习才超越了几乎其他所有的机器学习手段。这期我们一起学习下深度学习中常见的卷积有哪些?1\.一般卷积卷积在数学上用通俗的话来说就是输入矩阵与卷积核(卷积核也是矩阵)进行对应元素相乘并求和,所以一次卷积的结果的输出是一个数,最后对整个输入输入矩阵进行遍历,
Stella981 Stella981
3年前
Spark Core读取ES的分区问题分析
ES也是比较火热,在日志数据分析,规则分析等确实很方便,说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程,有需要的暂时别购买,到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试,面试管问了一下,Spark分析ES的数据,生成的RDD分区数跟什么有关系呢?稍微猜测一下就能想到