Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
简
4年前
彻底理解安卓应用无响应机制
引言不论从事安卓应用开发,还是安卓系统研发,应该都遇到应用无响应(ANR,ApplicationNotResponding)问题,当应用程序一段时间无法及时响应,则会弹出ANR对话框,让用户选择继续等待,还是强制关闭。绝大多数人对ANR的了解仅停留在主线程耗时或CPU繁忙会导致ANR。面试过无数的候选人,几乎没有人能真正从系统级去梳理清晰ANR的
DevOpSec DevOpSec
4年前
【转载】JVM性能调优
1、JVM调优目标:使用较小的内存占用来获得较高的吞吐量或者较低的延迟。程序在上线前的测试或运行中有时会出现一些大大小小的JVM问题,比如cpuload过高、请求延迟、tps降低等,甚至出现内存泄漏(每次垃圾收集使用的时间越来越长,垃圾收集频率越来越高,每次垃圾收集清理掉的垃圾数据越来越少)、内存溢出导致系统崩溃,因此需要对JVM进行调优,使得程序在正
Stella981 Stella981
3年前
Redis 发布订阅模式(7)
列表的局限前面我们说通过队列的rpush和lpop可以实现消息队列(队尾进队头出),但是消费者需要不停地调用lpop查看List中是否有等待处理的消息(比如写一个while循环)。为了减少通信的消耗,可以sleep()一段时间再消费,但是会有两个问题:1、如果生产者生产消息的速度远大于消费者消费消息的速度,List会占用大量的内存。2、
Stella981 Stella981
3年前
PHPCPP安装以及hello world
  学习了一段时间做PHP扩展开发,由于C的难度较大,内存回收,指针每一个都可以能让初学者望而却步,加上C开发效率太低,小型企业对于这种高大上的开发,还是少触碰为好。但是有时候PHP开发执行效率确实太低,而且存在很大的资源浪费,并且这个又是无法避免的(比如excel),混合开发让项目的迁移和可维护性都降低了。  一次偶然机会发现了PHPCPP,C
Wesley13 Wesley13
3年前
PHP超时处理全面总结
【概述】在PHP开发中工作里非常多使用到超时处理到超时的场合,我说几个场景:1.异步获取数据如果某个后端数据源获取不成功则跳过,不影响整个页面展现2.为了保证Web服务器不会因为当个页面处理性能差而导致无法访问其他页面,则会对某些页面操作设置3.对于某些上传或者不确定处理时间的场合,则需要对整个流程中所有超时设置为无限,否则任何一个环节设置
Wesley13 Wesley13
3年前
5个php实例,细致说明传值与传引用的区别
今天有个同事问我传值和传引用有什么不同,这让我想起了,刚学php的时候,那个时候做过很多项目,做东西多,就以为自己php掌握的差不多了,随着时间的推移,越深入的学习,越觉得自己知道的真的很少,很少。哈哈,会用只是初级阶段,要了解原理是什么,这样才能更好去运用,费话不多说1.传值:是把实参的值赋值给行参,那么对行参的修改,不会影响实参的值
Easter79 Easter79
3年前
Tidb的日常
TiDB也使用了一段时间,持续记录一些日常,防止大家也踩到同样的坑~🥕raftsynclog目前,公司使用的Tidb分别部署在生产环境和测试环境,生产环境的是在阿里云,而测试环境是在公司的机房。周末的时候,机房不知道为啥断过电,什么都不知道的我,周一来到公司发现测试环境的Tidb挂了(这是肯定的,因为停过电嘛~),然后就是怎么都启动
Wesley13 Wesley13
3年前
INNODB锁(2)
在上一篇文章写了锁的基本概述以及行锁的三种形式,这一篇的主要内容如下:一致性非锁定读自增长与锁外键和锁一致性性非锁定读一致性非锁定读是InnoDB通过多版本并发控制(MVCC,multiversionconcurrencycontrol)的方式来读取当前执行时间数据库中的最近一次快照,如果读取的行正在执行
Stella981 Stella981
3年前
Silverlight游戏研发手记:(五)SLG动感增效之《幻影粒子》
随着电子技术发展与普及,人们使用电脑时间越来越长,由于人类自身身体比如眩晕症、眼球衰老等客观因素存在,未来玩家会更加倾向于低视疲劳度/低神经刺激的绿色健康休闲2D游戏而非3D。《希魔复活》2D/3D双版本发售后截然不同的反响再一次向印证了2D游戏是永远不会被3D取代的,甚至超越!(https://www.oschina.net/action/GoToLi