今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

1.什么是CookieHttp协议一共有五大特点：1.支持客户/服务器模式;2.简单快速;3.灵活;4.无连接;5.无状态。Http无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。早期这么做的原因是HTTP协议产生于互联网，因此服务器需要处理同时面向全世界数

前言为什么会突然写这个blog呢？因为之前有只青蛙小姐姐问我，能不能教她join，当时上大学老师怎么教她也不会。然后本来想面对面交流给她说明，后面阴错阳差，就延误到了现在。所以我想，我可以提前准备好我想说的东西，记录下来，顺便自己也回忆下join(ps:为什么我需要回忆？因为之前的公司都是面向互联网的、高并发的业务，用join的话，很容易导致数

30年前，LEAD由MoeDaher和RichLittle创建，其愿景是通过易于使用的软件开发工具包提供创新技术，从而帮助开发人员构建更好的应用程序。跨越这个重要的里程碑，LEAD继续通过发布LEADTOOLS版本21来实现这一愿景。该版本以新的前沿库和功能（包括可自动搜索，查找并采取行动的智能文档分析器）突出显示。基于任何结构化或非结构化形式的感兴趣数

最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展，本想着针对多个业务开发多个producer进行并行的生产数据，并通过统一的线程池进行管理，结果在用jconsole进行观察的时候，发现线程数一路飙升。本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建，并且暂时无法销毁。一个叫sen

最近在运行Informatica全量抽取时候，系统报了很多莫名的错误，日志也没有显示警告信息。按有限的日志信息查询，可能的原因一般是磁盘空间不够，内存不够，或者是数据量量太大，缓存爆了。经排查，是加载的数据量过大，导致了数据加载的失败。只好通过限制每次的加载数量，分批多次进行跑数据了。业务系统使用的是Mysql数据库，因此在ODS层抽数时候，使用

DDos简介DDos是分布式拒绝服务攻击，简单的说就是用和科技树控制不计其数的电脑或者服务器，为一个或者多个网站（服务器）发送连接请求，由于这样的垃圾请求太多，导致正常的请求进不来，造成网站或者服务器崩溃。比较猛的DDos共计，请求的数据可以达到每秒钟10GB。DDos攻击记录12月2021日间，部署在阿里云上的知名游戏公司，遭

卷积现在可能是深度学习中最重要的概念。正是靠着卷积和卷积神经网络，深度学习才超越了几乎其他所有的机器学习手段。这期我们一起学习下深度学习中常见的卷积有哪些？1\.一般卷积卷积在数学上用通俗的话来说就是输入矩阵与卷积核（卷积核也是矩阵）进行对应元素相乘并求和，所以一次卷积的结果的输出是一个数，最后对整个输入输入矩阵进行遍历，

引言前一篇博文，已经完整的介绍了数据库脱敏的场景及方案，来自京东数科的ShardingJDBC开源项目通过对数据源中间代理的方式透明化的实现了这个功能，但是，功能虽然实现了，sql兼容的小问题还是很多，比如目前不支持子查询，数据库定义的关键字不允许使用，等等问题，反观我们需要加解密的字段，其实相比业务的sql来说占比非常小，即使遇

“有的人熬夜写论文，有的人4点不睡合成大西瓜，他们都有光明的未来。”“有人相爱，有人夜里看海，有人合成大西瓜一整天合不出来。”要说今年中国最火爆的游戏，合成大西瓜绝对能算一个，甚至不少人在周末为了它熬了一个通宵。根据制作方微伞游戏的数据，截止到2月7日中午，合成大西瓜的玩家数已经接近9000万。!(http