今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

1.什么是CookieHttp协议一共有五大特点：1.支持客户/服务器模式;2.简单快速;3.灵活;4.无连接;5.无状态。Http无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。早期这么做的原因是HTTP协议产生于互联网，因此服务器需要处理同时面向全世界数

前言为什么会突然写这个blog呢？因为之前有只青蛙小姐姐问我，能不能教她join，当时上大学老师怎么教她也不会。然后本来想面对面交流给她说明，后面阴错阳差，就延误到了现在。所以我想，我可以提前准备好我想说的东西，记录下来，顺便自己也回忆下join(ps:为什么我需要回忆？因为之前的公司都是面向互联网的、高并发的业务，用join的话，很容易导致数

「数仓宝贝库」，带你学数据！导读：本文以餐饮行业的数据挖掘应用为例，详细介绍数据挖掘的建模过程。数据挖掘的基本任务包括利用分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法，帮助企业提取数据中蕴含的商业价值，提高企业的竞争力。对餐饮企业而言，数据挖掘的基本任务是从餐饮企业采集各类菜品销量、成本单价、会员消费、促销活动等内部数据，

30年前，LEAD由MoeDaher和RichLittle创建，其愿景是通过易于使用的软件开发工具包提供创新技术，从而帮助开发人员构建更好的应用程序。跨越这个重要的里程碑，LEAD继续通过发布LEADTOOLS版本21来实现这一愿景。该版本以新的前沿库和功能（包括可自动搜索，查找并采取行动的智能文档分析器）突出显示。基于任何结构化或非结构化形式的感兴趣数

最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展，本想着针对多个业务开发多个producer进行并行的生产数据，并通过统一的线程池进行管理，结果在用jconsole进行观察的时候，发现线程数一路飙升。本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建，并且暂时无法销毁。一个叫sen

DDos简介DDos是分布式拒绝服务攻击，简单的说就是用和科技树控制不计其数的电脑或者服务器，为一个或者多个网站（服务器）发送连接请求，由于这样的垃圾请求太多，导致正常的请求进不来，造成网站或者服务器崩溃。比较猛的DDos共计，请求的数据可以达到每秒钟10GB。DDos攻击记录12月2021日间，部署在阿里云上的知名游戏公司，遭

引言前一篇博文，已经完整的介绍了数据库脱敏的场景及方案，来自京东数科的ShardingJDBC开源项目通过对数据源中间代理的方式透明化的实现了这个功能，但是，功能虽然实现了，sql兼容的小问题还是很多，比如目前不支持子查询，数据库定义的关键字不允许使用，等等问题，反观我们需要加解密的字段，其实相比业务的sql来说占比非常小，即使遇

“有的人熬夜写论文，有的人4点不睡合成大西瓜，他们都有光明的未来。”“有人相爱，有人夜里看海，有人合成大西瓜一整天合不出来。”要说今年中国最火爆的游戏，合成大西瓜绝对能算一个，甚至不少人在周末为了它熬了一个通宵。根据制作方微伞游戏的数据，截止到2月7日中午，合成大西瓜的玩家数已经接近9000万。!(http

大家都知道亚马逊是全球最大的购物平台很多商品信息、用户评价等等都是最丰富的。但是对于爬虫来说，亚马逊的反爬机制应该也是数一数二的，想要获取亚马逊数据的人很多，但是真的能成功的确是少数，所以今天小编就手把手带大家，越过亚马逊的各种反爬机制爬取你想要的商品、评论等等有用信息。这里我们可以通过以下一些步骤去实现亚马逊数据的获取。一、使用requests的get请求