今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

Postman使用1.什么是接口：分为内外部接口，软件给外部提供的一种服务，用于数据传输2.软件为什么需要接口：接口能让内部数据被外部进行修改3.为什么要做接口测试：前后端分离，开发进度不一，测试左移，尽早测试。基于安全考虑，前端认证容易绕过，需要测试接口安全性。接口测试的本质：就是测试接口能否正常的交互数据，权限控制以及异常场景接口测试协议1.w

联邦学习和GNN都是当前AI领域的研究热点。联邦学习的多个参与方可以在不泄露原始数据的情况下，安全合规地联合训练业务模型，目前已在诸多领域取得了较好的结果。GNN在应对非欧数据结构时通常有较好的表现，因为它不仅考虑节点本身的特征还考虑节点之间的链接关系及强度，在诸如：异常个体识别、链接预测、分子性质预测、地理拓扑图预测交通拥堵等领域均有不俗表现。

HDFS设计前提与目标1.硬件错误是常态而不是异常。HDFS被设计为运行在普通硬件上，所以硬件故障时正常的，HDFS可能由成百上千的服务器节点构成，每个服务器节点上都存储着文件系统的部分数据，而HDFS的每个组件随时都有可能出现故障。因此，错误检测并快速自动恢复是HDFS的最核心的设计目标。2.流式数据访问。运行在HDFS上的应用主要是

全局traceId关于链路追踪，在微服务的趋势下，一次调用的日志信息分布在不同的机器上或目录下，当需要看一条链路调用所有的日志信息时，这是个比较困难的地方，我们虽然有ELK,Sentry等日志异常收集分析工具，但是如何把信息串起来也是一个关键的问题。我们一般的做法是在系统调用开始时生成一个traceId，并且它伴随着一

  简单的说，K近邻算法是采用不同特征值之间的距离方法进行分类。  该方法优点：精确值高、对异常值不敏感、无数据输入假定  缺点：计算复杂度高、空间复杂度高  适用范围：数据型和标称型  现在我们来讲KNN算法的工作原理：存在一个样本数据集，也称作训练样本集，并且样本中每条数据都存在标签。将新输入的没有标签的数据与训练样本数据集中

前言    在实际的项目开发中，我们会遇到许多需要通过程序发送邮件的场景，比如异常报警、消息、进度通知等等。一般情况下我们使用原生的SmtpClient类库居多，它能满足我们绝大多数场景。但是使用起来不够简洁，许多场景需要我们自行封装方法去实现，而且代码量非常可观。庆幸的是，我们有一款非常棒的组件，能满足我们绝大多数应用场景，而且使用简单功能强大

导读：如何在众多异常性能指标中，找出最核心的那一个，进而定位性能瓶颈点，最后进行性能调优。整篇文章会按照代码、CPU、内存、网络、磁盘等方向进行组织，针对对某一个优化点，会有系统的「套路」总结，便于思路的迁移实践。1.代码相关遇到性能问题，首先应该做的是检查否与业务代码相关——不是通过阅读代码解决问题，而是通过

Raft分布式一致性算法原理(选举和同步)一.背景在集群环境下，很容易出现单节点故障的问题，那么我们就需要进行集群部署，但是当集群部署的环境下，我们如何保证工作有序的调度与通信并且保证一致性呢，当客户端发送一连串指令，我们需要在集群环境下，所有服务机器最终要保证一致性，而且在出现一系列异常并且恢复

应用异常时，基本可以分为服务访问不通和服务响应慢两个大类。其中服务响应慢的问题定位非常棘手，很多无头案。应用团队有日志和追踪，对于自认为的不可能不合理的事情都会甩给基础设施团队，又由于基础设施团队现有的监控数据缺乏应用的观测视角，通常成为一切「不是我的问题」超自然现象的终极背锅侠，其中以网络团队尤为严重。