@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取，对留言详情、回复详情和评价详情进行提取保存，并用于之后的数据分析和进一步处理，可以对政府的决策和电子政务的实施提供依据。网站链接是，任意选择一条留言点击进入详情页后，如下对于图中标出的数据，均要进行爬取，以此构成一条留言的组成部分。2.环境配置（1）P

背景在像微服务这样的分布式架构中，经常会有一些需求需要你调用多个服务，但是还需要确保服务的安全性、统一化每次的请求日志或者追踪用户完整的行为等等。你可能需要一个框架来帮助你实现这些功能。比如说帮你在一些关键路径的请求上配置必要的鉴权或超时策略。那样服务间的调用会被多层中间件所过滤并检查，确保整体服务的稳定性。设计目标

上节中我们知道了SentinelGo大概能做什么事情，最简单的例子如何跑起来其实我早就写好了本系列的第二篇，但迟迟没有发布，感觉光初始化流程显得有些单一，于是又补充了责任链模式，二合一，内容显得丰富一些。初始化流程初始化做了什么SentinelGo初始化时主要做了以下2件事情：通过各种方式（文件、环境变量等）载入全局配置启动异步的定时任务或服务

开始搭建项目框架的时候,忽略了sql执行超时时间的问题.原本使用.net开发是,默认的超时时间是30s,这个时间一般一般sql是用不到的,但也不排除一些比较复杂或数据量较大的sql.而java中,如果不指定,默认超时时间是不做限制的,默认值为0.由于我们的项目采用Mybatis进行数据库操作,经过查看Mybaits相关文档,配置sql超时时间有两种

经过一个月的时间，在我遇到了很多“这个我不会做啊？”，“这个到底怎么做“的问题后，它终于成功上线了！下面总结一下整整一个月的时间我是如何开发JDRD，遇到的各种问题以及解决方案。JDRDESIGN\1\是京东零售设计中台的门户站点，展示京东零售设计服务平台的产品以及应用场景，特点是动效丰富、图片细节多、要求整站文案和外链可配置。项目最大的困

在这篇中，会继续接着前次的话题，通过具体的案例，介绍CoreOS为分布式和集群服务带来的便利。在前一个案例中，为了完成采集和管理分布在集群各个节点上的服务状态信息，我们通过Etcd的分布式存储特性，设计了一种解决分布式服务中应用运行的节点和时间均不确定的问题的监控方法。在这次的案例中，会在这种服务监控方案的基础上，继续实现将监控结果作为自动配置的反馈，从

以太网链路聚合以太网链路聚合一、以太网的链路聚合是Ethtrunk多链路汇聚，将多条物理链路变为一条Etrunk的逻辑链路，从而实现增加链路带宽的目的。链路聚合分为手工模式和LACP模式。1.手工模式手工模式下，EthTrunk的建立、成员接口的加入由手工配置，没有链路聚合控制协议LACP的参与。当需要在两个直连设备间提供一个较大的链路带宽而设备又不支

 近期略有点诸事不顺，趁略有闲余之时，玩起D3.js。之前实际项目中主要是用各种chart如hightchart、echarts等，这些图形库玩起来貌都是完美的，一切皆可配置，但几年前接触了D3之后，觉得前面那chart类库局限的地方在于，基本不可定制；而D3呢，你说了算，你想画出什么样的图，你说了算，自由度很大，当时就有点膜拜和仰慕，小打小闹的玩了几下，没

上周在工作中遇到了一个问题场景，即查询商品的配件信息时（商品：配件为1：N的关系），如若商品并未配置配件信息，则查数据库为空，且不会加入缓存，这就会导致，下次在查询同样商品的配件时，由于缓存未命中，则仍旧会查底层数据库，所以缓存就一直未起到应有的作用，当并发流量大时，会很容易把DB打垮。缓存穿透问题缓存穿透是指查询一个根本不存在的数

什么是消息总线？在微服务架构的系统中，我们通常会使用轻量级的消息代理来构建一个共用的消息主题让系统中所有微服务实例都连接上来，由于该主题中产生的消息会被所有实例监听和消费，所以我们称它为消息总线。在总线上的各个实例都可以方便地广播一些需要让其他连接在该主题上的实例都知道的消息，例如配置信息的变更或者其他一些管