@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取，对留言详情、回复详情和评价详情进行提取保存，并用于之后的数据分析和进一步处理，可以对政府的决策和电子政务的实施提供依据。网站链接是，任意选择一条留言点击进入详情页后，如下对于图中标出的数据，均要进行爬取，以此构成一条留言的组成部分。2.环境配置（1）P

@toc一、项目概述1.项目背景一天，一个朋友给我发来一条链接，让我帮他看看怎么能获取到网页中所有的图片链接。我打开链接一看，页面的标题是阴阳师:百闻牌，下面有选择栏，再下边就是各种奇奇怪怪的看不懂的图片，我就问他这是什么呀？他说是一个游戏阴阳师里边的卡牌。怪不得我没听过，因为我不玩游戏，一个准程序猿不玩游戏一定

@toc一、商业数据分析概念1.商业数据分析引入先列举几个案例：（1）请估计一下2020年八月份在北京卖出有多少双鞋子？显然，这是一个很开放的问题，并不像在学校里的题目都有标准答案，是需要经过自己的思考、定义和分析的。（2）Corley主营在网上卖手机壳，根据销售数据，发现8月份比7月份购买手机壳的顾客数量下降了10%，怎么回事？这也是一个开放

\TOC\1.NIO初识反应器模式　　使用单线程模拟多线程，提高资源利用率和程序的效率，增加系统吞吐量。下面例子比较形象的说明了什么是反应器模式：　　一个老板经营一个饭店，　　传统模式来一个客人安排一个服务员招呼，客人很满意；（相当于一个连接一个线程）　　后来客人越来越多，需要的服务员越来越多，资源条

\TOC\MySQL通讯协议（1）数据类型对于大部分开发者来说，并不需要了解MySQL客户端和服务端是如何交互的。但是当业务发展到一定阶段，数据量增大时，分库分表就成了不得不考虑的一种优化措施。目前主流的方案主要有两种，一种是本地代理连接、分析重写SQL、路由、执行、合并结果，一种是把这些放到中间件里。而后一种就

\TOC\Django中间件\\中间件介绍：\\中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件都负责做一些特定的功能。说的直白点中间件就是帮助我们在视图函数执行之前和执行之后都可以做一些额外的操作，它本质上是一个

\TOC\前言本博客介绍Java中间件的一些知识，仅仅是一些知识储备。中间件中间件概念中间件：中间件是一种介于操作系统和应用软件之间的一种软件，它使用系统软件所提供的基础服务（功能），衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功能共享的目的。若是以新一代的中间件系列产品来组合应用，同时配合以可复

\TOC\可靠数据传输原理如何在一条不可靠的信道上得到可靠的传输？不可靠的原因：可能出现比特差错、丢包停等传输下的情况从简单到难的情况一步步分析：1.经过完全可靠信道的可靠数据传输这时只需要一发一收，值得注意的是：发送端的发送动作是由上层（应用层）触发，接收端的接收动作是由下层（网