前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

一、软件工程学概述1.1软件的生命周期1.定义：软件的产生直到报废或停止使用的生命周期。1.分为三个时期:软件定义、软件开发、运行维护（软件维护）。1.软件定义时期分为三个阶段：问题定义、可行性研究和需求分析、1.开发时期分为四个阶段：总体设计、详细设计、编码和单元测试、综合测试。1.维护时期主要是使软件持久地满足用户的需要，

概述由于容器本身是非持久化的，因此需要解决在容器中运行应用程序遇到的一些问题。首先，当容器崩溃时，kubelet将重新启动容器，但是写入容器的文件将会丢失，容器将会以镜像的初始状态重新开始；第二，在通过一个Pod中一起运行的容器，通常需要共享容器之间一些文件。Kubernetes通过存储卷解决上述的两个问题。在Docker有存储卷的概念卷，但D

郝朝阳，宜搜科技，运维工程师，负责前端运维工作。专注于运维自动化的实现。致力于DevOps思想的推广，帮助企业形成形成自有文化的运维体系建设。一，Redis简单介绍Redis是一个高性能的keyvalue非关系型数据库，由于其具有高性能的特性，支持高可用、持久化、多种数据结构、集群等，使其脱颖而出，成为常用的非关系型数据库。此

我们知道InnoDB采用WriteAheadLog策略来防止宕机数据丢失，即事务提交时，先写重做日志，再修改内存数据页，这样就产生了脏页。既然有重做日志保证数据持久性，查询时也可以直接从缓冲池页中取数据，那为什么还要刷新脏页到磁盘呢？如果重做日志可以无限增大，同时缓冲池足够大，能够缓存所有数据，那么是不需要将缓冲池中的脏页刷新到磁盘。但是，通常会有以下几

Kafka消息的存储Kafka的设计基于一种非常简单的指导思想：不是要在内存中保存尽可能多的数据，在需要时将这些数据刷新（flush）到文件系统，而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中，但不进行刷新数据的任何调用。实际中这样做意味着，数据被传输到OS内核的页面缓存中了，OS随后会将这些数据刷新到

在复习Java内存机制的过程中有一些新问题，自问自答，做个记录。新生代是java堆内存的一部分。堆内存分新生代和老生代两大块，也有把堆内存分为新生代老生代永久代(持久代)三块的说法。（不过这种说法应该逐渐被淘汰，因为从java7开始永久代就已经被移除了。）新生代继续细分，可以划分出Eden，SurvivorFrom，SurvivorTo三块，Ed

数据处理流程：graphLR心率数据心率仓库心率仓库根据采样率获取心率数据根据采样率获取心率数据打印数据思路篇：整个控件分成上下两层。上层画线条，下层画表格线条篇1.线条决定使用Path来画，而Path的数据，则使用一个Int

 Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Springboot的基本搭建和配置我

机械加工行业作为制造业的核心领域，面临多品种小批量、工艺复杂、交期紧张、质量控制难等挑战。MES（制造执行系统）通过数字化手段打通生产现场与管理层的信息壁垒，成为企业实现精益生产和智能升级的关键工具。