@toc前言本文主要讲Python最常见的应用之一——网络数据获取，即爬虫：先介绍了网页和网络的基础知识，为从网页中获取数据打好基础；接下来以两个案例介绍从网络中获取数据和处理数据的不同方式，以进一步认识Python爬虫和数据处理。一、网络和网页基础知识1.数据来源数据源有很多，可以从数据库中获取，可以从文件中获取，也可以从

「数仓宝贝库」，带你学数据！导读：本文以餐饮行业的数据挖掘应用为例，详细介绍数据挖掘的建模过程。数据挖掘的基本任务包括利用分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法，帮助企业提取数据中蕴含的商业价值，提高企业的竞争力。对餐饮企业而言，数据挖掘的基本任务是从餐饮企业采集各类菜品销量、成本单价、会员消费、促销活动等内部数据，

经常在面试或者其他文章看到关于模块化的问题，之前也只是寥寥看了几次，对于CommonJS，AMD，ES6也说不出个所以然，于是今天抽空好好看了红宝书第4版关于模块化的介绍，这里记录一下。理解模块模式初衷在开发中肯定有设计大量三方库或者业务逻辑代码，较好的方式是将其分割为多个小模块，最后以一定的方式连接起来

对于一个表中非主键列的指定列，唯一(UNIQUE约束|:强制非主键上的实体完整性的约束。UNIQUE约束确保未输入重复值，并创建一个索引以增强性能。)约束确保不会输入重复的值。例如，在employee表中emp\_id列是主键，可以定义一个唯一约束来要求表中社会安全号码(ssn)列的项是唯一的。在数据库关系图中，可以使用"索引/键"属性页创建、

一般情况下，我们会设置MySQL默认的字符编码为utf8，但是近些年来，emoji表情的火爆使用，给数据库带来了意外的错误，就是emoji的字符集已经超出了utf8的编码范畴😄令人抓狂的字符编码问题谈到字符编码问题，会让很多人感到头疼，这里不在深究各个字符编码的特点和理论，这里只说下Unicode和utf8字符编码的关系

闲下来看了看Git的命令：一：Git是什么？Git是目前世界上最先进的分布式版本控制系统。二：SVN与Git的最主要的区别？SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完后，需要把自己做完的活推送到中央服务器

工厂模式在大型系统中，许多代码依赖于少数几个关键类。需要更改这些类时，可能会出现困难。例如，假设您有一个从文件读取的 User 类。您希望将其更改为从数据库读取的其他类，但是，所有的代码都引用从文件读取的原始类。这时候，使用工厂模式会很方便。_工厂模式_ 是一种类，它具有为您创建对象的某些方法。您可以使用工厂类创建对象，而不直接使用 

语法join用于根据两个或多个表中的列之间的关系，从这些表中查询数据。Join和Key有时为了得到完整的结果，我们需要从两个或更多的表中获取结果。我们就需要执行join。数据库中的表可通过键将彼此联系起来。主键（PrimaryKey）是一个列，在这个列中的每一行的值都是唯一的。在表中，每个主键的值都是唯一的。这

1\.什么是表分区？表分区，是指根据一定规则，将数据库中的一张表分解成多个更小的，容易管理的部分。从逻辑上看，只有一张表，但是底层却是由多个物理分区组成。2\.表分区与分表的区别分表：指的是通过一定规则，将一张表分解成多张不同的表。比如将用户订单记录根据时间成多个表。分表与分区的区别在于：

Redis分区分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集。分区的优势通过利用多台计算机内存的和值，允许我们构造更大的数据库。通过多核和多台计算机，允许我们扩展计算能力；通过多台计算机和网络适配器，允许我们扩展网络带宽。分区的不足redis的一些特性在分区方面表现的不是很好：