一、前言大家好，我是崔艳飞。众所周知，百度上直接搜索关键字会出来一大堆东西，时常还会伴随有广告出现，不小心就点进去了，还得花时间退出来，有些费劲。最近群里有个小伙伴提出一个需求，需要获取百度上关于粮食的相关讲话文章标题和链接。正好小编最近在学习爬虫，就想着拿这个需求来练练手。我们都知道，对Python来说，有大量可用的库，实现起来并不难，动手吧。二、项目

一、主从同步/复制　　通过持久化功能，Redis保证了即使在服务器重启的情况下也不会丢失（或少量丢失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。　　为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出

在当今互联网的浪潮下，网络给人们带来了巨大的经济效益和便利。广告商通过判断网络用户的位置来推送精确的广告；网络安全人员通过定位IP位置来确定网络故障的所在，及时排除故障。因此对于IP地址的实体地理位置定位技术的研究就显的愈发的重要。　　随着IP定位技术的发展，集成的IP定位系统就是将国内外优秀的IP定位数据库汇集到一起，附加抓取一些WHOIS和DNS.LOC

前言在日常开发中,需要大量对数据库进行增删改查操作。如果头铁的话,使用原生SQL是最好的,毕竟性能又高,又灵活。但是通常情况下,我们不是太需要那么苛刻的性能,也没有那么多刁钻的需求用原生SQL通常会使用简单快捷的ORM进行增删改查一起看学习一下Django的ORM操作吧表结构设计还是从实际角度出发。假设,现在我需要设计一个简单的图书管理系统,是那种买的书,不

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要

Mysql分库分表方案1.为什么要分表：当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等

最近客户现在提出系统访问非常慢，需要优化提升访问速度，在排查了nginx、tomcat内存和服务器负载之后，判断是数据库查询速度慢，进一步排查发现是因为部分视图和表查询特别慢导致了整个系统的响应时间特别长。知道了问题之后，就需要对查询比较慢的接口进行优化，但哪些接口需要优化、哪些不需要呢？只能通过日志里的执行时间来判断，那么如何才能知道每一个接口的执行时间呢

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要

前一篇文章我们完成了产品上下文的领域层，我们已经有了关于产品方面的简单领域逻辑，我们接着来实现产品上下文关于仓储持久化与应用层的用例如何来协调领域逻辑与仓储持久化。首先大家需要明确的是，产品上下文的领域逻辑是系统的核心，它不应该依赖仓储，而仓储应该要依赖领域层，这样仓储才可以把领域逻辑执行完后，才可能将领域对象持久化到数据库中，这一点与传统的架构

什么是走索引？索引是一种利用某种规则的数据结构与实际数据的关系加快数据查找的功能。我们的数据库中存储有大量的内容，而索引能够通过数据节点，根据特定的规则和算法快速查找到节点对应的实际文件的位置。简单来说索引就像书的目录，能够帮助我们准确定位到书籍具体的内容。最近在学习索引的时候遇到了一个问题，下面我们通过重现的方式来看一下。首先建立一个如下测试表：javas