爬虫行业的兴起是大数据时代下必须的产物，大家学习阿爬虫肯定是为了爬取有价值的数据信息。关于爬虫的基础知识我们这里不进行阐述，今天我们就只是进行一个简单的爬虫实践。那首先我们就需要确定下我们的目标网站，这里我们就以一些房产信息的网站为例统计一些信息。关于爬虫中的一系列反爬问题我们也不在这里做深入的了解，都是学习爬虫的必备知识，最简单的就是在访问过程中我们肯定会

一、写在开头vivo云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用MySQL数据库进行数据存储。随着vivo云服务业务发展，云服务用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储带来了巨大的挑战。云服务业务这几年最大的痛点，就是如何解决用户海量数据的存储问题。二、面临挑战

在项目过程中因需要大批量数据的insertorupdate操作，为了减少应用程序的校验逻辑，所以使用了mysql的特殊语法insertinto…onduplicatekeyupdate。用于解决出现相同的主键执行update，不同主键执行新增。在测试过程中发现一个小坑，在网上的技术文档中都写的是（当记录中有PrimaryKey或者un

1:集合Collection(单列集合)List(有序,可重复)ArrayList底层数据结构是数组,查询快,增删慢线程不安全,效率高Vector底层数据结构是数组,查询快,增删慢线程安全,效率低LinkedList底层数据结构是链表,查询慢,增删快线程不安全,效率高Set(无序,唯一)HashSet底层数据结构是哈希表（实际上是

一：了解NoSQL1：介绍：Nosql的全称是NotOnlySql，这个概念早起就有人提出，在09年的时候比较火。Nosql指的是非关系型数据库，而我们常用的都是关系型数据库。就像我们常用的mysql，sqlserver一样，这些数据库一般用来存储重要信息，应对普通的业务是没有问题的。但是，随着互联网的高速发展，传统的关系型数据库

数据结构中逻辑结构分线性和非线性。线性表即为线性结构中的一种。线性表的特性百度百科解释在此(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fbaike.baidu.com%2Flink%3Furl%3Dm5wYoP22YXWSGX6N_40IdWMasr8aUm9Zh

①弱一致性（最终一致），更能保证用户的访问速度：举例来说，在传统的关系型数据库中，一个COUNT类型的操作会锁定数据集，这样可以保证得到“当前”情况下的精确值。这在某些情况下，例如通过ATM查看账户信息的时候很重要，但对于Wordnik来说，数据是不断更新和增长的，这种“精确”的保证几乎没有任何意义，反而会产生很大的延迟。他们需要的是一个“

练习内容：1.创建一个类，实现优先级队列功能。2.使用优先级队列求解IPO问题。IPO问题：输入：参数1：正数数组costs；参数2：正数数组profits；参数3：正数k；参数4，正数mcosts\i\表示i号项目的花费;profits\i\表示i号项目在扣除花费之后还能挣到的钱;k表示你不能并行，只能

我们总在说各种数据库的使用，以及各个数据库的优缺点，每个数据库都有自己的所擅长的领域，但选择什么样的数据库才是重点，那么问题来了，数据库到底是怎么划分的，有什么讲究呢？数据库大致分为两大类：关系型数据库和非关系型数据库关系型数据库顾名思义，就是表与表之间有关系，平时我们所用到的MSSQLServer、Oracle、M

!(https://oscimg.oschina.net/oscnet/3fc528fd43c947818d93eb07e66ba3bf.png)点击蓝字关注我们吧！!(https://oscimg.oschina.net/oscnet/8200ddb9811342afbd8d6bbd09f88243.png)