本文章为原创文章，转载请注明，欢迎评论和改正。一，分析　　之前所用的直接通过HTML中的元素值来爬取一些网页上的数据，但是一些比较敏感的数据，很多正规网站都是通过json数据存储，这些数据通过HTML元素是爬取不到的，所以只能通过json数据的api接口来爬取数据。二，网站处理　　1，打开去哪儿网的网站https://train.qu

↑点击上方“凹凸数据” 关注星标 每天更新，干货不断  （多图预警）注：这是小五一年前在知乎的回答，当时还只有凹凸数读一个公众号，所以很多图片都会带有数读或者知乎的水印。作为一个菜鸟数据分析师，只会sqlpython业余时间写写文章：用python爬取数据→数据清洗→数据分析→数据可视化词云镇楼20190730回来看，前面

SpringBoot对常用的数据库支持外，对NoSQL数据库也进行了封装自动化。这一篇主要讲springboot与mongo多数据源相关的配置1、mongo的介绍MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式,这里不再多做说明

Mysql语句大全一.基础语法1、说明：创建数据库CREATEDATABASEdatabasename2、说明：删除数据库dropdatabasedbname3、说明：备份sqlserver\创建备份数据的deviceUSEmaster

一、写在开头vivo云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用MySQL数据库进行数据存储。随着vivo云服务业务发展，云服务用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储带来了巨大的挑战。云服务业务这几年最大的痛点，就是如何解决用户海量数据的存储问题。二、面临挑战

作者介绍梁铭图，新炬网络首席架构师，十多年数据库运维、数据库设计、数据治理以及系统规划建设经验，拥有OracleOCM、Togaf企业架构师（鉴定级）、IBMCATE等认证，曾获dbaplus年度MVP以及华为云MVP等荣誉，并参与数据资产管理国家标准的编写工作。在数据库运维管理和架构设计、运维体系规划、数据资产管理方面有深入研究。背

简介所谓分片，指的就是把数据拆分，将其分散到不同机器上的过程。MongoDB支持自动分片，对应用而言，好像始终和一个单机的服务器交互一样。分片和复制复制是让多台服务器拥有相同的数据副本，而分片是每个分片都拥有整个数据集的一个子集，且相互是不同的数据，多个分片的数据合起来构成整个数据集。Mongos用来

前面几章讨论了在TCP传输层协议之上运行的网络应用程序，TCP是为数据的可靠传输而设计的。用户数据报协议（UserDatagramProtocal,UDP）是在IP之上发送数据的另一种传输层协议，速度很快，但不可靠。当发送UDP数据时，无法知道数据是否会到达，也不知道数据的各个部分是否会以发送时的顺序到达。1、UDP协议类似F

【相关概念】缓存击穿：指的是一些热点数据过期，由于热点数据存在并发量大的特性，所以短时间内对数据库的造成很大的冲击，导致系统瘫痪。常见于例如微博系统中明星结婚或出轨时微博瘫痪的情况。缓存雪崩：指的是大量数据或全部数据集中过期失效的情况，这种情况是由于大量数据设置了相同的过期时间而导致的。【使用缓存的流程】

在数据库层面，各个数据库对序列的支持是不一样的。大多数数据库可以为表指定一个自增的字段，但这种自增字段却很不利于数据的迁移。类似Oracle的数据库有专门的序列对象，但这种方式太独特，也不利于在产品层面的多数据库适配。基于这样的考虑，FoxnicSQL单独实现了基于存储过程的序列。