【Part1——理论篇】试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓

MySQL备份的几种方式最近一直想写点博客，但是不知道写什么，感觉自己最近的知识没有什么增加，今天想到了一篇可以写的博客。以前试过根据data文件夹备份MySQL，但是从来没有成功过，前几天帮助朋友还原MySQL，终于成功的将备份的data文件夹还原成功了。MySQL数据库算是常用的数据库中最好使用的数据库了，对于备份的操作也不例外。所以今天分享一下

哈希函数可以使数据序列的访问过程更加快速精确。通过哈希函数，可以更慢地定位数据元素：1直接寻址方法：以关键性字的值或关键性字的线性函数作为哈希地址。一、即H(key)key或H(key)akeyb，其中A和B是常数（这种散列函数称为自函数）2数值分析方法：在分析一组数据时，例如一组员工的出生日期，我们发现出生日期的后几个数字大致相同。在这种情况之

本文正文部分引用了58同城架师沈剑的文章，非常感谢他的分享。1、前言IM应用从服务端数据的角度来看，它是一种很特殊的应用场景，抛开基础数据、增值业务和附属功能不谈，单从IM聊天工具的立身之本——聊天数据来说，理论上是不需要在服务端存储的（或者说只需要短暂存储——比如离线消息，上线即拉走），这也是为什么微信在前段时间号称绝不存储用户聊天数

一，基础知识储备分布式跟踪的目标一个分布式系统由若干分布式服务构成，每一个请求会经过多个业务系统并留下足迹，但是这些分散的数据对于问题排查，或是流程优化都很有限，要能做到追踪每个请求的完整链路调用，收集链路调用上每个服务的性能数据，计算性能数据和比对性能指标（SLA），甚至能够再反馈到服务治理中，那么这就是分布式跟踪的目标。分布式跟踪的目的

在MongoDB里面，一条文档大致相当于关系型数据库里面的一行。在关系型数据库里面，行是被存储在表里面，并且有一个严格的结构。MongoDB里面把文档存储在集合里面而不是存在表里面，最根本上的不同就是在数据库层面上没有强制的结构限制。   定义一个文档纲要  MongoEngine允许你为文档定义一个纲要这可以帮你减少编码错误，让你利用现有的字

1、概述　　Class文件是一组以8位字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑的排列在Class文件中，中间没有添加任何的分隔符，这使得整个Class文件中存储的内容几乎全部是程序运行的必要数据。当遇到需要占用8个字节以上空间的数据项时，则会按照高位在前的方式分隔成多个8位字节进行存储。　　Class文件采用一种类似于C语言结构

数据库分库分表前言今天有朋友问到了数据库分库分表，他们都说数据库达到了瓶颈，需要重构，但是毫无头绪，现在做个概念总结（期待后期的实操吗？）会从以下几个方面说起：第一部分：实际网站发展过程中面临的问题。第二部分：有哪几种切分方式，垂直和水平的区别和适用面。第三部分：目前市面有的一些开源产品，技术，它们的优缺点是

在互联网公司或者一些并发量比较大的项目，虽然有各种项目架构设计、NoSQL、MQ、ES等解决比较高的并发访问，但是对于数据库来说，压力还是太大，这时候即使数据库架构、表结构、索引等都设计的很好了，但是还是扛不住的，主从复制通过读写分离缓解读负载。但是像淘宝这种项目，单一数据库肯定是不行的，为了解决这个问题，就可以使用分库分表PS：这是一篇学习博

根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。1.监督式学习：2.非监督式学习：在非监督式学习中，数据并不被特别标识，学习模