【Part1——理论篇】试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓

本文正文部分引用了58同城架师沈剑的文章，非常感谢他的分享。1、前言IM应用从服务端数据的角度来看，它是一种很特殊的应用场景，抛开基础数据、增值业务和附属功能不谈，单从IM聊天工具的立身之本——聊天数据来说，理论上是不需要在服务端存储的（或者说只需要短暂存储——比如离线消息，上线即拉走），这也是为什么微信在前段时间号称绝不存储用户聊天数

由于样本图片数据都是保存在pdf里，想拿到样本必须先把图片从pdf中提取出来，算是数据清洗中的一点小小的积累吧。这里不得不吐槽一下公司存储图片的机制，业务员把jpg格式的照片放到word里，然后用工具把word保存为pdf，最后上传到公司服务器里，这简介反人类，不但丢失了图片头文件信息，还造成后期数据转换的大量时间资源的浪费，可能pdf格式会小一

Redis是一个超精简的基于内存的键值对数据库(keyvalue)，一般对并发有一定要求的应用都用其储存session，乃至整个数据库。不过它公自带一个最小化的命令行式的数据库管理工具，有时侯使用起来并不方便。不过Github上面已经有了很多图形化的管理工具，而且都针对REDIS做了一些优化，如自动折叠带schema的key等。RedisDesk

IP数据库包含全球43亿全量IPv4与2^128全量IPv6，数据库版本分为高精准公安版、高精准商业版、区县级、城市级和IPv6共5个版本。IP数据库主要解决的痛点为互联网广告精准投放、内容精准推荐、用户位置画像、重点企业办公网络资产普查，网络攻击溯源&取证、嫌疑人地理位置定位、服务器优化分配等。互联网在线广告反作弊通过分析

在互联网公司或者一些并发量比较大的项目，虽然有各种项目架构设计、NoSQL、MQ、ES等解决比较高的并发访问，但是对于数据库来说，压力还是太大，这时候即使数据库架构、表结构、索引等都设计的很好了，但是还是扛不住的，主从复制通过读写分离缓解读负载。但是像淘宝这种项目，单一数据库肯定是不行的，为了解决这个问题，就可以使用分库分表PS：这是一篇学习博

Excel作为一款深受用户喜爱的电子表格工具，借助其直观的界面、出色的计算性能、数据分析和图表，已经成为数据统计领域不可或缺的软件之一。基于Excel对数据处理与分析的卓越表现，把Excel的功能，嵌入到Web应用中，将会对应用系统带来质的飞跃。但是，这样一款沉淀数十年，经过无数次更新迭代的软件通过代码来实现，其难度不言而喻。研发出一款功能

数字时代下，随着企业向数字化、在线化、智能化高速演进，存储需求呈指数级增长，业务也面临着更多热点和突发流量带来的挑战，这就对数据库安全可靠、超高性能、易运维性提出了更高要求。天翼云自研TeleDB数据库采用云原生架构，具备即开即用、稳定可靠、安全运行、弹性伸缩、轻松管理、经济实用等特点，可为用户提供稳定可靠的企业级数据库服务，帮助企业圆满解决上述问题。与

递归神经网络（RNN）RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKeykeyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。大多数模型架构（如前馈神经网络）都没有利用数据的序列特性。例如，我们需要数据呈现出向量中每个样例的特征，如表示句子、段

递归神经网络（RNN）RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKeykeyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。大多数模型架构（如前馈神经网络）都没有利用数据的序列特性。例如，我们需要数据呈现出向量中每个样例的特征，如表示句子、段