最近偶然看到了腾讯的大数据星云图，非常漂亮，如下图：这些数据代表使用腾讯定位服务的用户实际地理位置，例如微信、QQ、腾讯地图等，所以使用量还是表达的，此图可以间接显示人流量情况该网站还可以查看区域热力图：但是只有个别区域于是我萌生一个想法，用python任意区域人员流量图经过不懈努力，没想到还真给实现了，下面带大家一起学习一下这一过程：一、首先是数据获取

一、项目说明1.项目背景一天，一朋友扔给我一个链接，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。但是仔细一看，原来有234万的评论是默认好评，还是有少部分是有价值的评价的。经过进一步观察，可以看到显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取

@toc一、项目概述1.项目背景一天，一个朋友给我发来一条链接，让我帮他看看怎么能获取到网页中所有的图片链接。我打开链接一看，页面的标题是阴阳师:百闻牌，下面有选择栏，再下边就是各种奇奇怪怪的看不懂的图片，我就问他这是什么呀？他说是一个游戏阴阳师里边的卡牌。怪不得我没听过，因为我不玩游戏，一个准程序猿不玩游戏一定

随笔背景：虽然参与正式项目开发已经近两年了，但是之前涉及的数据都不是很大，就算数据量够了，但是也没涉及到统计，所以之前开发的时候仅仅注意业务逻辑是否正确，代码是否精简。本次做的一个项目，写数据统计的接口，刚开始也只是注意逻辑，不过后来数据量仅仅到了40万的时候，一个按照年龄区段获取各年龄的普及率接口竟然花了近一分钟，所以开始了我的优化路程。一、从SQL上

在一个信息大爆炸的时代，每天都有很多的新消息、新发现、新趋势向我们狂轰乱炸而来。在这个过程中，我们既是数据的生产者，也是数据的使用者，然而初次获取和存储的原始数据总是杂乱无章的。要想数据达到生动有趣、让人一目了然的效果，就需要借助数据可视化。数据图表天才们可以用简洁、直观又有趣的图表帮我们把大量的信息汇聚在小小的一张图表中，不仅让枯燥的数据和信息变了模样

路由是什么呢？路由即是网络数据包在网络中的传输路径，或者说数据包在传输过程中所经过的网络节点，比如路由器，代理服务器之类的。那像OkHttp3这样的网络库对于数据包的路由需要做些什么事呢？用户可以为终端设置代理服务器，HTTP/HTTPS代理或SOCK代理。OkHttp3中的路由相关逻辑，需要从系统中获取用户设置的代理服务器的地址，将HTTP请求转换为代

Semaphore(信号量)是JUC包中比较常用到的一个类，它是AQS共享模式的一个应用，可以允许多个线程同时对共享资源进行操作，并且可以有效的控制并发数，利用它可以很好的实现流量控制。Semaphore提供了一个许可证的概念，可以把这个许可证看作公共汽车车票，只有成功获取车票的人才能够上车，并且车票是有一定数量的，不可能毫无限制的发下去，这样就会导致公交车

随着信息技术迅猛发展，新型信息分析技术被应用到政治学研究中来。许多政治学研究者采用当前比较成熟的大数据爬取、大数据文本分析等技术，获取新的研究素材并进行分析整理。同时，以亿万为量级单位的大数据本身就具有政治学研究价值。可以说，大数据为政治学带来研究方法上的创新，也进一步拓展了政治学研究领域。基于大数据对网络民意进行研究。网络上有许多现成数据可以用于对网络民意

背景近几年来基于互联网渠道的现金贷业务发展十分迅猛，无论是新兴的互联网企业还是传统的金融机构，都想在这个领域快速占领市场，攫取客户。然而在线贷款业务与其他互联网业务有着明显的不同，源自金融的基因决定了重视风险的必要性，这不仅关系到产品的收益，也直接影响了产品是否可以成功。将业务推到线上意味着无法准确的获取客户信息，只能通过有限的渠道验证客户的真

数据数数据库是一个集合的物理容器。每个数据库获取其自己设定在文件系统上的文件。一个单一的MongoDB服务器通常有多个数据库。集合集合是一组MongoDB的文件。它与一个RDBMS表是等效的。一个集合存在于数据库中。集合不强制执行模式。集合中的文档可以有不同的字段。通常情况下，在一个集合中的所有文件都是类似或相关目的。文档