随笔背景：虽然参与正式项目开发已经近两年了，但是之前涉及的数据都不是很大，就算数据量够了，但是也没涉及到统计，所以之前开发的时候仅仅注意业务逻辑是否正确，代码是否精简。本次做的一个项目，写数据统计的接口，刚开始也只是注意逻辑，不过后来数据量仅仅到了40万的时候，一个按照年龄区段获取各年龄的普及率接口竟然花了近一分钟，所以开始了我的优化路程。一、从SQL上

一、项目说明1.项目背景一天，一朋友扔给我一个链接，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。但是仔细一看，原来有234万的评论是默认好评，还是有少部分是有价值的评价的。经过进一步观察，可以看到显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取

@toc一、项目概述1.项目背景一天，一个朋友给我发来一条链接，让我帮他看看怎么能获取到网页中所有的图片链接。我打开链接一看，页面的标题是阴阳师:百闻牌，下面有选择栏，再下边就是各种奇奇怪怪的看不懂的图片，我就问他这是什么呀？他说是一个游戏阴阳师里边的卡牌。怪不得我没听过，因为我不玩游戏，一个准程序猿不玩游戏一定

项目背景大家好，我是J哥。新房数据，对于房地产置业者来说是买房的重要参考依据，对于房地产开发商来说，也是分析竞争对手项目的绝佳途径，对于房地产代理来说，是踩盘前的重要准备。今天J哥以「惠民之家」为例，手把手教你利用Python将惠州市新房数据批量抓取下来，共采集到近千个楼盘，包含楼盘名称、销售价格、主力户型、开盘时间、容积率、绿化率等「41个字段」。数

俗话说得好，万事开头难。而对于前端coder来说，每次新项目、新需求来的时候，我想大家最苦恼的往往就是如何去命名，无论是项目名称、页面的文件名称亦或是代码中的方法名称，对于我来说，但凡名字想好了以后，我觉得需求就已经写完一半了。如何才能更好，更优雅的去解决这些命名问题呢？在这之前，先随我看一些不合适的命名示例吧。不合适的命名我们先来看一些例子：无

简介当分布式系统服务比较多，特别是微服务，出现故障就很难排查。所以需要借助APM系统进行排查（ApplicationPerformanceManagement，即应用性能管理），SkyWalking是APM系统的一种，类似的产品还有CAT、Zipkin、Pinpoint。SkyWalking和Pinpoint相比其他系统，做到了无侵入性

作者:杨非前言TiDBDM(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fpingcap%2Fdm)是由PingCAP开发的一体化数据同步任务管理平台，支持从MySQL或MariaDB到TiDB的全量数据迁移和增量数据

在Debian/Ubuntu上,apt包管理器内嵌着一个彩蛋.如果你在命令行界面输入apthelp!(https://oscimg.oschina.net/oscnet/5780eaa394e1c100d985a7c73ab5e0172ee.jpg)在最后一行能找到_ThisAPThasSuperCowP

　　前端工程师原来的职位是美工，原来只负责项目的一些简单网页制作，因为项目的需要，升级为前端工程师，这就涉及到JS等代码的编写了。前端工程师这个职位在目前来说算是新兴职位，在未来的几年里也是挺吃香的一个职位。　　前端工程师要阅读的书籍不怎么多，但是也会涉及到前端代码的编写，比如JS。所以前端工程师也要阅读JS方面的书籍，当然要包括任何前端相关的书籍，在移

开发框架帮大家整体项目结构都搭建好了，也可以直接运行了从登录到打开主工作区到菜单展示：一般的项目就没有任何问题了。大家都知道班级不可能只有一班，那还有二班、三班呢二班、三班是什么鬼，我们统称不一般我们只要解决了 （一班 非一班）的问题那就解决了所有问题了，100%不留死角了。言归正传：例如框架里面的登录，肯定是标准的登