一、项目说明1.项目背景一天，一朋友扔给我一个链接，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。但是仔细一看，原来有234万的评论是默认好评，还是有少部分是有价值的评价的。经过进一步观察，可以看到显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取

@toc一、项目概述1.项目背景一天，一个朋友给我发来一条链接，让我帮他看看怎么能获取到网页中所有的图片链接。我打开链接一看，页面的标题是阴阳师:百闻牌，下面有选择栏，再下边就是各种奇奇怪怪的看不懂的图片，我就问他这是什么呀？他说是一个游戏阴阳师里边的卡牌。怪不得我没听过，因为我不玩游戏，一个准程序猿不玩游戏一定

在互联网领域有一个“8秒定律”，用户访问一个网站时，如果等待网页打开的时间超过8秒，会有超过30%的用户放弃等待，那么，影响网站的访问速度和并发访问量的因素无非就是互联网的连接架构（第一公里和最后一公里）和CDN的流量传输功能两点。首先，我们来看一下互联网连接架构，众所周知，“第一公里”是指万维网流量向用户传送的第一个出口，是网站服务器接入互联网的链路所能提

随着互联网的高速发展与互联网经济的高速繁荣，无数的电脑爱好者选择在互联网上创业。最热的莫过于开办一个属于自己的网站。看着自己的网站越来越受追捧，内心的自豪感越加强烈，但是您真的了解自己的网站吗？您知道每天有多少人访问您的网站吗？他们从何而来？有谁正在浏览？他们都浏览了哪些网页？有多少人来自搜索引擎？他们搜的什么词……看到这里，或许您一头雾水，心里在想：我

　　前端工程师原来的职位是美工，原来只负责项目的一些简单网页制作，因为项目的需要，升级为前端工程师，这就涉及到JS等代码的编写了。前端工程师这个职位在目前来说算是新兴职位，在未来的几年里也是挺吃香的一个职位。　　前端工程师要阅读的书籍不怎么多，但是也会涉及到前端代码的编写，比如JS。所以前端工程师也要阅读JS方面的书籍，当然要包括任何前端相关的书籍，在移

百度网页搜索反作弊团队近期发现一部分网站遍历热门关键词生成大量的站内搜索结果页来获取搜索引擎流量，其中存在大量的不相关内容严重损害了搜索引擎的用户体验并且侵占了相应领域的优质网站收益，对于此类网站我们将做出严厉的处理，希望存在此问题的站长及时进行整改调整。这个问题已经存在很长时间了，其实和百度一直打击的垃圾TAG页面是一样的，TAG只是站内搜索的另一

编程逻辑是成为优秀开发人员的关键。也许，根据您的工作地点，您将使用更多算法。如果你是一名网页设计师，你可能不打算处理复杂的算法，但如果你是前端开发人员，可能会处理一些算法，如果你是一个后端开发人员，你会经常处理复杂算法。在这里，我将向您介绍5个点，_在我看来_，这些点有资源来改进我们的编程逻辑。本文适合所有人，如果我们设法开发出一个好的逻辑，我们

我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。主要是用作爬虫，用以捕捉Web上的各类数据；这里的无头主要是指没有界面，完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。在爬虫中使用无头浏览器有很多的注意事项，比如我们的业务场景是否适合使用无头浏

3D线上展会：借助VR技术，展会举办方可以通过一体机、手机、电脑等设备直观的看到展会内部场景，在VR场景中参观展会，到达特定展位时，还可以有语音介绍参展商或者展品信息等等，大大提升了展会参观的效率。3D全景看房：3D全景看房就是利用3D技术，让客户通过网页可以实时浏览样板间。不仅为购房者带来逼真的沉浸式体验，更能完美的呈现家具入户后的真实效果，给客户更美好的

Categraf是一个监控采集Agent，类似Telegraf、GrafanaAgent、DatadogAgent，希望对所有常见监控对象提供监控数据采集能力，采用Allinone的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。相比于其他采集器，Categraf的优势在于：支持remote_write写入协议，支持将数据写入promethues、M3DB、VictoriaMetrics、InfluxDB；指标数据只采集数值，不采集字符串，标签维持稳态结构；采用allinone的设计，所有的采集工作用一个agent搞定；未来也可以把日志和trace的采集纳入agent；纯Go代码编写，静态编译依赖少，容易分发，易于安装。