python爬虫实践之IP的使用
Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的,万一数据需求量大,那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制,其中就有这样一条,就是服务器会检查请
不是海碗 不是海碗
1年前
验证码短信API的应用场景有哪些你知道嘛?
短信验证码已经影响到了我们生活方方面面,成为了不可或缺的一部分。同时,短信验证码也是用户体验中的一个重要指标,如果手机经常出现接收验证码很慢甚至是没有接收到验证码的情况,这就会严重影响到网站或者APP的用户体验,从而导致大量用户的流失。短信验证码如此重要,那个短信验证码API也是必不可少的,这篇文章我就来说说短信验证码API的应用场景
东方客主 东方客主
3年前
PHP实现文本快速查找 - 二分查找法
起因先说说事情的起因,最近在分析数据时经常遇到一种场景,代码需要频繁的读某一张数据库的表,比如根据地区ID获取地区名称、根据网站分类ID获取分类名称、根据关键词ID获取关键词等。虽然以上需求都可以在原始建表时,通过冗余数据来解决。但仍有部分业务存的只是关联表的ID,数据分析时需要频繁的查表。所读的表存在共同的特点数据几乎不会变更数据量适中,从一万
Aidan075 Aidan075
3年前
说实话,数据分析师真不用先学Python!
大家好,我是小五🚀经常有朋友问我一个问题,转行数据分析师应该先学什么呀?抛开统计学、业务方法论,单拿出技能工具来说的话,我更希望大家先学习SQL。为了证实我的看法,我爬取了招聘网站,并做了一张柱状图来展示互联网公司对数据分析师的技能要求。可以看到对于一名(准)数据分析师来说,SQL确实是最需要掌握的技能。当然,大家对于各种工具也不必追求全部掌握,它们的目的都
Stella981 Stella981
3年前
Hadoop、spark、SaaS、PaaS、IaaS、云计算概念区分?
背景一:世界需要更多的计算能力信息技术时代的基石是建立在“计算”之上的。以搜索引擎为例,早期的搜索引擎是人工分类索引的,类似黄页,但是随着网站数量的增多,人工索引的工作量变得巨大,而且更新时效低得难以忍受了。后来的一波搜索引擎都采用了由计算机算法自动索引,查找相关文档,并排序展示的方式。这种方式就导致了对计算能力的巨大需求,类似的趋势出现在多种技术领域,
Stella981 Stella981
3年前
Nginx 和Apache 中的虚拟主机的概念
 在部署环境的时候,有时候会引用到虚拟主机的概念,什么是虚拟主机呢,博主之前一直把虚拟主机的概念没搞清楚,导致在部署的时候,一直动不动就404,或者500,或者服务器不通所以,什么是虚拟主机呢?虚拟主机概念大致同虚拟机的概念。如果你有两个不同域名的网站,但是你只有一台服务器,这时候怎么办?其实利用nginx或者apache都可以帮你用一台机器来模
Stella981 Stella981
3年前
Hash算法系列
现在的网站用户量都很大,一台服务器包打天下的时代一去不复返了,多台服务器就存在一个问题,如何将访问用户转向不同的服务器,并且各个服务器接受的请求数大致相当呢?这就是一致性hash算法要解决的问题。一致性hash算法在负载服务器(ngnix、haproxy等)、K/V缓存系统memcache等就有相关的实现。这类的文章比较多,摘抄一篇供大家学习。jav
Stella981 Stella981
3年前
B2B2C开源系统众筹项目启动(以ShopsN开源核心为版权基础)
最近网上流传大量使用ShopXX的站长被其起诉,索赔几十万的消息连续不断。之前用盗版的时候不当一回事,等到对方发律师函了才开始紧张了,但这又有什么用那?对方是有公证处取证的,官司几乎不可能赢。网站开发公司,为了拉活大包大揽,不写明是二次开发,被客户列为第二被告,也陷入了困境。怎么办?开源中国电商榜首位的shopsn全网电商ShopsN官方,应大家强烈
Stella981 Stella981
3年前
2019年前端面试题总结以及一些面试心得(附答案)
前沿小编在这几年的前端开发过程中,经历了由js,jquery到vue,由操作dom到数据驱动页面,由只写pc网站,到写移动端网页,再到移动端app,再到微信公众号,小程序,可谓是风云变幻,不得不感叹H5的能力越来越强,正所谓学到老,活到老大概说的就是程序员吧。在悲催的经历了互联网公司一家又一家倒闭,带来的是我也经历了无数次的面试,也算是系统的过了
3A网络 3A网络
2年前
DNS 系列(一):为什么更新了 DNS 记录不生效?
我们在上网时如果想要访问到另一台机器上的内容,通常只需要直接输入一串地址,就能够准确访问到自己想要访问的网站。但是实际上这只是方便我们记忆的字符形式网络标识,真正让我们的机器和另一台机器进行沟通的是IP地址。只不过IP地址无论是输入还是记忆都非常麻烦,因此才诞生了域名系统。那么域名是怎么连接到那个服务器的IP呢?这就和我们今天要说的域名系统DN