Karen110 Karen110
3年前
反爬虫策略手把手教你使用FastAPI来限制接口的访问速率
在网络爬虫的过程中,我们都会遇到各种各样的反爬虫,封禁IP和账号,设置验证码,前端加密,浏览器指纹,甚至输出假数据来等等都是可能出现的反爬手段,这些我们今天一个也不会谈及,而是谈谈一种叫访问速率限制的手段。对于服务端而言,有时候会碰到这么一个场景:某个接口需要在某个时间段内设置最高的访问次数来降低服务器的压力,比如之前用的某度的一些接口,一分钟内访问
互动玩法任务平台介绍
任务平台是科技内各业务方开展互动玩法的中心化平台,支撑科技内拉新、促活、交易等业务场景,包含基础任务、基于任务的通用活动玩法和业务投放能力。提供了任务玩法的创建、投放、曝光、完成等全生命周期的精细化管理,打造了基于任务的裂变、时间轴等通用活动玩法的规则化运营,致力于提升在多场景、多玩法、多频次的业务投放能力。任务中心主要战场是金融APP,目前日均500W的完成量,月UV100W,大促期间日完成量达2000W。
Wesley13 Wesley13
3年前
#技术分享# SOA 个人一点愚见
自去年加入新的公司到现在整一年了,职涯过程有些迂回,但总体实在曲折中攀升,首先谈谈我所参与公司的产品,该产品定位于SOA架构(SOA这玩意其实不是很新鲜的事物,大体上对其有一定的认知)。但是没有实操的经验,所以一路走来到现在,感觉是失败居多,同时也印证了古语:“失败是成功之母”,特别是最近的一段时间,我一直在反思这一年来SOA下如何设计与架构以及实施,多少
Wesley13 Wesley13
3年前
TAG页和站内搜索页要注意的问题
百度网页搜索反作弊团队近期发现一部分网站遍历热门关键词生成大量的站内搜索结果页来获取搜索引擎流量,其中存在大量的不相关内容严重损害了搜索引擎的用户体验并且侵占了相应领域的优质网站收益,对于此类网站我们将做出严厉的处理,希望存在此问题的站长及时进行整改调整。这个问题已经存在很长时间了,其实和百度一直打击的垃圾TAG页面是一样的,TAG只是站内搜索的另一
Wesley13 Wesley13
3年前
C 中常见的内存错误
最近读了一下《深入理解计算机操作系统》第9章,虚拟存储器。在9.11书上总结了C中常见的与存储器有关的错误。书上下面这一句话说的很有道理(我看的是中文版,觉得引用原版会更加原汁原味),就是指出现某次内存操作错误,如果当时就立刻表现出来,那会很幸运,不幸的是有时会在错误操作之后一段时间后才显现出来。所以有时候发现coredump文件堆栈中某次很
Wesley13 Wesley13
3年前
D3画完整柱状图(带坐标轴、标签)
   昨天晚上本来打算花一点时间把之前学的柱状图改一下,用CSV文件来替换自定义数据。这一替换可不得了,一晚上就搭进去了,还好今早找到了问题的所在,原因在于我的数据引用出了问题。现在就来讲解一下如何画一个柱状图吧:  柱状图的画法和折线图其实很类似,只要掌握了比例尺的用法和坐标轴的画法,我们只要在此基础上添加“rect”元素添加矩形就可以了,但这其中
Wesley13 Wesley13
3年前
Java
最近处于工程尾期,抽出点时间来学习下工程中用到的知识点。1.正则表达式作用:它使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。举例:在很多文本编辑器里,正则表达式被用来检索、替换某些文字或字符串。注意:当正则表达式和字符串函数都能解决问题时,尽量使用字符串函数,这样不容易出错,最重要的一点是字符串函数比正则表达式实现性能上要好得
3d虚拟配电室仿真实训优势三维仿真配电广州华锐互动
传统配电室巡检工作繁琐复杂,非常耗费时间、人力等,并不利于电力生产建设。借助3d交互式虚拟来构建一个虚拟配电室环境,可以改善以往配电室巡检工作的弊端。以3d建模技术,3d展示等虚拟技术构建城区配电室3d交互式虚拟场景,依次展现配电室中真实的主进柜,馈电柜,母联柜,电容器柜,变压器等带电设备结构。工作人员可以实时远程了解配电室各个配件的相关信息,勘察内部结构,
3A网络 3A网络
2年前
详解 SSL(一):网址栏的小绿锁有什么意义?
详解SSL(一):网址栏的小绿锁有什么意义?随着互联网的飞速发展,用户信息泄漏、数据泄露等安全问题的事件频繁发生。这一切不一定是网站的问题,有时候可能是自己不经意间泄露了自己的信息。例如钓鱼网站就是日常生活中比较常见的,钓鱼网站和真实网站差别细微,它们一般会伪装成银行或其它网站诱导用户点击,窃取用户输入的银行账号、身份证、密码等私密信息。用户很难第一时间分