CuterCorley CuterCorley
3年前
Python 不用selenium 带你高效爬取京东商品评论
一、项目说明1.项目背景一天,一朋友扔给我一个链接,让我看看这个歌商品的所有评论怎么抓取,我打开一看,好家伙,竟然有近300万条评论,不是一个小数目啊。但是仔细一看,原来有234万的评论是默认好评,还是有少部分是有价值的评价的。经过进一步观察,可以看到显然,网页中显示的只有100页数据,每页显示10条,通常可以用selenium点击每一页然后获取
Wesley13 Wesley13
3年前
SQL性能简单优化(作为初级程序员的想法)
随笔背景:虽然参与正式项目开发已经近两年了,但是之前涉及的数据都不是很大,就算数据量够了,但是也没涉及到统计,所以之前开发的时候仅仅注意业务逻辑是否正确,代码是否精简。本次做的一个项目,写数据统计的接口,刚开始也只是注意逻辑,不过后来数据量仅仅到了40万的时候,一个按照年龄区段获取各年龄的普及率接口竟然花了近一分钟,所以开始了我的优化路程。一、从SQL上
李志宽 李志宽
2年前
学到了!软件产品安全性?
背景为了提高开发的软件产品安全性,大部分选择的方案防护方案是,通过用成熟的加固软件进行对自己研发的软件做防护,从而达到对软件搭建一个安全防护墙。加固软件主要做的两件事,对软件中关键代码的保护以及提高对软件逆向反编译的门槛。那么软件安全性防护墙的第一道门那就是反调试。反调试技术又细分为静态反调试和动态反调试。下面就针对window端的进行梳理反调试检测方案。
可莉 可莉
3年前
2021分享三面阿里:Java面试核心手册+Java电子书+技术笔记+学习视频
写在片头:声明,勿杠首先简单说一下,这三次面试阿里并不是一次性去面的,实际上第一次面试时候还在大四,找的实习岗,不太清楚是什么部门,别问我为什么还记得面试题,有记录和复盘的习惯,再问就是杠。个人背景不详细多说,学历双非本科,不是应届生,工作年限不长,技术不是大牛,但也非小白,面经分享是想给正面试的同行一些建议和鼓励,希望能够多多
Wesley13 Wesley13
3年前
JS操控CSS样式完成小球自由落体运动,和大家分享一下制作心得。
   这篇心得本应该在一个月之前和大家一起分享的,由于本人比较懒,也几乎没有写博客的习惯,所以迟了一些。有一些内容只是一些个人的废话,可看可不看,毕竟在国内的应试教育下,大家基础物理知识都是很扎实的:  (废话)(背景:下面讨论的物体运动默认为宏观角度)一般情况下,物体在三维空间所发生的位移都可以解析为若干连续的在二维空间所发生的位移的和,同理,物
Stella981 Stella981
3年前
2021分享三面阿里:Java面试核心手册+Java电子书+技术笔记+学习视频
写在片头:声明,勿杠首先简单说一下,这三次面试阿里并不是一次性去面的,实际上第一次面试时候还在大四,找的实习岗,不太清楚是什么部门,别问我为什么还记得面试题,有记录和复盘的习惯,再问就是杠。个人背景不详细多说,学历双非本科,不是应届生,工作年限不长,技术不是大牛,但也非小白,面经分享是想给正面试的同行一些建议和鼓励,希望能够多多
Wesley13 Wesley13
3年前
Java并发执行任务的几种方式
背景在编写业务代码时经常遇到并发执行多个任务的需求,因为串行执行太慢,会影响业务代码性能。特别对于直接面向普通用户的业务来说用户体验至关重要,保证用户体验重要的一点是要“快”。业务代码中经常需要调用其它业务接口或者同时从多个数据源取数据再处理等,这种情况下势必要走网络请求,网络消耗必不可少,最好的情况是毫秒级别,一般情况下是几十毫秒级别,甚至几百毫
Wesley13 Wesley13
3年前
TCP三次握手与四次握手
背景描述通过上一篇中网络模型中的IP层的介绍,我们知道网络层,可以实现两个主机之间的通信。但是这并不具体,因为,真正进行通信的实体是在主机中的进程,是一个主机中的一个进程与另外一个主机中的一个进程在交换数据。IP协议虽然能把数据报文送到目的主机,但是并没有交付给主机的具体应用进程。而端到端的通信才应该是应用进程之间的通信。UDP,在传送数据前不需要
数字先锋 | 加“数”蝶变,打造政务服务“心温度”!
近年来,5G、云计算、大数据等新兴数字技术的发展如火如荼,不断重塑着经济社会治理模式。与此同时,数字政务也成为加速数字化转型与信息安全保障的关键举措。在此背景下,四川省广安市积极开启政务国产化进程,不断提升自身履职能力与政务服务能力。通过携手天翼云,广安市打造了安全可靠的国产化政务云平台,为广安市提高政府治理水平、推动社会经济高质量发展提供有力支撑。