CuterCorley CuterCorley
4年前
Python 不用selenium 带你高效爬取京东商品评论
一、项目说明1.项目背景一天,一朋友扔给我一个链接,让我看看这个歌商品的所有评论怎么抓取,我打开一看,好家伙,竟然有近300万条评论,不是一个小数目啊。但是仔细一看,原来有234万的评论是默认好评,还是有少部分是有价值的评价的。经过进一步观察,可以看到显然,网页中显示的只有100页数据,每页显示10条,通常可以用selenium点击每一页然后获取
Stella981 Stella981
3年前
Linux页框分配器之内存碎片化整理
页框分配器在慢速分配中包括内存碎片化整理和内存回收,代码如下:static inline struct page __alloc_pages_slowpath(gfp_t gfp_mask, unsigned int order,      struct alloc_context ac){  page  __alloc_
Wesley13 Wesley13
3年前
CDN有哪些功能 CDN的好处是什么
对于很多企业、站长来说,常用的网站加速手段CDN,是一个能够节省大量运营成本的好助手。CDN是用什么妙招帮你省钱的呢?这就不得不提到CDN的最基本的原理了。CDN主要是通过接管DNS实现,在用户和服务器之间增加Cache层,将用户的请求引导到Cache上获得源服务器的数据,使用户可就近取得所需内容。因此采用CDN技术,解决Internet网
Stella981 Stella981
3年前
Django REST framework的分页
DRF分页组件为什么要使用分页我们数据表中可能会有成千上万条数据,当我们访问某张表的所有数据时,我们不太可能需要一次把所有的数据都展示出来,因为数据量很大,对服务端的内存压力比较大还有就是网络传输过程中耗时也会比较大。通常我们会希望一部分一部分去请求数据,也就是我们常说的一页一页获取数据并展示出来。DRF使用
Stella981 Stella981
3年前
App的定位和目标
 在企业开发App之前,就应该明白好App的定位和目的。下面就App的定位和目的做剖析:  首先我们要明白,App的定位是指企业预估App在用户心目中的位置和形象。而目的是指企业希望经过这个App完成的什么效果。  App的定位和目的是相辅相成的关系,目的是定位的引导,定位精确才能完成目的。对于App的定位来说,有企业战略工具、企业员
Wesley13 Wesley13
3年前
VI必记指令
命令模式下的指令必记:1.光标移动h或向左方向键光标向左移动一个字符j或向下方向键光标向下移动一个字符k或向上方向键光标向上移动一个字符l或向右方向键光标向右移动一个字符Ctrlf屏幕向前翻一页(常用)Ctrlb屏幕向后翻一页(常用)0(是数字0)动到这一行的第一个字符处(常用)$
Wesley13 Wesley13
3年前
MySQL buffer pool resize流程
如果开启了AHI(adaptivehashindex,自适应哈希索引)就关闭AHI,这里因为AHI是通过bufferpool中的B树页构造而来。如果新设定的bufferpoolsize小于原来的size,就需要计算需要删除的chunk数目withdraw\_target。遍历bufferpool
Stella981 Stella981
3年前
C# 自制报表组件 EzReportBuild 2.5
2.0版本添加了多报表页嵌套功能,每份报表可设置多页,每页可设置不同的纸张大小、数据表、页面规则等,并可对报表页次序即时调整,同时,优化了显示,报表显示更流畅。2.3增加了数据库生成一维码、二维码以及直接写入维码;数据库字段之间进行混合四则运算。2.5统一了界面,包括打开、保存文件对话框等均自定义,修改了一些错误。demo由于数据库字段生成一
Stella981 Stella981
3年前
Authing 产品动态(8 月刊)
支持MFA(多因素认证)和更多插件化功能控制台2.0发布过去的一个月时间里,我们认真阅读并采纳了许多Authing使用者的建议,对控制台进行了重新设计。控制台2.0将整体外观与布局进行了更科学的调整,加入了更多的使用引导。希望能给你带来一个良好的使用体验。!(https://oscimg.oschina
618技术揭秘:探究竞速榜页面核心前端技术 | 京东云技术团队
本文将探究京东竞速榜H5页面的核心前端技术,包括动画、样式配置化、皮肤切换、海报技术、调试技巧等方面,希望能够为广大前端开发者提供一些有用的参考和思路。