Stella981 Stella981
3年前
Python爬虫:现学现用xpath爬取豆瓣音乐
爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方式的对比。!(https://oscimg.oschina.net/oscnet/2daa493a02eeb49299b1ab6db462cb42124.png)这样一比较我我选择了Lx
Stella981 Stella981
3年前
Redis进阶应用:Redis+Lua脚本实现符合操作
!(https://oscimg.oschina.net/oscnet/835168748db35a7a20a2e4f148db89ce4f8.png)一、引言Redis是高性能的keyvalue数据库,在很大程度克服了memcached这类key/value存储的不足,在部分场景下,是对关系数据库的良好补充。得益于超
Wesley13 Wesley13
3年前
2020年这些正则表达式应该被收藏
推荐一下作者的正则大全,收录在GitHub上,目前有VSCode的插件可以使用,相当方便:anyrule正则大全火车车次/^GCDZTSPKXLY19\d{1,4}$/复制代码手机机身码(IMEI)/^\d{15,17}$/复制代码必须带端口
Stella981 Stella981
3年前
Linux Shell 脚本
知道脚本的存在,也会偷懒写一点用,但是真的不熟,最近想偷懒用脚本log的方式跑训练程序,所以边查边写,凑合着写了一个能用的。1、基本使用  新建一个文件(run.sh),写上  !/bin/bashthmain.lua  第一行一定要有,不然不能运行。  修改权限:chmodxrun.sh     
Stella981 Stella981
3年前
Hadoop兮,杀鸡别用牛刀,python+shell实现一般日志文件的查询、统计
简单的日志统计是不需要使用重量级的Hadoop,我用python实现了日志的统计。原理是用fabric登录到远程linux,组合使用grep、uniq、sort、awk对日志进行操作,可以根据正则表达式指定规则抽取符合规则的日志,做查询,计数,分类统计。注意:要安装fabric(https://www.oschina.net/action/GoToL
Stella981 Stella981
3年前
Redis分布式缓存系统Lua脚本食用指引
Redis为什么添加Lua支持redislua脚本出现之前Redis是没有服务器端运算能力的,主要是用来存储,用做缓存,运算是在客户端进行,这里有两个缺点:一、如此会破坏数据的一致性,试想如果两个客户端先后获取(get)一个值,它们分别对键值做不同的修改,然后先后提交结果,最终Redis服务器中的结果肯定不是某一方客户端所预期的
Stella981 Stella981
3年前
C# 使用JPath查询节点(正则表达式)
publicclassRouteManager{privateJObjectjsonObjectnewJObject();publicvoidAddRoute(stringwebPath,stringresourcePath)
Wesley13 Wesley13
3年前
LUA教程表达式逻辑运算符
Lua中的逻辑操作符有and,or,以及not。 和控制结构一样,所有的逻辑操作符把false和nil都作为假,而其它的一切都当作真。andornot逻辑运算符认为false和nil是假(false),其他为真,0也是true.and和or的运算结果不是true和false,而是和它的两个操
Wesley13 Wesley13
3年前
5.48 正则表达式的概述和基本使用
import java.util.Scanner;public class RegexDemo {public static void main(String args) {// 创建键盘录入对象Scanner sc  new Scanner(System.in);Sys
京东云开发者 京东云开发者
1个月前
京东APP百亿级商品与车关系数据检索实践
作者:京东零售张强导读本文主要讲解了京东百亿级商品车型适配数据存储结构设计以及怎样实现适配接口的高性能查询。通过京东百亿级数据缓存架构设计实践案例,简单剖析了jimdb的位图(bitmap)函数和lua脚本应用在高性能场景。希望通过本文,读者可以对缓存的内