Karen110 Karen110
4年前
一篇文章带你了解Django ORM操作(进阶篇)
回顾上次咱们学习了一下DjangoORM的基本查询操作。查询操作主要使用的是filter()方法。我们知道filter()查询出来的是值,如果想取第一个值需要再filter().first()才行。还知道了get()和filter().first()的区别等等。DjangoORM的查询还有很多,继续来看叭!!!查询操作对象.外键字段比如,我们拿到了一个
Stella981 Stella981
4年前
RSA加密解密中pkcs1与pkcs8格式私钥互相转换
net,ios中rsa加解密使用的是pkcs1,而java使用的是pkcs8如果是按1024取模(通常都是1024),pkcs1格式的私钥长度应该是812。如果是pkcs8的格式的密钥长度为861。下载安装openssl:https://pan.baidu.com/s/1ggQJIIR(https://www.oschina.net/action
Wesley13 Wesley13
4年前
(八)爬虫之js调试(登陆知乎)
  上次爬取网易云音乐,折腾js调试了好久,难受。。。。今天继续练练手,研究下知乎登陆,让痛苦更猛烈些。1.简单分析  很容易就发现登陆的url“https://www.zhihu.com/api/v3/oauth/sign\_in”,post方法提交,需要的请求头和表单数据如下两图,请求头中有一个特殊的xxsrftoken,表单数据为加
Stella981 Stella981
4年前
Python爬虫实践 —— 4.好听音乐网轻音乐资源下载
第三章的requests库阶段性demo,爬取好听音乐网的榜上歌曲。此网站没有js混淆,音乐资源链接有规律,适合爬虫新手上手。首先观察首页和音乐榜的url链接关系,我们先手动模拟下载,chromef12获取response,可探查到url规律如下:1.!(https://oscimg.oschina.net/oscnet/485087a
Stella981 Stella981
4年前
Nginx反爬虫: 禁止某些User Agent抓取网站
一、概述网站反爬虫的原因不遵守规范的爬虫会影响网站的正常使用网站上的数据是公司的重要资产爬虫对网站的爬取会造成网站统计数据的污染常见反爬虫手段1\.根据IP访问频率封禁IP2\.设置账号登陆时长,账号访问过多封禁设置账号的登录限制,只有登录才能展现内容
Wesley13 Wesley13
4年前
C++学习(七)(C语言部分)之 输入
输入学习时的笔记(其实也没什么用,留着给自己看的)输出是指把内容打印到控制台窗口输入是指把内容输入到程序里scanfscanf从键盘获取内容到程序里格式占位符变量要加取地址符1、格式占位符%d整数类型%c字符类型%f浮点型float(不能混写和%lf不一样)%lfdouble
Stella981 Stella981
4年前
Python爬虫入门教程 32
1\.B站博人传评论数据爬取简介今天想了半天不知道抓啥,去B站看跳舞的小姐姐,忽然看到了评论,那就抓取一下B站的评论数据,视频动画那么多,也不知道抓取哪个,选了一个博人传跟火影相关的,抓取看看。网址:https://www.bilibili.com/bangumi/media/md5978/?fromsearc
Stella981 Stella981
4年前
Bytom 储蓄分红 DAPP 开发指南
储蓄分红DAPP储蓄分红合约简介储蓄分红合约指的是项目方发起了一个锁仓计划(即储蓄合约和取现合约),用户可以在准备期自由选择锁仓金额参与该计划,等到锁仓到期之后还可以自动获取锁仓的利润。用户可以在准备期内(dueBlockHeight)参与储蓄,按照合约规定可以1:1获取同等数量的储蓄票据资产,同时用户
Stella981 Stella981
4年前
Elasticsearch分页解决方案
一、命令的方式做分页1、常见的分页方式:fromsizeelasticsearch默认采用的分页方式是fromsize的形式,但是在深度分页的情况下,这种使用方式的效率是非常低的,比如from5000,size10,es需要在各个分片上匹配排序并得到5000\10条有效数据,然后在结果集中取最后10条数据返回。除了会遇到效率上的问题
网站反爬之封IP应对措施
作为爬虫工作者爬取数据是基本的技能,在日常获取数据的过程中遇到网站反爬也是家常事,网站的反爬方式有很多,今天我们重点来分析下封IP的行为。这种情况下大家都是很简单的使用代理IP就解决了,但是网上ip代理有很多家,到底选哪家好呢?这里推荐口碑很好的亿牛云