Irene181 Irene181
3年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Irene181 Irene181
3年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Kubrnete Kubrnete
3年前
某个加密大马的解密
我们先来大致看看这个webshell长什么样下面的就是用base64进行编码后的样子,因为太长我就不给图了这里就是这个脚本余下的内容了,最下面的那个函数也就是解开这个加密whellshell的秘钥了,进过观察后我们发现了两个可以点,第一个就是那一大段的base64编码,然后就是那下面的一段,查了一下说是ECMAScript既然这样,我们先按照常规思路将被b
Aidan075 Aidan075
3年前
分享十张表的数据!大家一起玩!
↑关注置顶 有趣的不像个技术号大家好,我是朱小五经常看我文章的朋友都知道,我一般在文中会分享自己的爬虫脚本或思路。最近有一些朋友留言表示对python不太熟悉,也不太会使用爬虫,但是对文中的数据很感兴趣。问小五能不能分享一下这些数据。当然可以,不过小五要先把涉及的用户信息去掉,再限制一下数据量,仅供大家学习交流,这样就没有法律风
Stella981 Stella981
3年前
GitHub两天标星2.1K+!自动刷喵币靠这一个脚本就够了.....
公众号关注“杰哥的IT之旅”,选择“星标”,重磅干货,第一时间送达!!(https://oscimg.oschina.net/oscnet/f0c3939b141b4b91bc4d410bfe0e5976.jpg)大家好,我是JackTian。在正式开始之前,跟大家分享一个之前的文章:程序员自动刷淘宝充能量到爆,就靠这
Wesley13 Wesley13
3年前
mongo数据库的迁移遇到的坑
  由于公司项目原因需要把大量图片导入到mongo中,于是乎用java写了个小脚本,遍历图片文件夹,把所有的图片导入mongo中,图片数量庞大100多万张。最开始单线程跑,跑了一会发现很慢,十多分钟传了几千张,一合计这得跑到猴年马月啊。分析了一下mongo服务器在本地测试环境,网络传输不是问题。那大部分时间应该消耗磁盘IO上了。于是乎启动了8个线程跑
Wesley13 Wesley13
3年前
@RequestBody参数已经被读取,究竟是何原因?
不知道你们有没有对用户输入的东西进行过敏感校验,如果不进行校验,用户属于一些攻击脚本,那么我们的服务就挂逼啦!所以我们首先需要通过过滤器将用户的数据读出来进行安全校验,这里面涉及到一个动作,就是需要将用户的数据在过滤器中读出来,进行校验,通过之后再放行。问题如果我们的数据是get请求倒还好,但是如果是一些数据量比较大,我们需要通过postjs
Stella981 Stella981
3年前
Nginx日志切割之Logrotate篇
  不管是什么日志文件,都是会越来越大的,大到一定程度就是个可怕的事情了,所以要及早的做处理,方法之一就是按时间段来存储,不过linux系统提供了Logrotate的日志管理工具,很好用,不用写计划任务脚本了,不过弊端是转储后的日志文件放入指定的目录,必须和当前日志文件再同一个系统,下面是摘录别人的。记录下以备不时之需。      Logrotate是L
WeiSha100 WeiSha100
2年前
基于.NET的在线刷题考试系统源代码
分享一个基于.NET的在线刷题考试系统,有完整的源代码和脚本文件,可以做二次开发,有管理员,教师和学生三种角色,教师后台可以批量上传试题,发布试卷,批改试卷,统计导出成绩等功能很全面,除了在线刷题和考试,还有其他功能,我在这里简单说一下,详细的可以下载研究哦1、在线刷题:试题可以批量导入导出,学员可以随时随地刷题2、在线考试:多种考试模式,客观题自动阅卷,
利用ChatGPT提升测试工作效率——测试工程师的新利器(一) | 京东云技术团队
在测试工作中可以辅助功能测试包括需求分析或解读代码(注意代码安全)后生成测试用例,还可以辅助生成代码,接口测试用例,自动化脚本等各个方向起作用。当然实际使用中可能会因为提示词的不同生成的结果需要人工多次对话训练才可以。但是使用chatGPT肯定比不用能提高工作效率。当然具体落地后如何进行量化提效抽象等等问题依然在探索中,迈开第一步后依然任重而道远。