Irene181 Irene181
3年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Irene181 Irene181
3年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Wesley13 Wesley13
3年前
java中static关键字的使用
知识点:java中,static关键字修饰类的变量、方法、代码块、内部类场景:我们在创建类的方法和变量时,如果这个类在创建多个对象时,共用同一个属性或者方法,就可以使用static关键字修饰,因为static修饰的变量,在内存的静态域存在的值,被类的多个实例所共用,实际上我们在编写一个类时,就是在描述对象的属性和行为,并没有产生实质上的对
不才 不才
3年前
快24岁了,没什么目标(不才的21年年终总结)
第三次打开文档,算第二版了,还是不知道怎么开头,脚本和结构也是改了又改,写着写着又成了流水帐,眼看着从21年到22年了再不写就成了年“中”总结了。今天熬个夜,这次用的Apple的备忘录,在写的时候觉得行距太挤了,还找不到怎么调整。别问为什么用Apple备忘录。啊你没问啊,那没事了。写完回头,突然发现原来年后写总结最难的是今年/去年是那年啊。Ps:今年表
红烧土豆泥 红烧土豆泥
4年前
创建型工厂设计模式之前置黑魔法(反射)
什么是反射?为什么说反射是黑魔法?为什么要在工厂设计模式前扯反射这东西?首先,既然在工厂设计模式前整它,肯定是在处理工厂设计模式时会用到它;既然都用黑魔法来形容它了,肯定是它异常强大;那什么是反射嘞?既然能被称为"反",那就肯定会有"正",那,正。。。是啥子嘞?想当然,既然平时我们都不怎么搞反射,那我们平日整的就是正了呗!平时我们实例化一个对象都是是
Aidan075 Aidan075
3年前
分享十张表的数据!大家一起玩!
↑关注置顶 有趣的不像个技术号大家好,我是朱小五经常看我文章的朋友都知道,我一般在文中会分享自己的爬虫脚本或思路。最近有一些朋友留言表示对python不太熟悉,也不太会使用爬虫,但是对文中的数据很感兴趣。问小五能不能分享一下这些数据。当然可以,不过小五要先把涉及的用户信息去掉,再限制一下数据量,仅供大家学习交流,这样就没有法律风
Wesley13 Wesley13
3年前
Java序列化(Serializable)与反序列化
序列化是干什么的简单说就是为了保存在内存中的各种对象的状态(也就是实例变量,不是方法),并且可以把保存的对象状态再读出来。虽然你可以用你自己的各种各样的方法来保存objectstates,但是Java给你提供一种应该比你自己好的保存对象状态的机制,那就是序列化。什么情况下需要序列化1.当你想把的内存中的对象状态保存到一个文件中
Wesley13 Wesley13
3年前
@RequestBody参数已经被读取,究竟是何原因?
不知道你们有没有对用户输入的东西进行过敏感校验,如果不进行校验,用户属于一些攻击脚本,那么我们的服务就挂逼啦!所以我们首先需要通过过滤器将用户的数据读出来进行安全校验,这里面涉及到一个动作,就是需要将用户的数据在过滤器中读出来,进行校验,通过之后再放行。问题如果我们的数据是get请求倒还好,但是如果是一些数据量比较大,我们需要通过postjs
Easter79 Easter79
3年前
springMVC两种方式实现多文件上传及效率比较
springMVC实现多文件上传的方式有两种,一种是我们经常使用的以字节流的方式进行文件上传,另外一种是使用springMVC包装好的解析器进行上传。这两种方式对于实现多文件上传效率上却有着很大的差距,下面我们通过实例来看一下这两种方式的实现方式,同时比较一下在效率上到底存在着多大的差距。1.下载相关jar包。需要引入的jar出了springMVC的ja
Stella981 Stella981
3年前
MongoDB的安全写入GetLastError
这次聊聊业务中经常出现的重试现象,可能很多运维都被开发莫名其妙的艾特然后让查一查业务中出现失败的情况,很不巧刚接手MongoDB的运维就碰到了一个案例。前段时间与业务开发讨论过某业务服务的超时重试问题,这项业务依赖的数据库是一直很热门的MongoDB数据库,这里采用了复制集的模式架构,且底层硬件采用KVM。业务开发反映数据库实例慢,最近超时的业务较少