Irene181 Irene181
4年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
Irene181 Irene181
4年前
手把手教你用Scrapy爬虫框架爬取食品论坛数据并存入数据库
大家好,我是杯酒先生,这是我第一次写这种分享项目的文章,可能很水,很不全面,而且肯定存在说错的地方,希望大家可以评论里加以指点,不胜感激!一、前言网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是,爬虫是用来海量规则化获取数据
金三银四该准备起来了?
020年是不平凡的一年,一场突如其来的疫情改变了很多人的人生轨迹;作为一名互联网程序员来说,最大的感受是不是某某公司有裁员的消息,之前网传程序员到了35岁之后必须要转行,现在又有人传言:“疫情之下,程序员今年要过苦日子了,降薪裁员是大趋势“。我们不可否认,从去年年底开始,疫情就导致了很多企业陷入危机,继而停发薪资、变相裁员,在如此“难搞”的大环境下,对程序员
Wesley13 Wesley13
3年前
2015年春节往事小记
2014年已经悄然而逝了,春节回家过年的这段时间,由于家里没网,也有半个多月没有更新文章了,在这里散仙向各位亲爱的小伙伴们说句抱歉,以后在时间充裕的条件下,会尽量多分享一些文章,包括一些技术类和一些非技术类的,不喜欢在网页上浏览信息的朋友们,可以关注公众号,我是攻城师,方便大家在手机上浏览,除此之外,大家也可以在公众号上,直接留言问题,一起互动解决。现在公众
Stella981 Stella981
3年前
Linux服务器可以进百度,但是进阿里云或者别的一些网站提示‘错误代码:NS_ERROR_NET_INADEQUATE_SECURITY’的问题
昨天遇到一个头疼的事情,在阿里云买了一台服务器;然后环境各种都装了,因为本人是小白,所以一般都装MATE界面;一开始环境没配好,访问百度可以进去,进万网但是进不去,先也没急着搞这个事情,第一天晚上下班很晚了,就先装了可视化界面不管了。第二天早上,还是打不开,很头疼。虽然不影响我装环境之类的,但是本人有纠结症,就是喜欢研究无厘头的东西。先给阿里
Stella981 Stella981
3年前
SpringBoot项目使用多线程处理任务时无法通过@Autowired注入bean
  最近在做一个“温湿度控制”的项目,项目要求通过用户设定的温湿度数值和实时采集到的数值进行比对分析,因为数据的对比与分析是一个通过前端页面控制的定时任务,经理要求在用户开启定时任务时,单独开启一个线程进行数据的对比分析,并将采集到的温湿度数值存入数据库中的历史数据表,按照我们正常的逻辑应该是用户在请求开启定时任务时,前端页面通过调用后端接口,创建一个新的线
Stella981 Stella981
3年前
IM开发基础知识补课(七):主流移动端账号登录方式的原理及设计思路
本文引用了“低调的码农”原创文章“多账户的统一登录”一文的部分内容,感谢原作者的无私分享。1、引言在即时通讯网经常能看到各种高大上的高并发、分布式、高性能架构设计方面的文章,平时大家参加的众多开发者大会,主题也都是各种高大上的话题——什么5G啦、AI人工智能啦、什么阿里双11分分钟多少万QPS高并发等等。但实际上,对于普通的开发者(包括
Easter79 Easter79
3年前
SpringBoot项目使用多线程处理任务时无法通过@Autowired注入bean
  最近在做一个“温湿度控制”的项目,项目要求通过用户设定的温湿度数值和实时采集到的数值进行比对分析,因为数据的对比与分析是一个通过前端页面控制的定时任务,经理要求在用户开启定时任务时,单独开启一个线程进行数据的对比分析,并将采集到的温湿度数值存入数据库中的历史数据表,按照我们正常的逻辑应该是用户在请求开启定时任务时,前端页面通过调用后端接口,创建一个新的线
天翼云铸牢国云安全,护航千行百业
随着数字化转型节奏不断加快,越来越多企业将业务和数据迁移到云平台上。企业在享受“上云用数赋智”带来的好处的同时,也面临新的安全挑战。天翼云作为云服务国家队,肩负着守护用户云上安全的重要责任和使命。安全可信,是国云的基本要求,也是国云的本质特征。天翼云时刻牢记使命、坚持初心,打造安全可信核心竞争力,为用户提供全方位的网信安全保障能力,并从五个方面进行实践,铸牢
基于三层流量卸载方案的子网路由
本文介绍的子网路由功能是基于三层流量卸载方案、通过OpenFlow流表方式来实现的。在介绍子网路由之前,先了解一下东西向三层流量卸载方案。如图1所示,vm1、vm2和vm3分别属于三个不同网段的子网,同属于一个VPC,即三层可通。在卸载之前,同VPC三层流量均需要通过租户网关TGW拉通,导致TGW的流量压力较大,无法满足大客户对于同VPC三层互访流量的需求