Wesley13 Wesley13
3年前
java爬虫
想找一些图片做桌面背景,但是又不想一张张去下载,后来就想到了爬虫。。。对于爬虫我也没具体用过,在网上一顿搜索后写了个小demo。爬虫的具体思路就是:1.调用url爬取网页信息2.解析网页信息3.保存数据刚开始还用正则去匹配,获取img标签中的src地址,但是发现有很多不便(主要我正则不太会),后来发现了jsoup这个神器。jsoup
Wesley13 Wesley13
3年前
java爬虫进阶 —— ip池使用,iframe嵌套,异步访问破解
写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider,也就是蜘蛛的意思,web网络爬虫系统的功能是下载网页数据,进行所需数据的采集。主体也就是根据开始的超链接,下载解析目标页面,这时有两件事,一是把相关超链接继续往容器内添加,二是解析页面目标数据,不断循环,直到没有url解析为止。举个栗子:我现在要爬取苏宁手机价
Wesley13 Wesley13
3年前
java 代码生成分享海报,仅供参考
为了生成一个活动海报,不得不根据海报底图通过java代码手动生成一张海报(包含用户名,用户简介,商品图,商品价格,商品二维码宣传语等),通过千辛万苦后,终于画成功了,我强了但也秃了,这不是因为强而秃,而是我的同事告诉我,为什么不用通过网页htmlcss写出一张海报,然后java代码通过url保存为图片(?????)  我秃了
Wesley13 Wesley13
3年前
Android之基于百度云推送IM
偶然的一天,发现百度出了一个云推送包,想想百度的服务器还是比较靠谱的说,怎么着也比我们自己搭建的服务器要稳定,于是乎,我就花了几天时间,写了一个小小的聊天工具,权当是练手。主要思路是:客户端的聊天内容通过json格式封装(包含聊天内容、发送人信息)之后,HTTP请求百度服务器,即请求把该消息发送到指定id的用户,请求成功之后,百度服务器就把我们的信息转发给指
Stella981 Stella981
3年前
Lua学习笔记_String(一)
   Lua中的字符串可以包含一个字母也可以是一整本书。用一个字符串表示100K甚至1M的内容在Lua中并不罕见。     在Lua中,字符串是字节的序列。Lua内核中不关心这些字节是什么编码格式。Lua只是单纯地以8bit为单位保存它们,且每个字节可以是任意数字,包括0。这就意味着我们可以用字符串保存任意二进制数据。也可以将Unicode字符串保存为任
Stella981 Stella981
3年前
OneAPM Cloud Test——系统性能监控神器
2015年8月,OneAPM推出了一款系统性能监控产品——CloudTest,产品上线以来以「两低一高」的特点迅速成为市场增长率最快的一匹黑马。「两低一高」,即低使用成本、低学习成本以及高服务可靠性。无须任何安装埋点操作,用户只需注册一个免费账号,即可自主添加需要监测的URL,开启7×24小时全面系统监控,一旦发生服务不可用,或加载时间超过阈
Stella981 Stella981
3年前
Spring Cloud(五)
微服务网关在微服务架构中,后端服务往往不直接开放给调用端,而是通过一个API网关根据请求的url,路由到相应的服务。当添加API网关后,在第三方调用端和服务提供方之间就创建了一面墙,这面墙直接与调用方通信进行权限控制,后将请求均衡分发给后台服务端。为什么需要APIGateway1\.简化客户端调用复杂度在微服
安居客房源信息获取
最近身边有几个做房产销售的朋友经常在诉苦,找不到客户,没有业绩,所以就比较好奇他们现在的行情,所以今天我们就使用python获取下安居客的一些房源数据。之前分享过很多关于爬虫的实践示例,今天这个也算是实践内容。我们就以户型结构、装修情况、水肥情况进行房源数据获取。爬取数据的通用流程:1、根据url请求页面,获取页面响应对象2、将页面响应对象转化为对象3、定
十月飞翔 十月飞翔
2年前
http协议中各个响应状态返回值(200、400、404、500等)的含义
1.该类型状态码表示接收到请求并且继续处理100:客户端必须继续发出请求。101:客户端要求服务器根据请求转换HTTP协议版本。2.该类型状态码表示动作被成功接收、理解和接受。200,表明该请求被成功地完成,所请求的资源发送到客户端。201,提示知道新文件的URL。202,接受并处理,但处理未完成。203,返回信息不确定或不完整。204,收到请求,但返回信息
凿壁偷光 凿壁偷光
1年前
AnyToISO Pro for Mac(专业级ISO镜像文件制作工具)
anytoisopromac版是一款简单易用的ISO镜像文件制作工具,可以帮助您快速提取各种类型的存档的内容,或将它们转换为ISO映像。AnyToISO能够处理大量流行的归档格式,例如DMG,RAR,RAR,IMG,CDI,7Z等。该实用程序允许您将其内容提取到文件夹,但也可以将它们快速转换为ISO映像。此外,AnyToISO为您提供了备份CD和DVD磁盘的可能性,将它们用作新生成的ISO映像的源。最后但同样重要的是,AnyToISO能够为Mac上存储的任何文件夹制作ISO档案。