python如何通过分布式爬虫爬取舆情数据
作为爬虫,有时候会经历过需要爬取站点多吗,数据量大的网站,我们身边接触最频繁、同时也是最大的爬虫莫过于几大搜索引擎。今天我们来聊一个同样是站点多数据量的爬取方向,那就是舆情方向的爬虫。舆情简单来说就是舆论情况,要掌握舆情,那么就必须掌握足够多的内容资讯。除
如何计算真实的数据库成本
本文分享自天翼云开发者社区《》作者:王乾在云计算占主导地位之前,计算数据库的成本是一个非常简单的等式:软件成本硬件成本数据库成本。如果你选择了一个开源产品,软件成本可能会消失。虽然云计算已经从根本上改变了我们使用和部署软件的方式,但仍有太多人在使用这种过
Karen110 Karen110
4年前
python-docx无法处理 “doc格式” 文件,于是我这样做......
问题引入目前的日常工作中,见的最多的还是对Excel文件和Word文件的处理。对于Excel文件,如果出现xls、xlsx、xlsm混合文件应该怎么处理?对于Word文件,出现doc和docx的混合文件,又该怎么处理。你可能会用VBA,但是不得不说,批量操作这些文件,还是要学Python,操作真的很简单。为了增强文章的可读性,我们分2篇文章讲述这些问题
Stella981 Stella981
3年前
Google Map 开发(二):根据方向传感器对 Marker 进行旋转
这是最近做的一个小功能,虽然很简单,网上却很少有相关例子,关于怎么使用地磁和加速度传感器的例子是有了,怎么旋转GoogleMapMarker也能Google到一些,但是结合起来就基本没看到,也可能是我搜索方式不对,所以还是自己来实现了。首先找找GoogleMapMarker相关的文档,如何使用可以参见这个:https://dev
Stella981 Stella981
3年前
EasyHook库系列使用教程之四钩子的启动与停止
此文的产生花费了大量时间对EasyHook进行深入了解同一时候參考了大量文档先来简单比較一下EasyHook与Detour钩取后程序流程Detours:钩取API函数后。产生两个地址,一个地址相应真Hook函数地址。一个相应真实API地址EasyHook:钩取API函数后,所有API指向同一地址。通过ACL控制是否跳转到真实API
Wesley13 Wesley13
3年前
MongoDB 副本集之入门篇
前言:mongodb因为高性能、高可用性、支持分片等特性,作为非关系型数据库被大家广泛使用。其高可用性主要是体现在mongodb的副本集上面(可以简单理解为一主多从的集群),本篇文章主要从副本集介绍、本地搭建副本集、副本集读写数据这三个方面来带大家认识下mongodb副本集。一、mongodb副本集介绍—
Wesley13 Wesley13
3年前
NIO如何多线程操作
因为NIO本身是非阻塞的,所以他的消息选择器Selector可以在单线程下连接多台客户端的访问。为了加强NIO的性能,我们加入多线程的操作,当然NIO并不能简单的把Selector.select()放入Executor.execute(Runnable)的run方法中。为完成NIO的多线程,我们应该有一个调度类,一个服务类。调度类的目的是初始化一
Stella981 Stella981
3年前
Python使用grequests并发发送请求
\TOC\前言requests是Python发送接口请求非常好用的一个三方库,由K神编写,简单,方便上手快。但是requests发送请求是串行的,即阻塞的。发送完一条请求才能发送另一条请求。为了提升测试效率,一般我们需要并行发送请求。这里可以使用多线程,或者协程,gevent或者aiohttp,然而使用起来,都相对麻烦。greques
Stella981 Stella981
3年前
Android之应用首次使用的欢迎界面实例
开篇先把使用的项目(调戏糖宝1.0版本)源码,共享给大家,新手勿喷。UI没有学习,使用的是默认的主题样式,等学习玩UI在做更新吧。此次做这个get一项新技能:安卓.9图片制作。这是原来没有接触过的,感觉好高大上的东西。想了解的自行百度吧,就是简单的一些操作。源码地址:https://git.oschina.net/zhengweishan/Androi
Stella981 Stella981
3年前
Google Kaptcha验证码的使用 Kaptcha是什么? 怎么使用Kaptcha? 更详细的Kaptcha验证码配置? 效果图如下
Kaptcha是什么?kaptcha是谷歌开源的非常实用的验证码生成工具,基于SimpleCaptcha的开源项目。使用Kaptcha生成验证码十分简单并且参数可以进行自定义。只需添加jar包配置下就可以使用,通过配置,可以自己定义验证码大小、颜色、显示的字符等等。下面就来讲一下如何使用kaptcha生成验证码以及在服务器端取