Python进阶者 Python进阶者
2年前
手把手教你用Python网络爬虫进行多线程采集高清游戏壁纸
一、背景介绍大家好,我是皮皮。对于不同的数据我们使用的抓取方式不一样,图片,视频,音频,文本,都有所不同,由于网站图片素材过多,所以今天我们使用多线程的方式采集某站4K高清壁纸。二、页面分析目标网站:http://www.bizhi88.com/3840x2160/如图所示,有278个页面,这里我们爬取前100页的壁纸图片,保存到本地;解析页面如图所示所哟
捉虫大师 捉虫大师
3年前
一种极致性能的缓冲队列
本文已收录https://github.com/lkxiaolou/lkxiaolou欢迎star。背景在多线程下的生产者消费者模型中,需求满足如下情况:对生产者生产投递数据的性能要求非常高多个生产者,单个(多个也可以,本文只介绍单个的情况)消费者当消费者跟不上生产者速度时,可容忍少部分数据丢失生产者是单条单条地生产数据举个日志采集的例子,日志在不同的
Wesley13 Wesley13
3年前
java中的锁
记录一下公平锁,非公平锁,可重入锁(递归锁),读写锁,自旋锁的概念,以及一些和锁有关的java类。公平锁与非公平锁:公平锁就是在多线程环境下,每个线程在获取锁时,先查看这个锁维护的队列,如果队列为空或者自身就是等待队列的第一个,就占有锁。否则就加入到等待队列中,按照FIFO的顺序依次占有锁。非公平锁会一上来就试图占
Wesley13 Wesley13
3年前
java锁学习(一)
作用能够保证同一时刻,最多只有一个线程执行该段代码,以达到并发安全的效果主要用于同时刻对线程间对任务进行锁地位synchronized是JAVA的原生关键字,是JAVA中最基本的互斥手段,是并发编程中的元老角色不使用并发的后果不使用并发会导致多线程情况下,同一个数据被多个线程同时更改,造成结果和预期不一致
Wesley13 Wesley13
3年前
Java 之 synchronized 详解
一、概念synchronized是Java中的关键字,是利用锁的机制来实现同步的。锁机制有如下两种特性:互斥性:即在同一时间只允许一个线程持有某个对象锁,通过这种特性来实现多线程中的协调机制,这样在同一时间只有一个线程对需同步的代码块(复合操作)进行访问。互斥性我们也往往称为操作的原子性。可见性:必须确
Stella981 Stella981
3年前
Redis为什么使用单进程单线程方式也这么快
Redis采用的是基于内存的采用的是单进程单线程模型的KV数据库,由C语言编写。官方提供的数据是可以达到100000的qps。这个数据不比采用单进程多线程的同样基于内存的KV数据库Memcached差。Redis快的主要原因是:1.完全基于内存2.数据结构简单,对数据操作也简单3.使用多路I/O复用模型第一、二点不细讲,主要
Wesley13 Wesley13
3年前
Java中生产者与消费者模式
 生产者消费者模式首先来了解什么是生产者消费者模式。该模式也称有限缓冲问题(英语:Boundedbufferproblem),是一个多线程同步问题的经典案例。该问题描述了两个共享固定大小缓冲区的线程——即所谓的“生产者”和“消费者”——在实际运行时会发生的问题。生产者的主要作用是生成一定量的数据放到缓冲区中,然后重复此过程。与此同
Wesley13 Wesley13
3年前
Java期末总结——博客三
Java期末总结        一学期的java课程已经结束了,通过这学期对Java的学习,我学习到了很多,首先就是对java有了一个全面的认识,其次也学到了很多知识点,比如:基本类型与数据,循环语句,子类继承,接口,SQL结构化语句还有多线程等等。但是自己对这门课还存在很多问题,在每次考核时,发现自己对知识点的理解特别的差,我不知道该如何应用,
Wesley13 Wesley13
3年前
Mysql体系结构(第4天)
数据库与数据库实例数据库:是二进制文件;数据库实例:用来操作数据库文件;mysql一个数据库对应一个实例;一个实例对应一个数据库;单进程多线程;每张表都有一个存储引擎!(https://oscimg.oschina.net/oscnet/9d3433c66c0c8e3991d66f80c7c5c22a943.pn
Wesley13 Wesley13
3年前
5年外包码农,拿到阿里offer,成功上岸,凭什么?
又到了换工作的时间了,都说金九银十,国庆完了就该过年了……,时间紧迫,每次找工作的时候,大家还需要在网上搜各种面试题,花了不少时间。有时题目有了,却没答案,该怎么办呢?不用担心,有一整套完整的深度剖析一线大厂多线程面试120题视频资料要免费送给大家(600多分钟,原价可是699元哦,京东架构师黄老邪工作16年以来的总结,基