Stella981 Stella981
3年前
Python 多进程程批量爬取小
使用python多进程跑同样的代码。python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiproc
Wesley13 Wesley13
3年前
udp之关于linux udp收发包缓冲区大小
1、修订单个socket的缓冲区大小:通过setsockopt使用SO\_RCVBUF来设置接收缓冲区,该参数在设置的时候不会与rmem\_max进行对比校验,但是如果设置的大小超过rmem\_max的话,则超过rmem\_max的部分不会生效;2、修订linux系统udp缓冲区大小:通过rmem\_max来设置系统中udp缓存的上限,该值可通过如下方
Stella981 Stella981
3年前
Redis基础与性能调优
Redis是一个开源的,基于内存的结构化数据存储媒介,可以作为数据库、缓存服务或消息服务使用。Redis支持多种数据结构,包括字符串、哈希表、链表、集合、有序集合、位图、Hyperloglogs等。Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力,并且支持副本集和通过RedisSentinel实现的高可用方案,
Wesley13 Wesley13
3年前
Java 线程基础,从这篇开始
!(https://oscimg.oschina.net/oscnet/up9e63e77ec6426dd7cc456a5caf35dc0d18b.png)线程作为操作系统中最少调度单位,在当前系统的运行环境中,一般都拥有多核处理器,为了更好的充分利用CPU,掌握其正确使用方式,能更高效的使程序运行。同时,在Java面试中,也是极其重要的
Stella981 Stella981
3年前
Facebook构建高性能Android视频组件实践之路
作者|UdiCohen译者|孙浩本文转自“移动开发前线”(微信号:bornmobile)。随着移动设备视频消费的快速增长,为了更高效地呈现内容,Facebook的移动工程师们面临着新的挑战。比起文本和图片这样的简单UI元素,视频需要更多的资源。视频解码器会消耗很多CPU资源,创建视频时还需要分配大量内存,同时他们会使用更多的网络带宽来
Stella981 Stella981
3年前
Redis持久化的两种模式
最近呢,我使用到redis的缓存这方面的知识,所以去加深了一下学习,故有一些积累的东西,在这里给大家分享一下;顺便也当作笔记一般的存在,以免以后用到的时候,又去再次查找,难道自己记录的知识,它不香吗?1\.Redis持久化策略1.1什么是持久化1.1.1持久化介绍    
深度解读天翼云紫金DPU,软硬协同造就极致性能!
算力作为数字经济时代的新生产力,已成为推动数字经济发展的核心动能和坚实底座。在当前这个算力普惠、万物互联的时代,业务场景复杂化,传统以CPU为核心的计算架构面临着诸多挑战。12月29日,在中国电信主办的“2022天翼数字科技生态大会”,中国电信正式发布自研
CGLIB动态代理对象GC问题排查 | 京东云技术团队
一、问题是怎么发现的最近有个新系统开发完成后要上线,由于系统调用量很大,所以先对核心接口进行了一次压力测试,由于核心接口中基本上只有纯内存运算,所以预估核心接口的压测QPS能够达到上千。压测容器配置:4C8G先从10个并发开始进行发压,结果cpu一下就飙升
京东云开发者 京东云开发者
8个月前
关于并发编程与线程安全的思考与实践
作者:京东健康张娜一、并发编程的意义与挑战并发编程的意义是充分的利用处理器的每一个核,以达到最高的处理性能,可以让程序运行的更快。而处理器也为了提高计算速率,作出了一系列优化,比如:1、硬件升级:为平衡CPU内高速存储器和内存之间数量级的速率差,提升整体性