Stella981 Stella981
4年前
Python 多进程程批量爬取小
使用python多进程跑同样的代码。python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiproc
Wesley13 Wesley13
4年前
100 行写一个 go 的协程池 (任务池)
前言go的goroutine提供了一种较线程而言更廉价的方式处理并发场景,go使用二级线程的模式,将goroutine以M:N的形式复用到系统线程上,节省了cpu调度的开销,也避免了用户级线程(协程)进行系统调用时阻塞整个系统线程的问题。【1】但goroutine太多仍会导致调度性能下降、GC
Stella981 Stella981
4年前
PostgreSQL死锁进程及慢查询处理
1、死锁进程查看:SELECTFROMpg_stat_activityWHEREdatname'数据库名称'andwaitingtrue;pid进程id。2、慢查询SQL:selectdatname,pid,usename,application_name,client_addr,client
Wesley13 Wesley13
4年前
JUC上篇
1、JUC是什么?!(https://oscimg.oschina.net/oscnet/1232464cdfec08eb1787c53e84aef787021.jpg)2.首先要回忆一下什么是进程和线程。进程:进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分
Wesley13 Wesley13
4年前
vc++创建一个进程
include<windows.hintmain(){STARTUPINFOsi;//进程启动时需要初始化的结构PROCESS\_INFORMATIONpi;//进程启动后的有关信息si.cbsizeof(STARTUPINFO);GetStartupInfo(&si);si.wShowWindo
HPC调度基础:slurm集群的部署
本文分享自天翼云开发者社区@《》,作者:才开始学技术的小白0.引言HPC(HighPerformanceComputing,以下简称HPC)是一个领域,试图在任何时间点和技术上对于相关技术、方法和应用等多种方面实现最大的计算能力;换而言之其目的就是求解一类
算网资源调度关键技术
在云网融合阶段,网络为云计算提供连接服务,云计算为网络云化提供支撑。随着云网一体化持续演进,云网融合步入算力网络新阶段。算力网络通过对业务、算力资源和网络资源的协同感知,将业务按需调度到合适的算力节点,实现算网资源的统一编排、统一运维、统一运营和统一优化。
京东物流-智能运输调度系统方案 荣获IF、红点国际设计大奖
作者:京东物流王文玲前言京东集团企业文化升级后,「以技术为本,让生活更美好」成为京东人的使命,在「创新」价值观引导下,设计师基于对物流业务领域持续深耕,自驱发起智能调度解决方案的创新思考,推演得到智能物流运输调度系统概念方案,经过投稿先后获得设计领域国际影