Karen110 Karen110
3年前
手把手教你用Pycharm连接远程Python环境
前言本次咱们来操作一下如何在Pycharm上,使用远程服务器上的Python环境。为什么这样做?这个要从我的一次经历说起,有一次我帮朋友爬取一些东西,由于类别不同,分了几次爬取,这一次我写好规则之后,依然正常爬取,由于我本人比较善良,加上数据量目测并不是太多,并没有使用代理ip,并且将scpay的速度控制的比较慢,一般爬取时,一般也就几分钟而已,泡一杯咖
Karen110 Karen110
3年前
Python爬取所有人位置信息,制作任意区域人流量显示图
最近偶然看到了腾讯的大数据星云图,非常漂亮,如下图:这些数据代表使用腾讯定位服务的用户实际地理位置,例如微信、QQ、腾讯地图等,所以使用量还是表达的,此图可以间接显示人流量情况该网站还可以查看区域热力图:但是只有个别区域于是我萌生一个想法,用python任意区域人员流量图经过不懈努力,没想到还真给实现了,下面带大家一起学习一下这一过程:一、首先是数据获取
3A网络 3A网络
2年前
Redis是怎么解决缓存占满内存的
Redis最为常用的是拿来做缓存,而Redis之所以这么快的原因之一是搭上了内存那纳秒级别的处理速度来存储数据,极大提升了应用服务的性能。(从用户角度翻译过来就是这玩意反应快了)但是,但凡技术总有它的局限性,例如在计算机中内存空间远比磁盘空间要小得多,而且内存比磁盘贵。所以我们要是把数据都放内存,显然是一件成本高,性价很低的事情。所以更多的是采取让Redis
今日头条广告代理商怎么找?如何分辨真假?
随着移动互联网营销时代的发展,很多广告主都想借助今日头条平台的发展来推广自己的产品及服务,因为今日头条平台到目前为止已拥有超过7亿的用户了,今日头条平台对于用户来说,就像逛淘宝和天猫一样,每一天的搜索动作都是必不可少的,而且它比其他平台多了一个自动分析、整合、推送相关产品的功能,这既不会给用户带来干扰,也可以节省广告主的广告投放资金。然而,广告主在投放广告这
Stella981 Stella981
3年前
Noark入门之线程模型
0x00单线程多进程单线程与单进程多线程的目的都是想尽可能的利用CPU,减少CPU的空闲时间,特别是多核环境,今天咱不做深度解读,跳过...0x01线程池锁最早的一部分游戏服务器是采用线程池的方式来处理玩家的业务请求,以达最大限度的利用多核优势来提高处理业务能力。但线程池同时也带来了并发问题,为了解决同一玩家多个业务请求不被
Wesley13 Wesley13
3年前
vivo 互联网业务就近路由技术实战
一、问题背景在vivo互联网业务高速发展的同时,支撑的服务实例规模也越来越大,然而单个机房能承载的机器容量是有限的,于是同城多机房甚至多地域部署就成为了业务在实际部署过程中不得不面临的场景。一般情况下,同一个机房内部的网络调用平均时延在0.1ms左右,同城多个机房之间的平均时延在1ms左右,跨地域机房之间的网络时延则更大,例如北京到上海
Wesley13 Wesley13
3年前
@RequestBody参数已经被读取,究竟是何原因?
不知道你们有没有对用户输入的东西进行过敏感校验,如果不进行校验,用户属于一些攻击脚本,那么我们的服务就挂逼啦!所以我们首先需要通过过滤器将用户的数据读出来进行安全校验,这里面涉及到一个动作,就是需要将用户的数据在过滤器中读出来,进行校验,通过之后再放行。问题如果我们的数据是get请求倒还好,但是如果是一些数据量比较大,我们需要通过postjs
Wesley13 Wesley13
3年前
MQ(消息队列)常见的应用场景解析
前言提高系统性能首先考虑的是数据库的优化,之前一篇文章《数据库的使用你可能忽略了这些》中有提到过开发中,针对数据库需要注意的事项。但是数据库因为历史原因,横向扩展是一件非常复杂的工程,所有我们一般会尽量把流量都挡在数据库之前。不管是无限的横向扩展服务器,还是纵向阻隔到达数据库的流量,都是这个思路。阻隔直达数据库的流量,缓存组件和消息组件是两大
Stella981 Stella981
3年前
IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?
1、前言在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止于此,它的价值不仅仅存在于技术上,更重要的是改变了以往同步处理消息的思路(比如进行IM消息历史存储时,传统的信息系统作法可能是收到一条消息就马上同步存
算力如何升级?天翼云这么干!
信息是当前社会的黏结剂,是不可或缺的生产要素,而海量的数据对云计算提出了更大的挑战,导致云计算的竞争也在持续升温。差异化布局早在2020年底,天翼云形成全栈云产品体系,2021年进一步向垂直行业和属地深化,将资源及服务团队下沉到地市,属地云业务快速增长,为天翼云实现了新的增长级。天翼云目前已承载超过20个省级政务云,超过300个地市级政务云,参与超过1000