Python进阶者 Python进阶者
2年前
一篇文章教会你使用Python定时抓取微博评论
【Part1——理论篇】大家好,我是皮皮。试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。接下来小编又选择微博的移动端网站,先登录,然后找
DevOpSec DevOpSec
3年前
【转载】JVM性能调优
1、JVM调优目标:使用较小的内存占用来获得较高的吞吐量或者较低的延迟。程序在上线前的测试或运行中有时会出现一些大大小小的JVM问题,比如cpuload过高、请求延迟、tps降低等,甚至出现内存泄漏(每次垃圾收集使用的时间越来越长,垃圾收集频率越来越高,每次垃圾收集清理掉的垃圾数据越来越少)、内存溢出导致系统崩溃,因此需要对JVM进行调优,使得程序在正
Wesley13 Wesley13
3年前
MySQL使用on duplicate key update时导致主键不连续自增
使用onduplicatekeyupdate语法有时是很方便,但是会有一个影响:默认情况下,每次更新都会更新该表的自增主键ID,如果更新频率很快,会导致主键ID自增的很快,过段时间就超过数字类型的的范围了解决这个问题,有两种方式:(实际我目前使用的方式是把自增主键ID设置为bigint,也有一部分操作先查询再选择插入OR更新)方法一:拆分成两个
Wesley13 Wesley13
3年前
MySQL数据库CPU问题一则
作者:张政俊,中欧基金DBAMysql一般出现CPU负载过高问题的时候,我们都会去看下故障期间的慢sql日志,然后找出全表扫描、索引不合理、函数运算过多的sql,让开发同学优化下。实在不行的话,那就升级CPU硬件,替换更高频率的CPU,1路的升级成2路,2路的升级成四路。这次出现的问题因为关乎到每天的业务处理,所以很多措施无法第一时间到位,
Wesley13 Wesley13
3年前
MongoDB分片介绍
本文简单介绍MongoDB的分片功能,对分片进行了概述,具体的功能详解,后续文章会陆续推出分片是把数据分配到多个服务器上的一种方式,MongoDB使用分片实现大数据部署以及高吞吐操作。大数据以及高吞吐量的应用会对单个服务器的容量造成很大的挑战。比如,高频率的查询操作会消耗服务器的CPU,如果数据集大于系统的RAM容量,也会对硬盘的性能造成影响。应
Stella981 Stella981
3年前
HashMap 为什么会导致 CPU 100%?文章看不懂?来看这个视频吧!——面试突击 006 期
无论是在实际工作中还是在面试中,HashMap无疑是使用频率最高的知识点之一,所以我们需要搞懂每一个关于HashMap的知识点才行。哈喽,大家好,我是老王,欢迎来到Java面试突击,我们今天来开始第6期的内容。本期的问题是:HashMap为什会导致CPU运行100%?这是一个比较常见的经典问题了,但是有很多人读者朋友给我反馈
Stella981 Stella981
3年前
Serverless 实现视频压缩与格式转换
在Serverless架构的应用案例中,有这样一个非常实在的应用:视频的处理。腾讯云的函数计算平台对这个领域的描述:视频应用、社交应用等场景下,用户上传的图片、音视频的总量大、频率高,对处理系统的实时性和并发能力都有较高的要求。例如:对于用户上传的视频短片,我们可以使用多个云函数对其分别处理,对应不同的清晰度(1080p、720p等),以满足
Stella981 Stella981
3年前
Nature 重磅:潘建伟团队实现数十公里远程量子储存器纠缠
北京时间2月13日凌晨,最新一期_Nature_ 发表了中国科学技术大学潘建伟团队的最新重磅成果:两个量子存储器通过光纤跨越数十公里实现远程纠缠。在这项最新研究中,潘建伟、包小辉及其同事利用一种名为腔增强的量子效应,来制备纠缠原子和光子,再将这些纠缠原子和光子转换为适合于电信传输的频率,最后在两个由50公
可莉 可莉
3年前
2019秋招:460道Java后端面试高频题答案版【专题:网络安全】
点击上方“码农进阶之路”,选择“设为星标”回复“面经”获取面试资料写在前面网络安全在后端开发中其实问到的频率并不是很高,但是为了做到不留任何漏网之题,还是建议大家抽时间了解下这块的内容,至少常见的攻击手段极其防御措施要交接下,不至于在面试时遇到此类问题什么也回答不上来。网络安全专题和后端开发相关的网络安全主要是一些代码漏洞
曼成 曼成
8个月前
手机号码实时检测API:提高信息成功送达给用户的利器
在数字化通信时代,手机号码成为了连接用户与服务的重要桥梁。然而,随着用户更换号码的频率增加,以及号码的停用和重新分配,确保发送的信息能够准确无误地到达目标用户手中,成为了一个挑战。手机号码实时检测API应运而生,它通过实时验证手机号码的有效性,帮助企业和开发者提高信息的送达率和用户满意度。