Python进阶者 Python进阶者
3年前
一篇文章教会你使用Python定时抓取微博评论
【Part1——理论篇】大家好,我是皮皮。试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。接下来小编又选择微博的移动端网站,先登录,然后找
浅谈离线数据倾斜
用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了'一个人累死,其他人闲死'的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要一直等待这个忙碌的节点,也拖累了整体的计算时间,可以说效率是十分低下的
Python进阶者 Python进阶者
3年前
HTML页面基本结构和加载过程
大家好,我是皮皮。前言对于前端来说,HTML都是最基础的内容。今天,我们来了解一下HTML和网页有什么关系,以及与DOM有什么不同。通过本讲内容,你将掌握浏览器是怎么处理HTML内容的,以及在这个过程中我们可以进行怎样的处理来提升网页的性能,从而提升用户的体验。一、浏览器页面加载过程不知你是否有过这样的体验:当打开某个浏览器的时候,发现一直
Stella981 Stella981
3年前
Gson序列化时@SerializedName的使用
        Gson是java中比较常见的json序列化工具,实习参与的项目由于最开始是C开发的.net项目,近两年才开始用java,但之前的很多项目仍然在使用C并且还在更新。于是牵涉到跨语言的程序通信,公司自己用thrift封装了一个服务路由实现。但两个语言有些不一样的地方挺蛋疼,比如命名规则,java喜欢首字母小写,C喜欢首字母大写,传数据就
Stella981 Stella981
3年前
Python2.x的编码问题
1\.计算机编码历史ASCIIPython的默认编码,其是一种单字节的编码。刚开始计算机世界里只有英文,而单字节可以表示256个不同的字符。最开始ASCII只定义了128个字符编码,包括96个文字和32个控制符号,因此ASCII只使用了一个字节的后7位,最高位都为0。每个字符和ASCII码的对应关系可以查看下图:!image_1
Wesley13 Wesley13
3年前
K12在线教育哪家强,到天津,找好度.....
IT产业最火的领域是什么?是移动互联网!移动互联网最热的方向是什么?是在线教育!在线教育是充满无限机遇的金矿吗?未必,辣么多先驱都倒下了.....但为什么它还这么火呢?因为教育是永远的刚需,在线教育则是未来娃娃们必然的选择我们如何能够在这个领域立足呢?技术重要吗?资金重要吗?人脉重要吗?我们认为,最重要的是人才,是富有想象力、
Stella981 Stella981
3年前
Kubernetes 入门必备云原生发展简史
作者|张磊阿里云容器平台高级技术专家,CNCF官方大使“未来的软件一定是生长于云上的”这是云原生理念的最核心假设。而所谓“云原生”,实际上就是在定义一条能够让应用最大程度利用云的能力、发挥云的价值的最佳路径。在这条路径上,脱离了“应用”这个载体,“云原生”就无从谈起;容器技术,则是将这个理念落地、将软件交付的革命持续进行下去的重要手段之一。云原生
Wesley13 Wesley13
3年前
MD5 SHA1 HMAC HMAC_SHA1区别
MD5是一种不可逆的加密算法,目前是最牢靠的加密算法之一,尚没有能够逆运算的程序被开发出来,它对应任何字符串都可以加密成一段唯一的固定长度的代码。SHA1是由NISTNSA设计为同DSA一起使用的,它对长度小于264的输入,产生长度为160bit的散列值,因此抗穷举(bruteforce)性更好。HMAC\_SHA1  
Wesley13 Wesley13
3年前
Go语言探险思考笔记(1)
最近接触对象存储,国际上鼎鼎有名的AmazonS3还有GoogleCloudService在国内由于防火墙还有机房过远的问题,并不能投入生产使用。国内有名的对象存储,大家众所周知的七牛云,后台就是Go语言实现的。对于第一个敢吃螃蟹的人,我一直很佩服。于是抱着憧憬的心态走进Go语言的大门。首先,接触一门语言,就从最啰嗦但是最不能缺少的基础语法和顺序
Wesley13 Wesley13
3年前
Java多线程下的协同控制,这些你都知道了吗?
协同控制是并发程序必不可少的重要手段。主要分为两大控制方法,一个是JDK提供的最基础的协同控制方法,一个是java.util.concurrent包下的拓展类控制,接下来我们将会介绍这两种方法有哪些操作可以进行同步控制。一、基础的协同控制线程基础知识因为加锁涉及到多线程,所以有必要先说一下线程的基础知识(定义那