九路 九路
4年前
中国十大IT技术社区,你都知道哪些?
中国5大新型IT技术社区与5大传统IT技术社区,你都知道哪些?社区是聚集一类具有相同爱好或者相同行业的群体,IT技术社区就是聚集了IT行业内的技术人,在技术社区可以了解到行业的最新进展,学习最前沿的技术,认识有相同爱好的朋友,在一起学习和交流。社区是聚集一类具有相同爱好或者相同行业的群体,IT技术社区就是聚焦了IT行业内的一群技术人,在技术社区可以学
python爬虫实践之IP的使用
Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的,万一数据需求量大,那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制,其中就有这样一条,就是服务器会检查请
我是阿沐 我是阿沐
3年前
高并发下如何保证接口的幂等性?
1前言大家好,我是阿沐!”幂等“这个词语或许小伙伴很少见,基本上中小型公司或者一些大公司都未使用过,但是并不代表小伙伴们没有接触到。为啥我会扯到这个技术话题?缘由就是20年我面试了一些大厂包括身边朋友的面试经历,例如腾讯、网易、字节等等大厂,其中大都会遇到”幂等的概念、理解以及实现与应用“,那么下面就听我一一道来幂等的相关知识。2什么是幂等性?数学中:
CuterCorley CuterCorley
4年前
Python 不用selenium 带你高效爬取京东商品评论
一、项目说明1.项目背景一天,一朋友扔给我一个链接,让我看看这个歌商品的所有评论怎么抓取,我打开一看,好家伙,竟然有近300万条评论,不是一个小数目啊。但是仔细一看,原来有234万的评论是默认好评,还是有少部分是有价值的评价的。经过进一步观察,可以看到显然,网页中显示的只有100页数据,每页显示10条,通常可以用selenium点击每一页然后获取
Aidan075 Aidan075
4年前
昨晚试试 数据行转列,差点翻了车
作者:朱小五来源:凹凸数据大家好,我是小五昨晚遇到一道数据行转列问题,差点翻了车,跟大家分享一下。先跟大家讲一下,常见的行转列一般是这种形式:通常用来考察“如何用SQL、或者Python实现?”昨天群里有个朋友问了一道类似的题,我张嘴就来。结果拿来测试表一看,翻车了啊!这并不是常见的那种行转列啊!相当于分组筛选,然后横向拼接到一起?这思路也不对啊不过既然
java对象的生命周期
近有位细心的朋友在阅读笔者的文章时,对java类的生命周期问题有一些疑惑,笔者打开百度搜了一下相关的问题,看到网上的资料很少有把这个问题讲明白的,主要是因为目前国内java方面的教材大多只是告诉你“怎样做”,但至于“为什么这样做”却不多说,所以造成大家在基础和原理方面的知识比较匮乏,所以笔者今天就斗胆来讲一下这个问题,权当抛砖引玉,希望对在这个问题上有疑惑
Aidan075 Aidan075
3年前
自动化办公 | (升级版)批量将Excel中的url链接转成图片②
大家好,我是小五🚀前面我们使用,结果读者后来跟我反馈又遇到了一些问题。于是乎,干脆对前几天的代码升级一波。需求简介具体原始数据和期望结果如下图所示:但这位读者朋友又遇到了一个问题👇解决当url为空时代码停止运行的问题将图片保存到新增文件夹,大概有1.4W张图片,后续删图片有难度第一个问题呢,只需加个判断语句就可以。至于将图片保存到
Stella981 Stella981
3年前
2019 汇量科技java面试笔试题 (含面试题解析)
  本人5年开发经验、18年年底开始跑路找工作,在互联网寒冬下成功拿到阿里巴巴、今日头条、汇量科技等公司offer,岗位是Java后端开发,因为发展原因最终选择去了汇量科技,入职一年时间了,也成为了面试官,之前面试了很多家公司,感觉大部分公司考察的点都差不多,趁空闲时间,将自己的心得记下来,希望能给正在找或者准备找工作的朋友提供一点帮助。  
Stella981 Stella981
3年前
Nanopore 16S测序数据分析之last和centrifuge进行物种注释
最近有朋友和我交流纳米孔16S测序数据的分析,发现真的没有从头完成过一次这方面的数据分析,然后发现这方面的资料也比较少,于是学习一下,和大家分享。坦白说,牛津纳米孔测序技术在16S多样性研究方面还是有些不足的,只能说勉强够用(准确性大概也不能完全保证),主要应用场景是在一些现场快速检测方面,主要是病原菌这种。但是,相信随着测序准确度的提高和分析软件的改进,相
Stella981 Stella981
3年前
RabbitMQ延迟消息发送
为什么使用延迟消息?不同于同步消息,有些业务场景下希望可以实现延迟一定时间再消费消息。典型的场景有微信、支付宝等第三方支付回调接口,会在用户支付后3秒、5秒、30秒等等时间后向应用服务器发送回调请求,确保应用服务器可以正确收到消息。那有些朋友就会说了,把需要定时处理的数据存到数据库中用定时任务就可以实现,为什么还弄个异步消息。增加后台维护