Karen110 Karen110
4年前
使用Scrapy网络爬虫框架小试牛刀
前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的
Stella981 Stella981
4年前
Github星标75K!阿里2021微服务参考指南也太香了
SpringCloudAlibaba我们都知道SpringCloud中的几乎所有的组件都使用Netflinx公司的产品,然后在其基础上做了一层封装。然而Netflinx的众多组件已经慢慢开始停止维护。这时候急需其他的一些替代产品,SpringCloudAlibaba也就慢慢出现在人们的视线里,并且处于蓬
Stella981 Stella981
4年前
Android app native代码性能分析
分析我们app中native层的C/C代码性能,能够方便我们找出其中的性能瓶颈,并在稍后做有针对性的优化。1\.下载androidndkprofiler工欲善其事,必先利其器,我们先要有良好的工具来支持我们做性能分析的愿望。androidndkprofiler就是目前我们可用的比较好
Stella981 Stella981
4年前
Linux 查看进程被杀死的详情
运行写的不太完善的爬虫程序,未限制任务队列大小,再加上本子配置不高,爬取网站到第3层大半时,内存不足了...进程运行太猛,导致系统outofmemory,那么此进程被系统的oomkiller杀死.此时终端显示"Killed"或"已杀死".查看相关信息的命令:dmesg|egrepiB100
Stella981 Stella981
4年前
MongoDB 整合spring
SpringData提供了repository抽象方式,可以极大的减少数据访问层千篇一律的类似的重复的代码。基本DAO都会实现,find,findAll,findById,save,delete,update等方法,而且代码逻辑基本一致。SpringData提供了简化方法,通过接口定义SpringData通过Proxy自动提供具体的实现。
Wesley13 Wesley13
4年前
QUIC 协议简介
QUIC的全称是QuickUDPInternetConnectionsprotocol,由Google设计提出,目前由IETF工作组推动进展,其设计的目标是替代TCP成为HTTP/3的数据传输层协议。熹乐科技在物联网(IoT)和边缘计算(EdgeComputing)场景也一直在打造底层基于QUIC通讯协议的边缘计算微服
Wesley13 Wesley13
4年前
Xrdp
 您多久访问一次Linux桌面?您使用什么工具来访问远程桌面?Xrdp是一个开源工具,允许用户通过WindowsRDP访问Linux远程桌面。除了WindowsRDP之外,xrdp工具还接受来自其他RDP客户端的连接,如FreeRDP,rdesktop和NeutrinoRDP。Xrdp现在支持TLS安全层。Xrdp要求
Stella981 Stella981
4年前
Android开发之道(1)搭建开发环境以HelloWorld例程
转载请注明本文来自:编程艺术家Poechant的CSDN博客http://blog.csdn.net/poechant(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fblog.csdn.net%2Fpoechant)本人平日以后端开发为主业,最近对移动的应用层开发有些兴趣,
Stella981 Stella981
4年前
Linux bash脚本编程学习基础,控制结构
以下为学习整理笔记break命令1.控制条件未满足之前,跳出for、while、until、select循环2.可以额外给出一个额外的数值表明需要跳出的循环层数(不建议这样做,降低程序的可读性)3.默认跳出一层循环continue命令类似c语言中的同名语
Easter79 Easter79
4年前
Springboot集成Kafka
 Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Springboot的基本搭建和配置我