Irene181 Irene181
4年前
3000字 “婴儿级” 爬虫图文教学 | 手把手教你用Python爬取 “实习网”!
1\.为"你"而写这篇文章,是专门为那些"刚学习"Python爬虫的朋友,而专门准备的文章。希望你看过这篇文章后,能够清晰的知道整个"爬虫流程"。从而能够"独立自主"的去完成,某个简单网站的数据爬取。好了,咱们就开始整个“爬虫教学”之旅吧!2\.页面分析①你要爬取的网站是什么?首先,我们应该清楚你要爬去的网站是什么?由于这里我们想要
VOP 消息仓库演进之路|如何设计一个亿级企业消息平台
VOP作为京东企业业务对外的API对接采购供应链解决方案平台,一直致力于从企业采购数字化领域出发,发挥京东数智化供应链能力,通过产业链上下游耦合与链接,有效助力企业客户的成本优化与资产效能提升。本文将介绍VOP如何通过亿级消息仓库系统来保障上千家企业KA客户与京东的数据交互。
Wesley13 Wesley13
3年前
java教学进度信息管理系统
今天将为大家分析一个基于javaweb的教学进度信息管理系统。采用当前非常流行的B/S体系结构,以JAVA作为开发技术,主要依赖SSM技术框架,mysql数据库建立本系统。本文设计的高校教学管理系统能够完成教学计划制定,自动排课,课程管理,教学资源管理,学生管理等多方面的功能。基于javaweb的教学进度信息管理系统项目使用框架为SSM(MYECLIP
Stella981 Stella981
3年前
Spring boot 整合 Redisson
1  概述  Redisson实现了分布式和可扩展的Java数据结构,功能较为简单,不支持字符串操作,不支持排序、事务、管道、分区等Redis特性。Redisson的宗旨是促进使用者对Redis的关注分离,从而让使用者能够将精力更集中地放在处理业务逻辑上。2    特点1.Redisson中的方法则是进行比较高的抽象,每个方法调用可能进行了
Stella981 Stella981
3年前
Facebook 如何管理150亿张照片
Facebook的照片分享很受欢迎,迄今,Facebook用户已经上传了150亿张照片,加上缩略图,总容量超过1.5PB,而每周新增的照片为2亿2000万张,约25TB,高峰期,Facebook每秒处理55万张照片,这些数字让如何管理这些数据成为一个巨大的挑战。本文由Facebook工程师撰写,讲述了他们是如何管理这些照片的。旧的NFS照片
Stella981 Stella981
3年前
R语言 并行计算parallel包
众所周知,在大数据时代R语言有两个弱项,其中一个就是只能使用单线程计算。但是R在2.14版本之后,R就内置了parallel包,强化了R的并行计算能力。parallel包实际上整合了之前已经比较成熟的snow包和multicore包,multicore无法在windows下运行。parallel包可以很容易的在计算集群上实施并行计算,在多个CPU
Stella981 Stella981
3年前
Git 的暂存区(staging area)理解
    通常在很多传统集中式版本控制系统中,只有两个空间用来管理你的数据,一个是你的workingcopy(工作区),另一个便是datastore(版本库),然而在Git中,引入了stagingarea(index)这一概念,我们可以把它看做一个“码头”,你来决定其中的哪些改变可以被“运走”。    有了暂存区,我们的工作区边和Git库就不再直
Stella981 Stella981
3年前
ESP8266 wifi模块初次试用
前段时间在淘宝随便搜搜“wifi模块”,竟然眼前一亮发现有一款价格在15元内的wifi模块:ESP8266。对其简单的了解:1.体积小巧,且多种封装,没有一个硬币大。2.价格便宜,十几块钱在wifi模块里面算是最便宜的了。3.提供AT指令,这样就可以使用arduino进行控制,实现互联网数据交互。4.
Wesley13 Wesley13
3年前
oracle连接种类
等连接:连接条件使用等号非等连接:连接条件使用等号以外的其它符号内连接:根据指定的连接条件进行连接查询,满足连接条件的数据才会出现在结果集外连接:在内连接的基础上,将某个连接表不符合连接条件的记录加入结果集自连接:自身表中的列关联自身表中的其它列内连接属于强连接,外连接属于弱连接左外连接【Aleftouterjoin
Wesley13 Wesley13
3年前
vivo 全球商城:订单中心架构设计与实践
一、背景随着用户量级的快速增长,vivo官方商城v1.0的单体架构逐渐暴露出弊端:模块愈发臃肿、开发效率低下、性能出现瓶颈、系统维护困难。从2017年开始启动的v2.0架构升级,基于业务模块进行垂直的系统物理拆分,拆分出来业务线各司其职,提供服务化的能力,共同支撑主站业务。订单模块是电商系统的交易核心,不断累积的数据即将达到单