爬虫数据采集
经常有小伙伴需要将互联网上的数据保存的本地,而又不想自己一篇一篇的复制,我们第一个想到的就是爬虫,爬虫可以说是组成了我们精彩的互联网世界。网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理,搜索引擎对下载的页面进行索引,以便用户可以更有效地搜索。这都是爬虫数据采集的功劳。这篇文章我总
Stella981 Stella981
3年前
Log4j 1.2.17 使用
首先下载Log4j有关的jar包,虽然现在Log4j更新到了2.0,但是和以前的1.X版本完全不兼容,所以今天我们还是先来使用1.X的版本,等时间再久一点,2.0版本稳定并且使用量大了之后再升级1.X版本最新的版本是1.2.17,但是现在Log4j的官网首页是只提供2.0的jar包下载,所以千万别被他迷惑了,虽然2.0的包下载下来也有一个1.2版本的包
Stella981 Stella981
3年前
Hadoop、spark、SaaS、PaaS、IaaS、云计算概念区分?
背景一:世界需要更多的计算能力信息技术时代的基石是建立在“计算”之上的。以搜索引擎为例,早期的搜索引擎是人工分类索引的,类似黄页,但是随着网站数量的增多,人工索引的工作量变得巨大,而且更新时效低得难以忍受了。后来的一波搜索引擎都采用了由计算机算法自动索引,查找相关文档,并排序展示的方式。这种方式就导致了对计算能力的巨大需求,类似的趋势出现在多种技术领域,
Wesley13 Wesley13
3年前
IOS APP开发提交流程证书问题
问题情景描述:一款App在别人的机器上开发和发布,现在迭代更新和开发需要在一台新mac机上开发和发布。(使用同一个开发者账号)问题:1.在新mac机器上开发并导入真机测试,是不是需要从别人的机器上面导处开发者证书、开发者授权文件和开发密钥导入到新mac机器上才能开发?2.程序迭代开发完成,App上传苹果应用商店的时候是不是还需要用老机器发布才
Wesley13 Wesley13
3年前
CAP理论
分布式系统的CAP理论:理论首先把分布式系统中的三个特性进行了如下归纳:●一致性(C):在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本)●可用性(A):在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。(对数据更新具备高可用性)●分区容错性(P):以实际效果而言,分区相当于对
Stella981 Stella981
3年前
Spring 支持的事务隔离级别
并发事务所导致的问题:    当同一个应用程序或者不同应用程序中的多个事务在同一个数据集上并发执行时,可能会出现许多意外的问题并发事务所导致的问题可以分为下面三种类型:     脏读:对于两个事物T1,T2,T1 读取了已经被T2更新但还没有被提交的字段.之后,若T2回滚,T1读取的内容就是临时且无效的.
Stella981 Stella981
3年前
24小时学通Linux内核之如何处理输入输出操作
   Linux内核是如何将软硬件结合起来的呢?这里我们将一起探究内核与周围硬件主要是文件IO和硬件设备之间的关系,来解释这个问题。处理器与周围设备的通信依赖于一系列的电路电线,总线就是具有类似功能的电线,设备与处理器通信主要是通过地址总线,数据总线,控制总线来实现,这里在学习单片机原理的时候也提到过,这里对系统的基本结构就不多说了,觉得更新快,不好讲解,
Stella981 Stella981
3年前
Devops的衍生
软件开发的流程通常都是需求分析开发测试运维,每个环节都是独立存在的,各个部门关起门做好自己的事情,然后移交给下一个部门,进行下一个环节,但是在测试和运维阶段会出现问题,需要开发针对程序错误进行更新,但是各部门之间的协作和协调是需要很大的工作量的,甚至会出现互相推诿的现象出现,毕竟人与人之间的协作本身就是需要时间的磨合,何况是各部门之间,那么,为了让各环
Wesley13 Wesley13
3年前
Mysql事务,并发问题,锁机制
1、什么是事务事务是一条或多条数据库操作语句的组合,具备ACID,4个特点。原子性:要不全部成功,要不全部撤销隔离性:事务之间相互独立,互不干扰一致性:数据库正确地改变状态后,数据库的一致性约束没有被破坏持久性:事务的提交结果,将持久保存在数据库中2、事务并发会产生什么问题1)第一类丢失更新:在没有事务隔离的情况下,两个事务都同时
美味蟹黄堡 美味蟹黄堡
2年前
关于服务器运维你需要了解的
服务器维护是保持服务器更新和运行以确保组织的计算机网络正常运行的过程。网络管理员通常会这样做,这对于业务绩效至关重要。没有适当的IT服务计划,应用程序软件将永远无法按预期运行。在严重的情况下,网络甚至可能会出现部分或全部故障,从而导致业务严重损失。服务器运维的方法以及维护过程由与普通台式计算机类似的组件组成,例如主板,处理芯片,内存等。但是服务器的部件更坚