CuterCorley CuterCorley
4年前
商业数据分析从入门到入职(9)Python网络数据获取
@toc前言本文主要讲Python最常见的应用之一——网络数据获取,即爬虫:先介绍了网页和网络的基础知识,为从网页中获取数据打好基础;接下来以两个案例介绍从网络中获取数据和处理数据的不同方式,以进一步认识Python爬虫和数据处理。一、网络和网页基础知识1.数据来源数据源有很多,可以从数据库中获取,可以从文件中获取,也可以从
Easter79 Easter79
3年前
springboot项目在docker容器中如何优雅关闭
前言什么是优雅关闭在我看来所谓的优雅关闭,就是在系统关闭时,预留一些时间,让你有机会来善后一些事情什么时候需要优雅关闭是否所有项目都需要优雅关闭?那也不一定,毕竟所谓的优雅关闭,另一面就意味这关闭得慢,因此项目的优雅关闭得看项目的核心程度,换言之就是看该项目处理的数据是不是核心数据,其实项目的最终本质,是对数据的处理。
亚瑟 亚瑟
4年前
为什么单线程的Redis能支持高并发?
一、Redis为什么是单线程注意:redis单线程指的是网络请求模块使用了一个线程,即一个线程处理所有网络请求,其他模块仍用了多个线程。因为CPU不是Redis的瓶颈。Redis的瓶颈最有可能是机器内存或者网络带宽,既然单线程容易实现,而且CPU不会成为瓶颈,那就顺理成章地采用单线程的方案了。关于redis的性能,官方网站也有,普通笔记本轻松处理每秒几十万
Stella981 Stella981
3年前
Keepalived+LVS+nginx搭建nginx高可用集群
       nginx是一款非常优秀的反向代理工具,支持请求分发,负载均衡,以及缓存等等非常实用的功能。在请求处理上,nginx采用的是epoll模型,这是一种基于事件监听的模型,因而其具备非常高效的请求处理效率,单机并发能力能够达到上百万。nginx接收到的请求可以通过负载均衡策略分发到其下一级的应用服务器,这些服务器一般是以集群方式部署的,因而在性能不
Stella981 Stella981
3年前
Python连接sybase数据库
  Sybase数据库现在用的很少,网上资料也不多,因为工作的缘故,需要简单处理些数据,公司的主数据库是sybase,又觉得没必要用java,c这类一写就写一大堆的语言,听说python处理数据比较简单,所以寻找了些资料加上自己不断的试错,记录了一条可行的方式,供大家参考。1、 免安装的ODBC  简单的理解,ODBC是一个访问数据库的API规范
Wesley13 Wesley13
3年前
AI大有可为:NAIE平台助力垃圾分类
摘要:生活垃圾的分类和处理是目前整个社会都在关注的热点,如何对生活垃圾进行简洁高效的分类与检测对垃圾的运输处理至关重要。AI技术在垃圾分类中的应用成为了关注焦点。如今AI已经是这个时代智能的代名词了,任何领域都有AI的身影,垃圾分类及监管等场景自然也少不了“AI”的赋能。不过,垃圾往往属于商品的极端变形体,情况比较特殊。目前的技术在视觉
Stella981 Stella981
3年前
Android全局异常捕获,不退出应用,让应用正常运行下去!
Android全局异常捕获,不退出应用,让应用正常运行下去!当App发现异常后,如果程序没有处理,将交给虚拟机进行处理,通常会弹出一个对话框,然后退出应用。但大多数的异常可能对后续流程影响不大,比如分享功能出现。一个问题,真的有必要关闭整个应用吗?屏蔽这个功能,对整体来说不会有太大的影响。或者某个页面的数据出现了逻辑错误,大多数关闭当
Wesley13 Wesley13
3年前
Java变量、数据类型和运算符
1\.变量计算机处理数据,变量被用来存储处理的数据,之所以叫做变量因为你可以改变存储的值。更确切的说,一个变量指向着一块存储特定类型值的地址,换句话说,一个变量有名称、类型和值。一个变量有一个名称,例如radius、area、age和height,每个变量的名称都是唯一的,这边可以方便我们设置和获取变量的值。我们简单的拿生活
Stella981 Stella981
3年前
DevOps背景下的分合之事
DevOps倡导“谁开发,谁运维”和开发运维一体化。那么是不是简单地把开发和运维人员放在一起就完事了呢?01—“插队”的故事小明入职时是运维专员,原来隶属于运维部门,负责某业务线系统的应用维护工作。一旦系统的生产环境出现任何故障,或者业务人员在生产环境上有任何请求,都是由小明所在的运维部门先处理,处理不了的,再联系该系
Wesley13 Wesley13
3年前
Java之Retry重试机制详解
应用中需要实现一个功能:需要将数据上传到远程存储服务,同时在返回处理成功情况下做其他操作。这个功能不复杂,分为两个步骤:第一步调用远程的Rest服务上传数据后对返回的结果进行处理;第二步拿到第一步结果或者捕捉异常,如果出现错误或异常实现重试上传逻辑,否则继续接下来的功能业务操作。常规解决方案trycatchredo简单重试