Wesley13 Wesley13
4年前
java思维导图90天训练营第一期,向架构师前进一步
作者寄语嗨,大家好,我是java思维导图的小编吕一明。这次训练营为期90天,主要针对有些java基础,但是项目经验比较缺乏的程序员。内容涵盖了主流的spring,redis,rabbitmq,MongoDB等技术,还有负载均衡nginx,持续集成Jenkins,压力测试loadrunner等工具的使用;另外还会综合讲解5个社区比较受欢迎的开源项目。训
Stella981 Stella981
4年前
Kubernetes学习之路(十四)之服务发现Service
一、Service的概念  运行在Pod中的应用是向客户端提供服务的守护进程,比如,nginx、tomcat、etcd等等,它们都是受控于控制器的资源对象,存在生命周期,我们知道Pod资源对象在自愿或非自愿终端后,只能被重构的Pod对象所替代,属于不可再生类组件。而在动态和弹性的管理模式下,Service为该类Pod对象提供了一
Stella981 Stella981
4年前
Disconf服务搭建(3)
说明Disconf服务依赖的环境除了前两篇博文描述的外,还需要一个java的servlet容器(tomcat),因为Disconf项目是前后的分离的,所以还需要一个httpweb服务器(推荐使用nginx),当然还需要数据持久化话数据库mysql还持久化我们的数据准备ps:Disconf是一个开源的产品,代码托管在gith
Wesley13 Wesley13
4年前
MQ的那些事儿——第一季
ActiveMQ的破壳日时间回到2003年,一群开源开发者集合在一起形成了ApacheGeronimo。之后,他们发现当前没有好用的使用BSDstyle许可协议的消息代理器。Geronimo是由于javaEE兼容性需要一个JMS实现。所以一些开发者开始讨论其可能性。拥有丰富MOMs经验甚至自己创建过一些MOMs的这些开发者
Easter79 Easter79
4年前
SpringCloud(一):SpringCould 框架预览
前言 SpringCloud是基于SpringBoot的一整套实现微服务的框架。他提供了微服务开发所需的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等组件。最重要的是跟springboot框架一起使用的话,会让你开发微服务架构的云服务非常好的方便。 SpringBoot旨在
Stella981 Stella981
4年前
GuozhongCrawler实现一个完整爬虫
    经过上一节开发环境搭建中的百度新闻的爬虫例子,相信大家已经对GuozhongCrawler简洁的API产生浓厚兴趣了。不过这个还不算一个入门例子。只是完成了简单的下载和解析。现在我们来完成一个比较完整的爬虫吧。   为了体现GuozhongCrawler适应业务灵活性。我们以抓取西刺代理(http://www.xici.net.co/nn/1)
Easter79 Easter79
4年前
Tomcat集群方案
一、需求多个tomcat要一起协同工作有几种办法,可以考虑的方案有以下几个:1\.使用tomcat自带的cluster方式,多个tomcat间自动实时复制session信息,配置起来很简单。但这个方案的效率比较低,在大并发下表现并不好。2\.利用nginx的基于访问ip的hash路由策略,保证访问的ip始终被路由到同一个tomcat上,
Stella981 Stella981
4年前
Mesos各种存储处理方式
Mesos各种存储处理方式需要配合永久存储机制的任务包括MySQL、MongoDB等数据库,以及Nginx缓存、日志记录目录和博客软件用于存储数据的数据目录等Web缓存机制。框架始终需要依靠Mesos为其提供执行任务所必需的物理或虚拟资源。ApacheMesos的任务运行对资源加以调度,并在容器内运行,而部分任务可能需要永久存储作为配合。需要配合永
一份解决爬虫错误问题指南
在互联网上进行自动数据采集已是互联网从业者的常规操作,爬虫程序想要长期稳定地进行数据采集,都会使用到爬虫代理来避免目标网站的IP访问限制。在数据采集过程中难免会遇到各种各样的问题,若想要想要快速分析数据采集过程中的问题,我们该怎么做呢?其实可以通过HTTP
小白学大数据 小白学大数据
10个月前
如何在Java爬虫中设置动态延迟以避免API限制
一、动态延迟与代理服务器的重要性1.动态延迟的重要性动态延迟是指根据爬虫运行时的环境和API的响应情况,动态调整请求之间的间隔时间。与静态延迟(固定时间间隔)相比,动态延迟能够更灵活地应对API的限制策略,同时最大化爬虫的效率。动态延迟的重要性体现在以下几