Easter79 Easter79
3年前
stage的划分
stage的划分是以shuffle操作作为边界的,遇到一个宽依赖就分一个stage一个Job会被拆分为多组Task,每组任务被称为一个Stage就像MapStage,ReduceStage。Stage的划分在RDD的论文中有详细的介绍,简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task,一类是shuffleMap
Wesley13 Wesley13
3年前
IP地理位置定位系统之定位系统研发
IP地理位置定位系统是一个街道级别的、实时的IP地理位置查询系统。该系统采用超高精度IP实时定位技术,通过网络测量和大数据挖掘,对IP的地理位置和相关属性进行测量,在无需硬件支持的条件下,即可对被探测目标终端IP完成定位。定位系统的研发核心是IP地理位置定位算法,包含如何划分IP所属功能块和地域块、设计IP定位算法、采用什么样的相似度比较策略、IP地理位
Stella981 Stella981
3年前
JVM内存区域划分
JVM内存区域划分一、JVM运行时数据区划分根据《Java虚拟机规范》JVM会把它管理的内存划分为若干个不同的数据区域,如下图所示:方法区、堆、栈(虚拟机栈、本地方法栈)、程序计数器。线程私有的意思是指,JVM每遇到一个新的线程就会为他们分配栈和程序计数器。!(https
Stella981 Stella981
3年前
DHCP服务原理与搭建(Linux系统+路由器,二选一方案)
大家都知道上网的最基本前提是要在终端上设置IP、子网掩码、网关、DNS等地址信息,在家里或者在办公室很多时候打开电脑后发现就可以上网,并没有手动设置IP、掩码、DNS地址也能上网,这是什么原因呢?其实这个原因很简单,说明你的内网有"DHCP"服务器,通过它给你的终端自动分配了IP掩码和网关等地址,省去了你手动配置过程,从而给网管人员和办公人员都带来了方便,简
Stella981 Stella981
3年前
Spring Cloud工程模块划分
SpringCloud工程模块划分现在网络上都在讲SpringCloud的各个组件,但当我们自己也把SpringCloud引入进来的时候,却发现第一个要解决的问题是:工程的模块如何划分在之前我写过一篇重构购物车的过程(https://www.oschina.n
Wesley13 Wesley13
3年前
DHCP服务+PXE自动安装系统
DHCP服务PXE自动安装系统DHCP安装安装DHCP服务器yuminstalldhcpy安装完dhcp默认无法启动,需要编辑配置文件设置分配地址范围等相关信息,服务器自身IP地址要在某个分配的子网中。编辑配置文件默认配置文件中没有定义相关内容,需
Wesley13 Wesley13
3年前
IP地址定位技术中基础数据采集怎么做?
IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提
Wesley13 Wesley13
3年前
IP地址定位技术之一:基础数据采集
IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提
浅谈云主机在VPC中进行迁移的使用场景和操作方法
客户在天翼云购买一台云主机并且部署完成想要的应用后,发现云主机的IP地址规划存在问题(比如,要修改VPC、子网的网段)。这时候如果需要重新购买云主机并重新部署应用则将会大大增加客户的使用成本。天翼云网络的基本特点是按需、弹性,可以支持云主机在不同网络场景下的迁移,从而大大减少客户重新购买计算实例的成本。
基于三层流量卸载方案的子网路由
本文介绍的子网路由功能是基于三层流量卸载方案、通过OpenFlow流表方式来实现的。在介绍子网路由之前,先了解一下东西向三层流量卸载方案。如图1所示,vm1、vm2和vm3分别属于三个不同网段的子网,同属于一个VPC,即三层可通。在卸载之前,同VPC三层流量均需要通过租户网关TGW拉通,导致TGW的流量压力较大,无法满足大客户对于同VPC三层互访流量的需求