Hadoop 及Spark 分布式HA运行环境搭建
本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合Hadoop和Spark最新版本,帮助大家跟着步骤一步步实践环境搭建。
Wesley13 Wesley13
3年前
(转)SSH批量分发管理&非交互式expect
目录1SSH批量分发管理(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2FMr_rsq%2Farticle%2Fdetails%2F79619793%231ssh%25E6%2589%25B9%25E9%2587%258F%25E5%258
Easter79 Easter79
3年前
SpringBoot的Web开发之WebSocket(广播式)笔记总结
战斗前准备:新建SpringBoot项目选择Thymeleaf和WebSocket依赖广播式主要有7大步骤1.配置WebSocket2.编写浏览器向服务端发送消息(服务端用该类接收)3\.编写服务端向浏览器发送消息(服务端用该类发送)4\.编写一个Controller用于模拟发送和接收
Stella981 Stella981
3年前
Spring Boot 2.x 快速集成Kafka
1KafkaKafka是一个开源分布式的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写,2012年成为Apache基金会下顶级项目。2Kafka优点低延迟:Kafka支持低延迟消息传递,速度极快,能达到200w写/秒
Stella981 Stella981
3年前
SnowFlake分布式唯一ID生成器
写在前面架构是权衡的结果,架构也是一层层的组件拼接起来的,如果没有好用的组件,架构势必会做阉割,架构的理想态是建立在一堆友好、易用、标准化的组件之上的。在我过去的经验中,有两类组件经常会出现在我的架构方案中,一个是唯一ID生成器,一个是推拉结合配置中心,有了他们我可以解决分布式系统下的时序问题,不会再因数据不一致问题手足无措,推拉结合的数据中心
Easter79 Easter79
3年前
Tachyon 0.7.1伪分布式集群安装与测试
Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的Jobs/Queries以及框架都能内存的速度来访问缓存文件。因此,Tachyon可以减少那些需要经常使用的数据集通过
javalover123 javalover123
2年前
轻量级分布式日志追踪-Tlog快速入门
公司目前还没有上SkyWalking、Pinpoint等分布式追踪系统,所以先用个轻量级的吧。Tlog只生成TraceId写入日志文件,没有收集、存储、查询,所以轻量
分布式场景怎么Join | 京东云技术团队
背景最近在阅读查询优化器的论文,发现SystemR中对于Join操作的定义一般分为了两种,即嵌套循环、排序合并联接。在原文中,更倾向使用排序合并联接逻辑。考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在分布式场景应用这个Jo
京东云开发者 京东云开发者
6个月前
Vue3设计思想及响应式源码剖析
作者:京东物流乔盼盼一、Vue3结构分析1、Vue2与Vue3的对比•对TypeScript支持不友好(所有属性都放在了this对象上,难以推倒组件的数据类型)•大量的API挂载在Vue对象的原型上,难以实现TreeShaking。•架构层面对跨平台dom
GeorgeGcs GeorgeGcs
1星期前
【HarmonyOS 5】鸿蒙分布式协同应用开发详解
鸿蒙开发能力HarmonyOSSDK应用服务鸿蒙金融类应用(金融理财一、前言为什么需要分布式协同应用?首先是因为当今社会,围绕电子产品生态,人们迫切希望,周边的电子设备可以协同操作。例如手机,手表,电视机,汽车,甚至是各种家电产品。从2015年到如今,手机