Wesley13 Wesley13
3年前
hive(02)、数据仓库Hive的基本使用
       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu
拜占庭将军问题和 Raft 共识算法讲解
在分布式系统中,什么是拜占庭将军问题?产生的场景和解决方案是什么?什么是Raft共识算法?Raft算法是如何解决拜占庭将军问题的?其核心原理和算法逻辑是什么?除了Raft,还有哪些共识算法?共识问题作为分布式系统的一大难点和痛点,本文主要介绍了其产生的背景、原因,以及通用的Raft算法解决方案。
Stella981 Stella981
3年前
HBase可用性分析与高可用实践
!(https://oscimg.oschina.net/oscnet/dfb0ab2b2caa297182037c5a3f91f27ded5.gif)HBase作为一个分布式存储的数据库,它是如何保证可用性的呢?对于分布式系统的CAP问题,它是如何权衡的呢?最重要的是,我们在生产实践中,又应该如何保证HBase服务的高可用呢?下面我
Stella981 Stella981
3年前
JMeter在linux上分布式压测遇到的坑(三)
master和slave机要在同一网段内,才能做分布式(Jmeter要配环境变量,这样不用手动起server)分布式不成功,解决方案:1、master端和slave端要ping通2、ping通后,telnetipport(Linux端),看一下1099端口是否被占用3、防火墙4、jmeter的log,如果请求发过去,但是没有返回结果
Stella981 Stella981
3年前
Spring Boot 2.x 快速集成Kafka
1KafkaKafka是一个开源分布式的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写,2012年成为Apache基金会下顶级项目。2Kafka优点低延迟:Kafka支持低延迟消息传递,速度极快,能达到200w写/秒
大数据建模、分析、挖掘技术应用
时间2022年8月5日—2022年8月9日北京(同时转线上直播)(5日报到,6日9日上课)课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三
javalover123 javalover123
2年前
轻量级分布式日志追踪-Tlog快速入门
公司目前还没有上SkyWalking、Pinpoint等分布式追踪系统,所以先用个轻量级的吧。Tlog只生成TraceId写入日志文件,没有收集、存储、查询,所以轻量
分布式场景怎么Join | 京东云技术团队
背景最近在阅读查询优化器的论文,发现SystemR中对于Join操作的定义一般分为了两种,即嵌套循环、排序合并联接。在原文中,更倾向使用排序合并联接逻辑。考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在分布式场景应用这个Jo
京东云开发者 京东云开发者
4个月前
【前瞻技术布局】京东零售广告创意:引入场域目标的创意图片生成
作者:京东零售冯伟WWW2025:CTRDrivenAdvertisingImageGenerationwithMultimodalLargeLanguageModels论文链接:代码链接:摘要:在电商平台中,广告图片对于吸引用户注意力和提高广告效果至关重
GeorgeGcs GeorgeGcs
1个月前
【HarmonyOS 5】鸿蒙分布式协同应用开发详解
鸿蒙开发能力HarmonyOSSDK应用服务鸿蒙金融类应用(金融理财一、前言为什么需要分布式协同应用?首先是因为当今社会,围绕电子产品生态,人们迫切希望,周边的电子设备可以协同操作。例如手机,手表,电视机,汽车,甚至是各种家电产品。从2015年到如今,手机