Stella981 Stella981
3年前
Spark GraphX图算法应用【分区策略、PageRank、ConnectedComponents,TriangleCount】
一.分区策略  !(https://img2018.cnblogs.com/ibeta/1343081/201911/1343081201911271536266281023000587.png)  GraphX采用顶点分割的方式进行分布式图分区。GraphX不会沿着边划分图形,而是沿着顶点划分图形,这可以减少通信和存储的开
Stella981 Stella981
3年前
MapReduce统计单词
一、HDFS个人理解      HDFS是个文件系统,只不过加了个分布式作为文件系统的前缀而已,大概的结构就像LINUX系统。文件大的一个电脑存储不下,怎办?那就想办法存储到不同的机子上呗,于是HDFS就应用而生了。众所周知,文件在硬盘上是以文件块的形式存储。什么句柄啊,真心不懂,只能感知,没人能明白0和1,当然也没必要。二、Map个人理解
Stella981 Stella981
3年前
071. ElasticSearch 应用场景及核心概念
1\.ES使用场景给网站/APP添加搜索功能。存储、分析数据。管理、交互、分析空间信息,将ES用于GIS。2\.ES简介Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful接口全文检索引擎。Elast
可莉 可莉
3年前
071. ElasticSearch 应用场景及核心概念
1\.ES使用场景给网站/APP添加搜索功能。存储、分析数据。管理、交互、分析空间信息,将ES用于GIS。2\.ES简介Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful接口全文检索引擎。Elast
Stella981 Stella981
3年前
OpenTSDB时序数据库的应用
OpenTSDBOpenTSDB是基于Hbase的时序数据库,它是一个时间序列专用数据库,只能存储时序数据。官方定位是一个分布式、可伸缩的监控系统。譬如收集大规模集群(包括网络设备、操作系统、应用程序)的监控数据并进行存储,查询。官网(https://www.oschina.net/action/GoToLink?urlhtt
Wesley13 Wesley13
3年前
MongoDB 基本使用
MongoDB是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。MongoDB将数据存储为一个文档,数据结构由键值(keyvalue)对组成。MongoDB文档(
Stella981 Stella981
3年前
CoreOS实践指南(十):在CoreOS上的应用服务实践(下)
在这篇中,会继续接着前次的话题,通过具体的案例,介绍CoreOS为分布式和集群服务带来的便利。在前一个案例中,为了完成采集和管理分布在集群各个节点上的服务状态信息,我们通过Etcd的分布式存储特性,设计了一种解决分布式服务中应用运行的节点和时间均不确定的问题的监控方法。在这次的案例中,会在这种服务监控方案的基础上,继续实现将监控结果作为自动配置的反馈,从
Stella981 Stella981
3年前
Hadoop学习笔记(概述)
Apachehadoop是什么? 可靠的,可扩展的分布式计算软件。(1)可使用简单的编程模型来分布式计算集群中的大量数据集。(2)可从一台服务器扩展到数千台服务器的计算和存储(3)在应用层面发现并处理错误Hadoop项目的几大模块(1)HadoopCommon: 支持其他hadoop模块的通用
Stella981 Stella981
3年前
Git Analyze 工具实现与原理
前言作为一个免费提供私有仓库的代码托管平台,码云时常要考虑利用现有的资源支持更多的用户,对于体积较大的存存储库,由于git的分布式特性,服务器往往需要更多的硬件资源来支撑这些存储库的访问。码云对git仓库的大小限制为1GB,用户在本地可以使用如下命令查看存储库的大小。dush.git/objects这个命令在Gi
Stella981 Stella981
3年前
BaikalDB技术实现内幕(三)
本系列文章主要介绍HTAP数据库BaikalDB的技术实现细节作者简介:于正泉,百度商业平台研发部高级研发工程师。主要从事分布式存储、分布式数据库等领域的工作,现主要负责BaikalDBSQL性能优化,稳定性相关方向的研发工作。欢迎关注Stargithub.com/baidu/BaikalDB(https://www.