Stella981 Stella981
3年前
MapReduce统计单词
一、HDFS个人理解      HDFS是个文件系统,只不过加了个分布式作为文件系统的前缀而已,大概的结构就像LINUX系统。文件大的一个电脑存储不下,怎办?那就想办法存储到不同的机子上呗,于是HDFS就应用而生了。众所周知,文件在硬盘上是以文件块的形式存储。什么句柄啊,真心不懂,只能感知,没人能明白0和1,当然也没必要。二、Map个人理解
Stella981 Stella981
3年前
HBase 在HDFS上的物理目录结构
根目录配置项<namehbase.rootdir</name默认“/hbase”根级文件/hbase/WALs被HLog实例管理的WAL文件。/hbase/WALs/datahbase.com,60020,1443159380730对于每个HregionServer,日志目录中都包含一个对应的子目录
Stella981 Stella981
3年前
Linux下使用 SSHFS 挂载远程文件系统到本地
!(https://oscimg.oschina.net/oscnet/ca30e31352d7171584e1074275611bb2a0f.jpg)在Windows平台上进行RDP远程桌面时可以将本地驱动器挂载到远程服务器上,在远程桌面时进行文件共享传输!(https://oscimg.oschina.net/oscnet/87c19
Stella981 Stella981
3年前
Linux系统如何迁移至LVM磁盘
今天遇到一个问题,算是比较严重的把。就是要把当前系统转移到LVM卷里面去,下面有一些发生过程介绍。 不感兴趣可以直接跳过,看实战部分《如何迁移系统至LVM卷》朋友今天突然找我,说是要把系统的根分区磁盘扩大。接到这个问题,我马上开始查看下系统情况。是一台CentOS6.6的系统,有俩块磁盘分别vda1是15G根,v
Wesley13 Wesley13
3年前
HTML5基础知识(一)
Web网页的开发主要包括H5CSSJS三个部分,这里先学习一下H5的基础知识。一、基础语法1\.html的基本格式<!DOCTYPEhtml<htmllang"en"<!根标签<head<!头部
Stella981 Stella981
3年前
PostgreSQL 备份和恢复
备份和恢复有三种不同的基本方法来备份PostgreSQL数据SQL转储文件系统级备份Filesystemlevelbackup连续归档1\.SQL转储pg\_dumpdbnameoutfile\nschema\ttable\bash4.2$pg
Stella981 Stella981
3年前
Datax的txtfilereader插件实践
一、介绍TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上,TxtFileReader获取本地文件数据,并转换为DataX传输协议传递给Writer。二、配置模版{"setting":{},"job":{"setting":{
Wesley13 Wesley13
3年前
NFS部署教程
NFS(NetworkFileSystem)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。简单的来说:它就是是可以透过网络,让不同的主机、不同的操作系统可以共享存储。NFS在文件传送或信
Stella981 Stella981
3年前
Kafka相关内容总结(存储和性能)
Kafka消息的存储Kafka的设计基于一种非常简单的指导思想:不是要在内存中保存尽可能多的数据,在需要时将这些数据刷新(flush)到文件系统,而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中,但不进行刷新数据的任何调用。实际中这样做意味着,数据被传输到OS内核的页面缓存中了,OS随后会将这些数据刷新到
Stella981 Stella981
3年前
Docker镜像优化:从1.16GB到22.4MB
Docker是一个供软件开发人员和系统管理员使用容器构建、运行和与分享应用程序的平台。容器是在独立环境中运行的进程,它运行在自己的文件系统上,该文件系统是使用docker镜像构建的。镜像中包含运行应用程序所需的一切(编译后的代码、依赖项、库等等)。镜像使用Dockerfile文件定义。术语dockerization或containeriz