Stella981 Stella981
3年前
MapReduce之Shuffle,自定义对象,排序已经Combiner
1\.Shuffle:MapReduce的计算模型主要分为三个阶段,Map,shuffle,Reduce。Map负责数据的过滤,将文件中的数据转化为键值对,Reduce负责合并将具有相同的键的值进行处理合并然后输出到HDFS。为了让Reduce可以并行处理map的结果,必须对Map的输出进行一定的排序和分割,然后交个Red
Stella981 Stella981
3年前
Linux性能监控分析命令(五)—free命令介绍
性能监控分析的命令包括如下:1、vmstat2、sar3、iostat4、top5、free6、uptime7、netstat8、ps9、strace10、lsof命令介绍:free命令是监控Linux内存使用最常用的命令语法格式:free\opt
Wesley13 Wesley13
3年前
MongoDB数据更新命令、操作符
一、Mongodb数据更新命令Mongodb更新有两个命令:update、save。1.1update命令update命令格式:db.collection.update(criteria,objNew,upsert,multi)参数说明:criteria:查询条件objNew:update对象和一些更新操作符u
Stella981 Stella981
3年前
Hive 和普通关系数据库的异同
1.查询语言。由于SQL被广泛的应用在数据仓库中,因此,专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。2.数据存储位置。Hive是建立在Hadoop之上的,所有Hive的数据都是存储在HDFS(https://www.oschina.net/act
Wesley13 Wesley13
3年前
MAPREDUCER学习笔记
MAPREDUCE基本原理      一,概念理解  1,Mapreduce是一个分布式运算程序的编程架构,相对于HDFS来说就是客户端。其核心功能就是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并运行在一个hadoop集群上。  2,基本整体架构:MEAppMaster,MapTask,R
Stella981 Stella981
3年前
Linux文件路径、cd命令、mkdir、rmdir、rm命令
第二章文件、目录管理2.6相对路径和绝对路径相对路径相对路径就是相对当前目录来说的,比如我当前在/root下,那么要表示/root/213/可以直接ls213/绝对路径绝对路径是从/(也被称为根目录)开始的,比如/usr、/etc
Stella981 Stella981
3年前
Linux基本命令
Linux命令一、命令基本格式命令提示符root@localhost~其中:root:当前用户localhost:当前主机名~:当前用户的根目录(所在目录)
Stella981 Stella981
3年前
Redis 事务
Redis事务一、理论1.是什么:    可以一次执行多个命令,本质是一组命令的集合。一个事务中的所有命令都会序列化,按顺序地串行化执行而不会被其他命令插入,不许加塞。2.作用:    一个队列中,一次性、顺序性、排他性地执行一系列命令3.常用命令:    通过MUL
Stella981 Stella981
3年前
Docker 最常用的镜像命令和容器命令
  本文列出了Docker使用过程中最常用的镜像命令和容器命令,以及教大家如何操作容器数据卷,实现容器数据的备份。熟练练习这些命令以后,再来一些简单的应用部署练习,大家就可以学习Docker的镜像构建、备份恢复迁移、镜像仓库、网络、集群等等更多的内容。镜像相关命令  官方文档:https://docs.docker.com/r
十月飞翔 十月飞翔
2年前
sed中y命令与s命令的区别
首先这两个命令都可以用作替换,但替换时还是有区别的(1)y一般是行级别的替换,s一般是列级别替换(当然也可以转换成行级);(2)s替换的是整体,y替换的是每一字母对应的单个字母例:1、sed's/dog/cat/'data把data中的所有行中的第一次出现dog的替换成cat,(注意:如果cat/后没有出现其他形式,则默认时第一次出现的位置)2