Stella981 Stella981
3年前
Hadoop综合大作业
一、用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。1.启动hadoop!(https://oscimg.oschina.net/oscnet/e6b2225f65c582affaeaf71dd10f801fb98.bmp)2.Hdfs上创建文件夹并查看 !(https://oscimg.oschi
Stella981 Stella981
3年前
Hadoop中的RPC
1\.RPC的基础概念  RPC,即RemoteProcdureCall,中文名:远程过程调用;更详细内容可以转到RPC原理及RPC实例分析(https://my.oschina.net/hosee/blog/711632)学习。  (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去
Wesley13 Wesley13
3年前
Hadoop:Hadoop单机伪分布式的安装和配置
http://blog.csdn.net/pipisorry/article/details/51331734(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fblog.csdn.net%2Fpipisorry%2Farticle%2Fdetails%2F51331734)本文内容
Stella981 Stella981
3年前
Linux 内网编译 hadoop
1.环境CentOSrelease6.5(Final)x86\_64javaversion"1.7.0\_79" hadoop2.5.0src.tar.gzapachemaven3.3.9protobuf2.5.02.配置yumyum代理配置:/etc/y
Stella981 Stella981
3年前
Hadoop缺省端口列表
50030      mapred.job.tracker.http.address       描述:JobTrackeradministrativewebGUIJOBTRACKER的HTTP服务器和端口50070             dfs.http.address                            
Wesley13 Wesley13
3年前
vivo 基于原生 RabbitMQ 的高可用架构实践
一、背景说明vivo在2016年引入RabbitMQ,基于开源RabbitMQ进行扩展,向业务提供消息中间件服务。2016~2018年,所有业务均使用一个集群,随着业务规模的增长,集群负载越来越重,集群故障频发。2019年,RabbitMQ进入高可用建设阶段,完成了高可用组件MQ名字服务以及RabbitMQ集群
Stella981 Stella981
3年前
Hadoop,Spark和Storm
Hadoop,Spark和Storm博客分类:分布式计算大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读
Stella981 Stella981
3年前
Hadoop 中RPC使用
导入包:!(https://static.oschina.net/uploads/space/2018/0314/201518_Y97h_3420885.png)理解:rpc是一种“远程过程调用协议”RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,
Stella981 Stella981
3年前
Hadoop极简入门
建议复习:分布式理论基础和原理(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNTU2Mg%3D%3D%26mid%3D2247483953%26idx%3D1%26sn%3Ddb7
Stella981 Stella981
3年前
Kubernetes 使用 kubeconfig 文件组织集群访问
kubeconfig文件用于组织关于集群、用户、命名空间和认证机制的信息。命令行工具 kubectl 从kubeconfig文件中得到它要选择的集群以及跟集群APIserver交互的信息。注意: 用于配置集群访问信息的文件叫作 kubeconfig文件,这是一种引用配置文件的通用方式,并不是说它的文件名就是 kubeconfig。默认情