Stella981 Stella981
4年前
Jieba分词Python简单实现
上一章分享了IKAnalyzer中文分词及词频统计基于Hadoop的MapReducer框架Java实现。这次将与大家分享Jieba中文分词Python简单实现,由于Jieba分词是基于词频最大切分组合,所以不用做词频统计,可以直接得到其关键字。1、安装jieba安装方式可以查看博主的中文分词工具(http://my.oschina.net/ea
Stella981 Stella981
4年前
Flink(一)Flink的入门简介
一. Flink的引入    这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布
Wesley13 Wesley13
4年前
VMware中 CentOS7挂载windows共享文件夹
在编译自己的hadoop时,不想再次在虚拟机中下载jar包,就想到了挂载自己本地的maven仓库,使用本地仓库来进行编译,这里就需要使用VMware的VMwareTools了,直接复制官方文档(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fdocs.vmware.com%2Fcn%2
Wesley13 Wesley13
4年前
HDFS的升级管理
升级HDFS的概要过程和命令Hadoop的官方文档中,对于HDFS的升级建议分三个步骤,1,先停掉HDFS服务,再启动,HDFS合并FsEditLog到FsImage之中,再停掉HDFS服务,2,备份namenode的meta文件,在新版本HDFS安装目录的配置文件中,配置namenode的meta文件目录指向旧有的meta文件目录,以upg
Wesley13 Wesley13
4年前
HDFS目录(文件 )权限管理
用户身份在1.0.4这个版本的Hadoop中,客户端用户身份是通过宿主操作系统给出。对类Unix系统来说,用户名等于\whoami\;组列表等于\bashcgroups\。将来会增加其他的方式来确定用户身份(比如Kerberos、LDAP等)。期待用上文中提到的第一种方式来防止一个用户
Stella981 Stella981
4年前
Clickhouse v18编译记录
简介ClickHouse是“战斗民族”俄罗斯搜索巨头Yandex公司开源的一个极具"战斗力"的实时数据分析数据库,是面向OLAP的分布式列式DBMS,圈内人戏称为“喀秋莎数据库”。ClickHouse有一个简称"CK",与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,其特点:列式存
Stella981 Stella981
4年前
Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误
1:Hbase启动hbaseshell运行命令报ClasspathcontainsmultipleSLF4Jbindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲突的,可以将其他jar包删除,如果你不确定是否删除正确,可以将其他的jar包复制备份或者修改名称,确保操作以后失败了,还可以找回。SLF4J:Cl
Stella981 Stella981
4年前
Django开发个人博客入门学习经验贴
【写在前面】  入门学习搭建个人博客系统首先还是参考大佬们的经验,记得刚入手Django的时候,一篇博客大佬说过一句话,做技术的不要一开始就扎头于细节中,先把握整体框架,了解这个对象之后再去了解细节,进行优化,深入的学习,所以开始学习搭建个人博客系统的时候还是先从简单入门的开始,这个帖子不是教程贴,是一个经验贴,主要是分享一下学习搭建博客的过程中找到的几
Stella981 Stella981
4年前
HBase 架构和 Java Api
HBase架构HBase是Hadoop的数据库,能够对大数据提供随机、实时读写访问。他是开源的,分布式的,多版本的,面向列的,存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构,如下图!(https://static.oschina.net/uploads/space/2016/1124/172034_9o3y
Wesley13 Wesley13
4年前
Unity联手腾讯游戏推出防沉迷系统开发工具,手把手教你搭建
1工程准备1、使用Unity2019.2及以上版本,创建一个新的空的3D工程。2、打开PackageManager下载插件包!(https://oscimg.oschina.net/oscnet/fb55f452cc5089e88856ffd9c67998fdee1.png)3