个推分享Spark性能调优指南:性能提升60%↑ 成本降低50%↓
前言Spark是目前主流的大数据计算引擎,功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。作为一种内存计算框架,Spark运算速度快,并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商,个推从早期的1.3版本便引入Spark,
Wesley13 Wesley13
3年前
ETH以太坊矿机指南
01、显卡市场的格局威:sky86991以太坊挖矿主流机器是显卡矿机,以太坊挖矿的显卡无外乎A卡和N卡。A卡是AMD显卡的俗称,N卡则是英伟达(Nvidia)显卡的的俗称。稍微介绍一下独立显卡的市场格局。目前独立显卡最上游的厂商只有AMD和英伟达两家,其他第三者在这个领域很难插足生存,独立显卡最核心的GUP设计被这两家上游厂商垄断了。
Wesley13 Wesley13
3年前
mysql数据库读写分离 数据同步
分布式开发的一些问题总结我是用了两个xp(一个主的,一个从的)的系统测试成功的,linux系统我也做测试了,没有成功,不过我想我所遇到的问题是同一个问题,xp下的可以成功,linux下的应该也可以成功,稍候会测试,然后更新结果!PS:刚测试了下linux可以同步成功,主服务器是xp,从服务器是centos,可以成功。例:A机器192.16
Stella981 Stella981
3年前
Docker学习笔记
docker通过带环境安装来解决开发和运维之间的鸿沟问题,属于云计算方面的技术。也就是说安装的时候把原始环境一模一样地复制过来,开发人员利用Docker来消除协作代码时,“在我的机器上可以正常工作啊"的问题。一次构建,处处运行。dev本地测试完毕后,打包递交docker镜像,而运维则只装一个docker作为鲸鱼,将各个镜像放到鲸鱼背上作为独立的集装箱
Stella981 Stella981
3年前
Linux centos yum安装LAMP环境
centos6.51.yum安装和源代码编译在使用的时候没啥区别,但是安装的过程就大相径庭了,yum只需要3个命令就可以完成,源代码需要13个包,还得加压编译,步骤很麻烦,而且当做有时候会出错,源代码编译安装大概需要2个小时,好处在于可以自己配置地址等一些参数,yum安装半个小时搞定,一般不会出错,更新也很方便。2.我的机器是centosrele
Wesley13 Wesley13
3年前
MySQL多实例
1、什么是MySQL多实例随着目前大部分服务器资源充盈,我们当然也要勤俭持家了,所以MySQL多实例就是可以将多个MySQL服务运行在一台机器上(不限于版本),当然了这也跟合租一样,如果有一个服务有小脾气那整个服务器上的服务可能都要闹小脾气了,哈哈。2、配置MySQL多实例先决条件在配置MySQL多实例之前我希望已经理解了MySQ
Wesley13 Wesley13
3年前
40张图看懂分布式追踪系统原理及实践
前言在微服务架构中,一次请求往往涉及到多个模块,多个中间件,多台机器的相互协作才能完成。这一系列调用请求中,有些是串行的,有些是并行的,那么如何确定这个请求背后调用了哪些应用,哪些模块,哪些节点及调用的先后顺序?如何定位每个模块的性能问题?本文将为你揭晓答案。本文将会从以下几个方面来阐述分布式追踪系统原理及作用S
胖大海 胖大海
2年前
linux常用的通配符与正则表达式
我们在很多地方都会用到通配符和正则表达式来实现我们的日常操作,提高我们的工作效率。但是很多新伙伴,往往容易将他们弄混。首先我们需要知道通配符和正则表达式的使用场景:通配符也叫文件名替换,它主要是作用于匹配文件名,常用命令是ls、find、cp、mv;正则表达式主要是作用于匹配文件中的字符串或编写脚本,常用命令命令是grep、awk、sed。大家缺乏机器练手的
服务端应用多级缓存架构方案 | 京东云技术团队
20w的QPS的场景下,服务端架构应如何设计?常规解决方案可使用分布式缓存来抗,比如redis集群,6主6从,主提供读写,从作为备,不提供读写服务。1台平均抗3w并发,还可以抗住,如果QPS达到100w,通过增加redis集群中的机器数量,可以扩展缓存的容量和并发读写能力。同时,缓存数据对于应用来讲都是共享的,主从架构,实现高可用。
开源数据库生态遇新变数,天翼云TeleDB提供企业数据管理更优解!
天翼云TeleDB分析型实例是一款性能卓越、完全托管的PB级国产化云分析型数据库产品,可提供轻松的海量数据分析体验。基于元数据、计算和存储分离的架构,TeleDB分析型实例集成了MPP数据库的高性能和分析功能、大数据平台的扩展性和灵活性以及云计算的弹性和敏捷性,支持SQL及标准的JDBC和ODBC接口,允许使用自定义函数及内建机器学习功能。