Stella981 Stella981
3年前
MapReduce之Shuffle,自定义对象,排序已经Combiner
1\.Shuffle:MapReduce的计算模型主要分为三个阶段,Map,shuffle,Reduce。Map负责数据的过滤,将文件中的数据转化为键值对,Reduce负责合并将具有相同的键的值进行处理合并然后输出到HDFS。为了让Reduce可以并行处理map的结果,必须对Map的输出进行一定的排序和分割,然后交个Red
Wesley13 Wesley13
3年前
3月14日圆周率日—使用并行计算求圆周率π
关于圆周率大家再熟悉不过了:我们从课本上学习到早在一千多年前,祖冲之将圆周率计算到3.1415926到3.1415927之间…计算机诞生后,计算圆周率被用来检测计算机的硬件性能,昼夜燃烧cpu看会不会出问题…另外一些人也想看看这个无限延伸的神秘数字背后是否有规律,能发现一些宇宙的秘密…!(http://static.oschina.net/up
Wesley13 Wesley13
3年前
Java8实战
第1章为什么要关心Java81.1Java怎么还在变  1.1.1Java在编程语言生态系统中的位置  1.1.2流处理     流是一系列数据项,一次只生成一项  1.1.3用行为参数化把代码传递给方法  1.1.4并行与共享的可变数据  1.1.5Java需要演变1.2Java中
Stella981 Stella981
3年前
Ray,面向新兴AI应用的分布式框架
!(https://oscimg.oschina.net/oscnet/5875203a3c4d4977bf2aeaa6192e053c.png)下一代AI应用需要不断和环境进行交互,并且在交互中学习。这些应用暴露了新的系统需求:性能和弹性。本文提出了Ray解决上述问题。Ray实现了动态执行引擎,可以表达任务并行和actor模型计算任务。
Wesley13 Wesley13
3年前
Java线程池实现原理及其在美团业务中的实践
!(https://oscimg.oschina.net/oscnet/up73bb571946412ea63fda451b053faa90006.png)随着计算机行业的飞速发展,摩尔定律逐渐失效,多核CPU成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C提供的线程池:ThreadPoolExecutor类,帮助开
Stella981 Stella981
3年前
GitHub上的今年第一本《Java异步编程实战》美团T9亲荐,太赞了
异步编程是可以让程序并行运行的一种手段,可以让程序中的一个工作单元与主应用程序线程分开独立运行,进而提高应用程序的性能和响应能力等。虽然Java为不同技术域提供了相应的异步编程技术,但是这些异步编程技术被散落到不同技术域的
Stella981 Stella981
3年前
Python编程之数据结构与算法练习_011
练习内容:1.创建一个类,实现优先级队列功能。2.使用优先级队列求解IPO问题。IPO问题:输入:参数1:正数数组costs;参数2:正数数组profits;参数3:正数k;参数4,正数mcosts\i\表示i号项目的花费;profits\i\表示i号项目在扣除花费之后还能挣到的钱;k表示你不能并行,只能
深入浅出线程池 | 京东云技术团队
一、线程1、什么是线程线程(thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。2、如何创建线程2.1、JAVA中
京东云开发者 京东云开发者
7个月前
BFF层聚合查询服务异步改造及治理实践
首先感谢王晓老师的\一文总结,恰巧最近在对稳健理财BFF层聚合查询服务优化治理,针对文章内的串行改并行章节进行展开,分享下实践经验,主要涉及原同步改异步的过程、全异步化后衍生的问题以及治理方面的思考与改进。希望通过分享这些经验,能够对大家的工作有所启发和