BichonCode BichonCode
4年前
大数据排序
一、如何给100亿个数字进行排序? 1.1解答:1.把这个37GB的大文件,用哈希分成1000个小文件,每个小文件平均38MB左右(理想情况),把100亿个数字对1000取模,模出来的结果在0到999之间,每个结果对应一个文件,所以我这里取的哈希函数是hx%1000,哈希函数取得"好",能使冲突减小,结果分布均匀。2.拆分完了之后
Stella981 Stella981
3年前
GeoJson数据合并
本文主要是基于geojsonmerge,实现多个geojson文件合并为一个geojson文件,以便实现基于该文件进行数据分析展示geojson合并概述当前在datav的geoatlas中,可以下载单个地市或区县的数据,例如福建省下面每个地市都可以单独下载一个geojson文件,现在需要将所有地市的geojson合并为
Stella981 Stella981
3年前
Gson 数据解析
gson和其他现有javajson类库最大的不同时gson需要序列化的实体类不需要使用annotation来标识需要序列化的字段,同时gson又可以通过使用annotation来灵活配置需要序列化的字段。下面是一个简单的例子:1.public class Person {3.private String name;
Stella981 Stella981
3年前
Kafka数据管道
!(https://oscimg.oschina.net/oscnet/262e5315515049e3b8c5e90db095ee07.gif)点击上方「蓝字」关注我们!(https://oscimg.oschina.net/oscnet/44452348bf1c4f6cba0522378b6abbb5.png)!(
Stella981 Stella981
3年前
Spring WebFlux和Spring Cloud开发响应式微服务
作者:PiotrMińkowski译者:大萝卜爱上小白菜原文:https://dzone.com/articles/reactivemicroserviceswithspringwebfluxandspr摘要:如果你想用Spring的最新和最好的工具开始使用响应式微服务,那么这篇文章就是为你准备的!我已经在一
Wesley13 Wesley13
3年前
mysql数据过滤
1、AND操作符:select表的字段名from对应的表名where表的字段名AND表的字段名运算符值;例子:selectprod\_id,prod\_price,prod\_namefromproductswhereven\_id1003ANDprod\_price<10;2、OR操作符:sele
Wesley13 Wesley13
3年前
JS中,如何检查对象是否为数组?
作者:GuestContributor译者:前端小智来源:medium点赞再看,微信搜索【大迁世界(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%2FsY9ufGGKfcdaAQ7KJQs3HA)
Stella981 Stella981
3年前
Google 开源的依赖注入库,比 Spring 更小更快!
!(https://oscimg.oschina.net/oscnet/ea35eab1933347cea91b2ce063269b0e.jpg)来源| zhuanlan.zhihu.com/p/24924391Guice是Google开源的一个依赖注入类库,相比于SpringIoC来说更小更快。Elasticsearch大
Wesley13 Wesley13
3年前
mysql 插入数据
简单用法:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....)注意,字段个数必须和值的个数一致。字符用引号引起来,数字不用,插入空值使用null批量插入:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....
传统数据存储
通常情况下,业务系统产生的大量日志都是集中存储处理的。集中存储是指有一个由大型主机或多台主机组成的中心节点,数据集中存储在这个中心节点上,整个系统的所有业务单元都集中部署在这个中心节点上。数据计算几乎完全依赖于一台中大型中央计算机的处理能力。系统的所有功能