BichonCode BichonCode
4年前
大数据排序
一、如何给100亿个数字进行排序? 1.1解答:1.把这个37GB的大文件,用哈希分成1000个小文件,每个小文件平均38MB左右(理想情况),把100亿个数字对1000取模,模出来的结果在0到999之间,每个结果对应一个文件,所以我这里取的哈希函数是hx%1000,哈希函数取得"好",能使冲突减小,结果分布均匀。2.拆分完了之后
Stella981 Stella981
3年前
GeoJson数据合并
本文主要是基于geojsonmerge,实现多个geojson文件合并为一个geojson文件,以便实现基于该文件进行数据分析展示geojson合并概述当前在datav的geoatlas中,可以下载单个地市或区县的数据,例如福建省下面每个地市都可以单独下载一个geojson文件,现在需要将所有地市的geojson合并为
Stella981 Stella981
3年前
Gson 数据解析
gson和其他现有javajson类库最大的不同时gson需要序列化的实体类不需要使用annotation来标识需要序列化的字段,同时gson又可以通过使用annotation来灵活配置需要序列化的字段。下面是一个简单的例子:1.public class Person {3.private String name;
Stella981 Stella981
3年前
Kafka数据管道
!(https://oscimg.oschina.net/oscnet/262e5315515049e3b8c5e90db095ee07.gif)点击上方「蓝字」关注我们!(https://oscimg.oschina.net/oscnet/44452348bf1c4f6cba0522378b6abbb5.png)!(
Wesley13 Wesley13
3年前
mysql数据过滤
1、AND操作符:select表的字段名from对应的表名where表的字段名AND表的字段名运算符值;例子:selectprod\_id,prod\_price,prod\_namefromproductswhereven\_id1003ANDprod\_price<10;2、OR操作符:sele
Stella981 Stella981
3年前
Serverless 在游戏运营行业进行数据采集分析的最佳实践
众所周知,游戏行业在当今的互联网行业中算是一棵常青树。在疫情之前的2019年,中国游戏市场营收规模约2884.8亿元,同比增长17.1%。2020年因为疫情,游戏行业更是突飞猛进。玩游戏本就是中国网民最普遍的娱乐方式之一,疫情期间更甚。据不完全统计,截至2019年,中国移动游戏用户规模约6.6亿人,占中国总网民规模8.47亿的77.92%,可见游戏作为一种低
Wesley13 Wesley13
3年前
2020年10月24日马云外滩金融峰会的演讲
演讲原文:尊敬的李强书记,尊敬的陈元主席、小川行长,各位领导,各位金融界的朋友们,大家上午好。感谢大会的邀请,很高兴有这个机会和大家一起学习、探讨、交流。2013年,也是在上海,我发表了一通互联网金融的异想天开的观点。七年过去了,今天我这个金融的外行,又来了。今天要不要来讲,坦白说我也很纠结。但是我想我们这批人,有一个东西是责无旁贷的,就是为
Wesley13 Wesley13
3年前
mysql 插入数据
简单用法:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....)注意,字段个数必须和值的个数一致。字符用引号引起来,数字不用,插入空值使用null批量插入:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....
WeiSha100 WeiSha100
3年前
【.NET源码】2022版企业内部培训整站系统
上个月我们公司花6000元采购了套内部培训系统,有在线点播,直播,刷题题库,在线考试,监督学习,用户管理等模块,有源代码和开发文档,可在原有程序基础上进行二次开发,已经搭建好投入使用,人力说不错,免费分享给有需要的朋友!我们主要用的有以下功能,还有更多功能可以下载解锁哦1、点播区:在线点播视频,课后可上传图文资料,习题等2、直播区:对接七牛云端口,支持大型直
传统数据存储
通常情况下,业务系统产生的大量日志都是集中存储处理的。集中存储是指有一个由大型主机或多台主机组成的中心节点,数据集中存储在这个中心节点上,整个系统的所有业务单元都集中部署在这个中心节点上。数据计算几乎完全依赖于一台中大型中央计算机的处理能力。系统的所有功能