推荐
专栏
教程
课程
飞鹅
本次共找到10000条
大数据
相关的信息
BichonCode
•
4年前
大数据排序
一、如何给100亿个数字进行排序? 1.1解答:1.把这个37GB的大文件,用哈希分成1000个小文件,每个小文件平均38MB左右(理想情况),把100亿个数字对1000取模,模出来的结果在0到999之间,每个结果对应一个文件,所以我这里取的哈希函数是hx%1000,哈希函数取得"好",能使冲突减小,结果分布均匀。2.拆分完了之后
Stella981
•
4年前
GeoJson数据合并
本文主要是基于geojsonmerge,实现多个geojson文件合并为一个geojson文件,以便实现基于该文件进行数据分析展示geojson合并概述当前在datav的geoatlas中,可以下载单个地市或区县的数据,例如福建省下面每个地市都可以单独下载一个geojson文件,现在需要将所有地市的geojson合并为
Stella981
•
4年前
Gson 数据解析
gson和其他现有javajson类库最大的不同时gson需要序列化的实体类不需要使用annotation来标识需要序列化的字段,同时gson又可以通过使用annotation来灵活配置需要序列化的字段。下面是一个简单的例子:1.public class Person {3.private String name;
Stella981
•
4年前
Kafka数据管道
!(https://oscimg.oschina.net/oscnet/262e5315515049e3b8c5e90db095ee07.gif)点击上方「蓝字」关注我们!(https://oscimg.oschina.net/oscnet/44452348bf1c4f6cba0522378b6abbb5.png)!(
Wesley13
•
4年前
MySQL数据迁移
最开始安装的mysql8.0.16winx64解压版,发现并没有使用my.ini。所以在迁移需要改动my.ini(实际还是可以不需要)时,遇到麻烦,所以卸载了重新安装了mysql8.0.18winx64解压版。主要使用命令mysqldump和source(需要配置系统环境变量或者在bin目录下运行)。导出时:mys
Wesley13
•
4年前
mysql数据过滤
1、AND操作符:select表的字段名from对应的表名where表的字段名AND表的字段名运算符值;例子:selectprod\_id,prod\_price,prod\_namefromproductswhereven\_id1003ANDprod\_price<10;2、OR操作符:sele
helloworld_75860873
•
4年前
AWS云认证的10大工作机会,年薪几何?
为了在竞争日益激烈的职业道路上脱颖而出,每个信息技术或技术从业者都需要了解世界各地不断变化的技术发展。云计算无疑是最热门的领域之一。随着云的普及,越来越多的企业将业务转移到云上。据相关调查显示,2020年全球云市场规模可能达到4110亿美元,市场需求巨大。自2002年诞生以来,云已成为企业最看重的基础设施,也催生了亚马逊AWS、微软Azure、谷歌云平台、阿
Wesley13
•
4年前
mysql 插入数据
简单用法:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....)注意,字段个数必须和值的个数一致。字符用引号引起来,数字不用,插入空值使用null批量插入:insertintotb\_name(字段1,字段2,.........)values(值1,值2,.....
爬虫程序大魔王
•
3年前
你需要知道的 10 大互联网爬虫
机器人和僵尸网络通常与网络犯罪分子窃取数据、身份、信用卡号码和更糟糕的情况有关。但是,机器人也可以有好的目的。将好的机器人与坏的机器人区分开来,也可以在保护你公司的网站和确保你的网站获得应有的互联网流量方面发挥很大作用。大多数好的机器人基本上都是世界上最大的网站派出的爬虫,为其搜索引擎和社交媒体平台索引内容。你想让这些机器人访问你。它们会给你带来更多的访问量
helloworld_75860873
•
3年前
传统数据存储
通常情况下,业务系统产生的大量日志都是集中存储处理的。集中存储是指有一个由大型主机或多台主机组成的中心节点,数据集中存储在这个中心节点上,整个系统的所有业务单元都集中部署在这个中心节点上。数据计算几乎完全依赖于一台中大型中央计算机的处理能力。系统的所有功能
1
•••
75
76
77
•••
1000