经常有小伙伴需要将互联网上的数据保存的本地，而又不想自己一篇一篇的复制，我们第一个想到的就是爬虫，爬虫可以说是组成了我们精彩的互联网世界。网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理，搜索引擎对下载的页面进行索引，以便用户可以更有效地搜索。这都是爬虫数据采集的功劳。这篇文章我总

一、如何给100亿个数字进行排序？ 1.1解答：1.把这个37GB的大文件，用哈希分成1000个小文件，每个小文件平均38MB左右（理想情况），把100亿个数字对1000取模，模出来的结果在0到999之间，每个结果对应一个文件，所以我这里取的哈希函数是hx%1000，哈希函数取得"好"，能使冲突减小，结果分布均匀。2.拆分完了之后

gson和其他现有javajson类库最大的不同时gson需要序列化的实体类不需要使用annotation来标识需要序列化的字段，同时gson又可以通过使用annotation来灵活配置需要序列化的字段。下面是一个简单的例子：1.public class Person {3.private String name;

!(https://oscimg.oschina.net/oscnet/262e5315515049e3b8c5e90db095ee07.gif)点击上方「蓝字」关注我们!(https://oscimg.oschina.net/oscnet/44452348bf1c4f6cba0522378b6abbb5.png)!(

最开始安装的mysql8.0.16winx64解压版，发现并没有使用my.ini。所以在迁移需要改动my.ini（实际还是可以不需要）时，遇到麻烦，所以卸载了重新安装了mysql8.0.18winx64解压版。主要使用命令mysqldump和source(需要配置系统环境变量或者在bin目录下运行)。导出时：mys

1、AND操作符：select表的字段名from对应的表名where表的字段名AND表的字段名运算符值；例子：selectprod\_id,prod\_price,prod\_namefromproductswhereven\_id1003ANDprod\_price<10;2、OR操作符：sele

今天:select\from表名whereto\_days(时间字段名)to\_days(now());昨天SELECT\FROM表名WHERETO\_DAYS(NOW())TO\_DAYS(时间字段名)<1近七天SELECT\FROM表名whereDATE\_SUB

简单用法：insertintotb\_name(字段1，字段2，.........)values(值1，值2，.....)注意，字段个数必须和值的个数一致。字符用引号引起来，数字不用，插入空值使用null批量插入：insertintotb\_name(字段1，字段2，.........)values(值1，值2，.....

大数据建模、分析、挖掘技术应用研修班的通知随着2015年9月国务院发布了《关于印发促进大数据发展行动纲要的通知》，各类型数据呈现出了指数级增长，数据成了每个组织的命脉。今天所产生的数据比过去几年所产生的数据大好几个数量级，企业有了能够轻松访问和分析数据以提高性能的新机会，如何从数据中获取价值显得尤为重要，也是大数据相关技术急需要解决的问题。大数据是需要新处理

通常情况下，业务系统产生的大量日志都是集中存储处理的。集中存储是指有一个由大型主机或多台主机组成的中心节点，数据集中存储在这个中心节点上，整个系统的所有业务单元都集中部署在这个中心节点上。数据计算几乎完全依赖于一台中大型中央计算机的处理能力。系统的所有功能