SparkSql学习1 —— 借助SQlite数据库分析2000万数据

总所周知，Spark在内存计算领域非常强势，是未来计算的方向。Spark支持类Sql的语法，方便我们对DataFrame的数据进行统计操作。

但是，作为初学者，我们今天暂且不讨论Spark的用法。我给自己提出了一个有意思的思维游戏：Java里面的随机数算法真的是随机的吗？

好，思路如下：

1. 取样，利用Java代码随机生成2000万条0-1000的整数（包括0，但是不包括1000）

2. 分析每个整数的出现次数。

如果出现次数分布非常均匀，那么可以证明随机数算法还是比较靠谱的。

那么，现在就动手：

第一步：编写java代码往数据库里面造数据

这里我选择的是sqlite数据库的内存模式，之所以这样选择，是因为文件型数据库的内存模式可以节省网络开销，小巧精悍：

java代码：

package com.lnwazg.dbkit.controller;

import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;

import org.apache.commons.lang3.RandomUtils;

import com.lnwazg.dbkit.dao.SqliteDao;
import com.lnwazg.dbkit.jdbc.MyJdbc;
import com.lnwazg.dbkit.proxy.MyDaoProxy;
import com.lnwazg.dbkit.utils.DbKit;
import com.lnwazg.dbkit.vo.Record;
import com.lnwazg.kit.testframework.TF;
import com.lnwazg.kit.testframework.anno.AfterFinalOnce;
import com.lnwazg.kit.testframework.anno.PrepareStartOnce;
import com.lnwazg.kit.testframework.anno.TestCase;

/**
 * 随机插入2000万条随机数
 * @author nan.li
 * @version 2016年6月2日
 */
public class SqliteTest2
{
    MyJdbc jdbc = null;
    
    SqliteDao sqliteDao = null;
    
    @PrepareStartOnce
    void prepareStartOnce()
    {
        //初始化jdbc连接
        jdbc = DbKit.getJdbc("sqlite3.properties");
        sqliteDao = MyDaoProxy.proxyDaoInterface(SqliteDao.class, jdbc);//根据接口生成动态代理类
    }
    
    @AfterFinalOnce
    void afterFinalOnce()
    {
    }
    
    @TestCase
    void doTest()
        throws SQLException
    {
        //插入2000万条数据，然后用sql计算出分布情况
        //        每次10000条记录，循环2000次
        sqliteDao.createTable(Record.class);
        for (int i = 0; i < 200; i++)
        {
            List<Record> list = new ArrayList<>();
            for (int j = 0; j < 100000; j++)
            {
                list.add(new Record().setNumber(RandomUtils.nextInt(0, 1000)));//随机数，值为0-999
            }
            sqliteDao.insertBatch(list, 50000);//批量插入，batchSize设置为50000
            System.out.println(String.format("第%s次插入成功！", i + 1));
        }
    }
    
    public static void main(String[] args)
    {
        TF.l(SqliteTest2.class);
    }
}

数据库配置：

url=jdbc:sqlite://d:/largeData.db
username=
password=

Record类结构：

package com.lnwazg.dbkit.vo;

import org.apache.commons.lang3.builder.ToStringBuilder;
import org.apache.commons.lang3.builder.ToStringStyle;

import com.lnwazg.dbkit.anno.AutoIncrement;
import com.lnwazg.dbkit.anno.Id;

public class Record
{
    @Id
    @AutoIncrement
    private Integer id;
    
    private Integer number;
    
    public Integer getId()
    {
        return id;
    }
    
    public Record setId(Integer id)
    {
        this.id = id;
        return this;
    }
    
    public Integer getNumber()
    {
        return number;
    }
    
    public Record setNumber(Integer number)
    {
        this.number = number;
        return this;
    }
    
    @Override
    public String toString()
    {
        return ToStringBuilder.reflectionToString(this, ToStringStyle.JSON_STYLE);
    }
    
}

好了，代码跑起来，每插入10w条数据需要消耗37秒钟，每秒钟插入成功2702条数据，这个效率我还是比较满意的。

大约等了2个钟头，全部数据就造好了，占用230MB大小。

SparkSql学习1 —— 借助SQlite数据库分析2000万数据