1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要

VPS:单个服务中的部分空间VPS允许您在单个服务器上租用部分空间。您使用该服务器的一部分容量，其他客户也使用它。每个用户都可以获得有保证且严格限制的资源。这被称为专用虚拟机(VPS)。VPS是具有特定配置的虚拟机:它具有特定数量的虚拟处理器内核(vCPU)、内存(RAM)和磁盘空间。这意味着你的资源有限。一般每个VPS的最大可用内存为32GB，最大磁盘为1

经过了多天的调试对接，终于将宇视的布控球顺利接入到了LiveGBS的国标平台(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fjinlong0603%2Farticle%2Fdetails%2F87906950)，特地写一下对接过程中遇到的问题，希望能帮助

字符编码一直以来都是很混乱，非常让人令人头痛的问题，许多新手往往就会卡死在这个地方。出现乱码常见于读取、提交和写入这三个环节，稍微处理不好这个问题，结果都会演变变成乱码。归根到底是由于各家使用的编码格式不同造成的，而且往往涉及到系统本身。国内常用的网络编码格式有UTF8、GB2312、GBK，以及繁体字的BIG5，这几个编码之间的转换郁闷了好多人。在

分区表的意义：当数据量非常大时（表的容量到达GB或者是TB），如果仍然采用索引的方式来优化查询，由于索引本生的消耗以及大量的索引碎片的产生，查询的过程会导致大量的随机I/O的产生，在这种场景下除非可以很好的利用覆盖索引，否则由于在查询的过程中需要根据索引回数据表查询，会导致性能受到很大的影响，这时可以考虑通过分区表的策略来提高查询的性能。

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要