大家好，我是杯酒先生，这是我第一次写这种分享项目的文章，可能很水，很不全面，而且肯定存在说错的地方，希望大家可以评论里加以指点，不胜感激！一、前言网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度百科    说人话就是，爬虫是用来海量规则化获取数据

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要

还有20天就是2021年了，回顾一下2010年自己面试过的大厂，这里我说下我的感受今年跳槽成功的难度比往年高了很多，很明显的感受就是：对于今年的java开发朋友跳槽面试，无论一面还是二面，都开始考验一个Java程序员的技术功底和基础。对源码解读和核心原理理解也是成了加分项，特别是对Java的一些核心基础知识点掌握的不够或者没有体系方向的朋友面试也

还有20天就是2021年了，回顾一下2010年自己面试过的大厂，这里我说下我的感受今年跳槽成功的难度比往年高了很多，很明显的感受就是：对于今年的java开发朋友跳槽面试，无论一面还是二面，都开始考验一个Java程序员的技术功底和基础。对源码解读和核心原理理解也是成了加分项，特别是对Java的一些核心基础知识点掌握的不够或者没有体系方向的朋友面试也

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要