2017上-总结 2017年过去一半了,这半年自己也做了蛮多事。这些天把这半年的一些东西理了理。
这半年时间主要在学三个方面linux,python,java(hadoop)
Linux方面的学习:
“工欲善其事必先利其器” 深入的学习了vim编辑器用法
对linux系统底层服务(service)有了更深的了解
Linux定时任务 Linux基本命令(https://my.oschina.net/u/3264690/blog/845012)
Docke容器的学习(https://my.oschina.net/u/3264690/blog/841419)
redis数据库基本操作(https://my.oschina.net/u/3264690/blog/853005)
Python方面的学习:
主要学习的python基础库:
Numpy,matplotlib
并进一步学习了python的数据可视化制图
https://git.oschina.net/nanxun/pythonshujukeshihuajiantu.git
博客(https://my.oschina.net/u/3264690/blog/915068)
Scrapy(爬虫库)
Django(python web)
Selenuim(web自动化)
编写了小米6自动化抢购脚本(https://git.oschina.net/nanxun/jd_mi_six_scripy.git)
Webbrowser 编写vip视频破解器(https://git.oschina.net/nanxun/vip_video.git)
Pyqt5(python的Gui库)编写了若干GUI项目,例如512勒索病毒破解器
Pickle(python序列化)
Fire(自动生成命令行接口)
Pymysql(mysql连接库) (https://my.oschina.net/u/3264690/blog/875409)
Pymssql(sqlserver连接库)
.........
进一步学习了爬虫技术并编写了以下项目:
新浪微博爬虫(https://git.oschina.net/nanxun/weibo_new.git)
知乎用户信息爬虫(https://git.oschina.net/nanxun/zhihu.git)
拉钩网职业信息爬虫(https://git.oschina.net/nanxun/lagou.git)
西刺代理ip爬虫(https://git.oschina.net/nanxun/xiciip.git)
GUI爬虫分析工具 url蜘蛛(https://git.oschina.net/nanxun/urlzhizhu.git)
知乎日报爬虫(https://git.oschina.net/nanxun/zhihuribao.git)
豆瓣爬虫(https://git.oschina.net/nanxun/doban.git)
研读了多遍django官方文档编写以下项目:
NewPy个性化推荐社区(https://git.oschina.net/nanxun/newpy.git)
Java方面的学习:
最近在看java核心技术卷2,java核心技术卷1
简单的了解了一下ssh,springmvc,mybatis框架的应用(要说敲代码,自然不会。。。)
在三月到五月简单的学习了hadoop生态圈(hdfs,mapreduce,hive,sqoop,hbase),由于出于先了解的目的,学的不深。目前趁着暑假时间深入的学习。
搭建过:
Hadoop 单节点集群
Hadoop Ha集群
Hadoop 4节点集群
Docker实现集群
学习hadoop的过程中感觉到--如果单纯的学会应用的话,是不太难的,但是我们可以达到更高的水平,可以去学习hadoop生态圈中某些实现的源码,学习其中的思想架构。
这半年看过的书:
《linux服务器运维》
《深入理解大数据-大数据处理与编程实践》
《Introducing Python》
《Hadoop权威指南》第三版
《java核心技术卷1》目前在看
《java核心技术卷2》目前在看
《redis入门指南》
《Python CookBook》
个人认为查阅英文文档的重要性:
1.锻炼自己的英文水平
2.国内翻译的技术文章良莠不齐,自己看英文原版要好得多
3.查看原文档可容易得出自己理解,加深自己学习的印象,加大学习的效率
学习底层实现的必要性: 个人认为若想成为一个优秀的程序员,你需要去学习一些方法,框架,库的底层实现原理。 我认为一个程序员敲代码最大的意义就是创造,无中生有,那怎么去提升这种能力呢? 首先 我认为你需要去查看别人的代码,去看他们某一个东西是如何实现的,然后你会知道:哦,原来还可以这样写。慢慢的,当你有想做某一个东西的时候,你脑海里会有若干个实现的方法,这些方法大部分会是你自己理解的或者从别人实现的代码中学习到的,你会挑一个认为简单的方法去完成。
这半年写了大概五十篇博客
(https://my.oschina.net/u/3264690/blog?catalog=5650535&temp=1499166808656) 现在越来越发现记录一些东西的重要性了,有时候你学了某一个东西,过一段时间你可能就忘掉了,这时候博客就能给你找回来。同时发现你学一个东西是一回事,当你写出来时,是另一回事了。
“方向很多,知识也很多,勿迷失自我”-----学不在多贵在精
记录于2017-7-4