分别用python2和python3伪装浏览器爬取网页内容
python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取：!/usr/bin/envpythoncodingutf8@Au
java8lambda表达式对集合分组并且排序（记一次性能优化案例）
最近遇到个需求是这样的：写一个类似于通讯录的简单功能，要求是首先按照部门显示列表，然后点击部门下拉显示部门里面的人员信息，且人员信息按照职位排序。先分析数据结构：最外层是部门，部门里面是员工，且项目是统一返回数据格式。{ "code":0, "data":\ {
Python矩阵和Numpy数组的那些事儿
大家好，我是IT共享者，人称皮皮。今天给大家介绍矩阵和NumPy数组。一、什么是矩阵？使用嵌套列表和NumPy包的Python矩阵。矩阵是一种二维数据结构，其中数字按行和列排列。二、Python矩阵1\.列表视为矩阵Python没有矩阵的内置类型。但是，可以将列表的列表视为矩阵。例：A2\.如何使用嵌套列表。A三、NumPy数组1\.
12. 数据放在本地，心里才更踏实，滚雪球学 Python
今天是持续写作的第<fontcolor"red"12</font/100天。如果你有想要交流的想法、技术，欢迎在评论区留言。本篇文章要讲解的内容是Python文件操作的相关内容，滚雪球学Python第一遍已经进行到中途，是否还能坚持住呢？加油。十二、Python文件读取与写入电脑文件的操作是任何一门编程语言都会涉
ConcurrentSkipListMap 介绍
ConcurrentSkipListMap在JDK并发工具类使用范围不是很广，它是针对某一特殊需求而设计的——支持排序，同时支持搜索目标返回最接近匹配项的导航方法。一般情况下开发者很少会使用到该类，但是如果你有如上的特殊需求，那么ConcurrentSkipListMap将是一个很好地解决方案。JavaCollectionsFramework中另一个
LightGBM 算法原理
LightGBM的动机GBDT(GradientBoostingDecisionTree)是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT在工业界应用广泛，通常被用于点击率预测，搜索排序等任务而GBDT在每一次迭代的时
Redis 有序集合(sorted set)
Redis有序集合(sortedset)Redis有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的,但分数(score)却可以重复。集合是
Python 装饰器（Decorator）
Python 装饰器（Decorator）装饰模式有很多经典的使用场景，例如插入日志、性能测试、事务处理等等，有了装饰器，就可以提取大量函数中与本身功能无关的类似代码，从而达到代码重用的目的。下面就一步步看看Python中的装饰器。装饰器本身是一个Python函数，他可以让其他函数在不需要做任何代码变动
使用Python统计下桌面某个文件夹下（含多层子文件夹）具体文件的数量（方法二）
大家好，我是皮皮。一、前言前几天在Python最强王者群【东哥】问了一个Python自动化办公的问题，一起来看看吧。这个是他自己在实际工作中遇到的需求，正好遇到了这个问题，想着用Python来实现下。二、实现过程上一篇文章中已经分享了一个方法，这一篇文章继
使用Python统计下桌面某个文件夹下（含多层子文件夹）具体文件的数量（方法三）
大家好，我是皮皮。一、前言前几天在Python最强王者群【东哥】问了一个Python自动化办公的问题，一起来看看吧。这个是他自己在实际工作中遇到的需求，正好遇到了这个问题，想着用Python来实现下。二、实现过程上一篇文章中已经分享了一个方法，这一篇文章继