本文章为原创文章，转载请注明，欢迎评论和改正。一，分析　　之前所用的直接通过HTML中的元素值来爬取一些网页上的数据，但是一些比较敏感的数据，很多正规网站都是通过json数据存储，这些数据通过HTML元素是爬取不到的，所以只能通过json数据的api接口来爬取数据。二，网站处理　　1，打开去哪儿网的网站https://train.qu

大家好，我是IT共享者，人称皮皮。这篇文章我们来浅析Python模块的引入和调用。一、前言Python中的模块，有过C语言编程经验的朋友都知道在C语言中如果要引用sqrt函数，必须用语句include引入math.h这个头文件，否则是无法正常进行调用的。那么在Python中，如果要引用一些其他的函数，该怎么处理呢？在Python中有一个概念叫做模块（mod

Facebook的照片分享很受欢迎，迄今，Facebook用户已经上传了150亿张照片，加上缩略图，总容量超过1.5PB，而每周新增的照片为2亿2000万张，约25TB，高峰期，Facebook每秒处理55万张照片，这些数字让如何管理这些数据成为一个巨大的挑战。本文由Facebook工程师撰写，讲述了他们是如何管理这些照片的。旧的NFS照片

(题图:毕业旅行之决战青海湖)本文主要来源于小组内部的一个小的分享,这里整理成一篇文章po出来. 题目叫“Shell助力开发效率提升”,更切题的应该是叫“命令行”提升开发效率,这里并没有讲到Shell编程,而是主要介绍Linux或者Mac下常用的一些基本工具命令来帮助处理一些日常事务. (其实之前这篇文章Mac软件推荐(续)之

一、Django中间件简介　　官方的说法：中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能。　　但是由于其影响的是全局，所以需要谨慎使用，使用不当会影响性能。django中间件就类似于是dja

缺少hashjoin和parallel这种工具，MYSQL注定不是个合适的数据仓库工具。无论是是myisam还是innodb，在处理一个复杂的SQL查询的时候，并不能发挥多核CPU的性能。只会有一个CPU正在满负荷地运转。所以对于一个分析性数据库而言，MYSQL多核实际上是极大的浪费。MYSQL做查询优化的时候，一个是注意在g

在Java虚拟机内存区域中，除了程序计数器外，其他几个内存区域都可能会发生OutOfMemoryError，这次通过一些代码来验证虚拟机各个内存区域存储的内容。在实际工作中遇到内存溢出异常时，需要做到能根据异常信息快速判断是哪个内存区域的溢出，知道什么样的代码会导致这些区域内存溢出，并且知道出现内存溢出后如何处理。Java堆溢出Jav

!(https://oscimg.oschina.net/oscnet/b5fe5e4805377393d579ec6ab76f50eb5fd.gif)关注“Java艺术”一起来充电吧!上篇我们分析了服务提供者处理一个请求的全过程，当然，是跳过信息交换层和传输层的。本篇继续分析服务提供者发起一个远程RPC调用的全过程，也是跳过信息交换层和传输层

简介：　　MQ全称为MessageQueue，消息队列是一种应用程序间的通信方法。　　其是消费者生产者模型的一个典型代表，一端往消息队列中不断写入消息，另一端不断读取/订阅消息。简单使用场景举例：　　将项目中无需即时返回且耗时的操作提取出来，进行异步处理，大大降低了服务器的请求响应时间。　　如：打印日志模块无需即时返回