Aidan075 Aidan075
3年前
爬取千万条基金数据是怎样的体验?
大家好,我是朱小五昨天的文章中就提了一嘴,最近爬了一些股票和基金数据。再加上我们之前也做过,那就简单跟大家说一下如何爬取tiantian基金的数据。基金代码爬取基金的数据有个必要条件就是要知道基金代码,如何获取呢,打开官网找吧。点了一圈,发现了基金代码的主页,寻思翻页爬取就完事了http://fund.eastmoney.com/allfund.html
Stella981 Stella981
3年前
MindManager,818“烧走”拖延症
这是一个关于重度拖延症的故事。2016年底,临近年末各类的总结报告层出不穷,你开始在网上搜索总结报告该怎么写,而大段的文字却看的你头晕脑胀,突然!(http://p3.pstatp.com/large/37c80000d1a0463da383)这样一份年终计划出现了......虽然作为一个重度拖延症,事情能拖一天是一天嘛你还是马上把图
Stella981 Stella981
3年前
Git 迁移之痛
OSChina的Git平台一直在云平台上,今年年中的时候数据增长迅猛,特别是在存储的容量上成倍的增长。我们跟几个云平台的深入聊过,目前的环境下没有解决方案,难以在容量和性能上都同时满足。于是才做出建立独立服务器的决定。然后是几个月的硬件准备和软件架构的准备,特别是在Ceph(http://my.oschina.net/p/ceph)存储上的研究
Wesley13 Wesley13
3年前
Go WEB入门
摘要由于Golang优秀的并发处理,很多公司使用Golang编写微服务。对于Golang来说,只需要短短几行代码就可以实现一个简单的Http服务器。加上Golang的协程,这个服务器可以拥有极高的性能。然而,正是因为代码过于简单,我们才应该去研究他的底层实现,做到会用,也知道为什么这么用。在本文中,会以自顶向下的方式,从如何使用,到如何实现,一点点的分
Stella981 Stella981
3年前
Solr搜索引擎 — SolrCloud安装和集群配置
!(http://pic.wblog.cn/F21D67BC6A7C498FACFF9F0E28C60A8A.png)搞定了一切的一切之后下一步就是正式使用了,但是之前介绍的都是在单台服务器上进行的部署,如果在生产环境出现了单台故障怎么办呢?提供稳定性和性能的最直观的方式就是集群,solr官方提供了cloud的集群方式附上:喵了个咪
Stella981 Stella981
3年前
Play1.2.x源代码概读
说到阅读源码,阅读的方法很重要。如果逐个类逐个类的看,看到有关联的类,就跳进去看,这样效率非常低,根本看不出整个框架的逻辑思想,重要的是容易磨灭那股看代码的冲劲。看源码,起码该知道框架是从哪里启动,先从自己熟悉、感兴趣的模块下手,结合IDE一步一步debug下去,然后逐个模块攻破。首先,简单介绍一下普通web框架大致的工作流程:1.http请
Stella981 Stella981
3年前
OSChina 周四乱弹 —— 紧箍咒的工作原理
怎么小小编觉得深圳的温度又上升了?是错觉吗?深圳到底什么时候才能进入冬天?深圳是怎么判断自己在冬天的?答:一般是这样,有人找我要债,我一看挂历,哎哟,年来年关了。深圳的夏天总要好过北京的雾霾吧,昨天一阵风把北京吹成了优,不过雾霾这几天着实在网上催生了一大堆段子手@AngusXer(http://my.oschina.n
Wesley13 Wesley13
3年前
HTML5 & CSS3初学者指南(1) – 编写第一行代码
介绍网络时代已经到来。现在对人们来说,每天上网冲浪已经成为一种最为常见的行为。在网页浏览器中输入一段文本地址,就像http://www.codeproject.com,等待一下,网页就加载到浏览器窗口中。一个典型的网页是由文本、图像和链接组成的。除去内容上的差异,不同网站的网页也具有不同的外观和感受,以实现在网络上建立自己的身份品牌的目的。
Stella981 Stella981
3年前
Kafka 中的消息存储在磁盘上的目录布局是怎样的?
Kafka中的消息是以主题为基本单位进行归类的,各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区,分区的数量可以在主题创建的时候指定,也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中,分区中的每条消息都会被分配一个唯一的序列号,也就是通常所说的偏移量(offset),具有4个分区的主题的逻辑结构见下图。!(http
十月飞翔 十月飞翔
2年前
专有云自动化开发规范
一.整体框架说明自动化项目的整体框架以及各个功能模块的划分如下图所示。二.接口开发规范主要针对testlib/api中的python代码开发进行规范说明。1.开发接口时按照上述功能模块划分,将对应的接口实现写到对应的模块中;2.所有实现的前后端接口应尽量参数化,避免将参数写死,http请求中携带的每个字段的值都应该有来源,要么