Aidan075 Aidan075
3年前
爬取千万条基金数据是怎样的体验?
大家好,我是朱小五昨天的文章中就提了一嘴,最近爬了一些股票和基金数据。再加上我们之前也做过,那就简单跟大家说一下如何爬取tiantian基金的数据。基金代码爬取基金的数据有个必要条件就是要知道基金代码,如何获取呢,打开官网找吧。点了一圈,发现了基金代码的主页,寻思翻页爬取就完事了http://fund.eastmoney.com/allfund.html
Stella981 Stella981
3年前
MindManager,818“烧走”拖延症
这是一个关于重度拖延症的故事。2016年底,临近年末各类的总结报告层出不穷,你开始在网上搜索总结报告该怎么写,而大段的文字却看的你头晕脑胀,突然!(http://p3.pstatp.com/large/37c80000d1a0463da383)这样一份年终计划出现了......虽然作为一个重度拖延症,事情能拖一天是一天嘛你还是马上把图
Stella981 Stella981
3年前
Git 迁移之痛
OSChina的Git平台一直在云平台上,今年年中的时候数据增长迅猛,特别是在存储的容量上成倍的增长。我们跟几个云平台的深入聊过,目前的环境下没有解决方案,难以在容量和性能上都同时满足。于是才做出建立独立服务器的决定。然后是几个月的硬件准备和软件架构的准备,特别是在Ceph(http://my.oschina.net/p/ceph)存储上的研究
Stella981 Stella981
3年前
Solr搜索引擎 — SolrCloud安装和集群配置
!(http://pic.wblog.cn/F21D67BC6A7C498FACFF9F0E28C60A8A.png)搞定了一切的一切之后下一步就是正式使用了,但是之前介绍的都是在单台服务器上进行的部署,如果在生产环境出现了单台故障怎么办呢?提供稳定性和性能的最直观的方式就是集群,solr官方提供了cloud的集群方式附上:喵了个咪
Stella981 Stella981
3年前
Play1.2.x源代码概读
说到阅读源码,阅读的方法很重要。如果逐个类逐个类的看,看到有关联的类,就跳进去看,这样效率非常低,根本看不出整个框架的逻辑思想,重要的是容易磨灭那股看代码的冲劲。看源码,起码该知道框架是从哪里启动,先从自己熟悉、感兴趣的模块下手,结合IDE一步一步debug下去,然后逐个模块攻破。首先,简单介绍一下普通web框架大致的工作流程:1.http请
Stella981 Stella981
3年前
JVM类加载
运行时数据区java虚拟机定义了若干种程序运行时使用到的运行时数据区1.有一些是随虚拟机的启动而创建,随虚拟机的退出而销毁2.第二种则是与线程一一对应,随线程的开始和结束而创建和销毁。java虚拟机所管理的内存将会包括以下几个运行时数据区域!(http://static.oschina.net/uplo
Stella981 Stella981
3年前
OSChina 周四乱弹 —— 紧箍咒的工作原理
怎么小小编觉得深圳的温度又上升了?是错觉吗?深圳到底什么时候才能进入冬天?深圳是怎么判断自己在冬天的?答:一般是这样,有人找我要债,我一看挂历,哎哟,年来年关了。深圳的夏天总要好过北京的雾霾吧,昨天一阵风把北京吹成了优,不过雾霾这几天着实在网上催生了一大堆段子手@AngusXer(http://my.oschina.n
Wesley13 Wesley13
3年前
HTML5 & CSS3初学者指南(1) – 编写第一行代码
介绍网络时代已经到来。现在对人们来说,每天上网冲浪已经成为一种最为常见的行为。在网页浏览器中输入一段文本地址,就像http://www.codeproject.com,等待一下,网页就加载到浏览器窗口中。一个典型的网页是由文本、图像和链接组成的。除去内容上的差异,不同网站的网页也具有不同的外观和感受,以实现在网络上建立自己的身份品牌的目的。
Stella981 Stella981
3年前
Kafka 中的消息存储在磁盘上的目录布局是怎样的?
Kafka中的消息是以主题为基本单位进行归类的,各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区,分区的数量可以在主题创建的时候指定,也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中,分区中的每条消息都会被分配一个唯一的序列号,也就是通常所说的偏移量(offset),具有4个分区的主题的逻辑结构见下图。!(http
浅谈服务接口的高可用设计
作为一个后端研发人员,开发服务接口是我正常不过的工作了,这些接口不管是面向前端HTTP或者是供其他服务RPC远程调用的,都绕不开一个共同的话题就是“高可用”,接口开发往往看似简单,但保证高可用这块实现起来却不并没有想想的那么容易,接下来我们就看一下,一个高可用的接口是该考虑哪些内容,同时文中有不足的欢迎批评指正。