Stella981 Stella981
3年前
Celery分布式任务队列的认识和基本操作
一、简单认识  Celery是由Python开发、简单、灵活、可靠的分布式任务队列,其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。Celery侧重于实时操作,但对调度支持也很好,其每天可以处理数以百万计的任务。它的特点有:简单:熟悉了它的流程后,配置使用简单;高可用
Stella981 Stella981
3年前
Flink SQL 实战:双流 join 场景应用
本文主要介绍在流式场景中join的实战。大家都知道在使用SQL进行数据分析的过程中,join是经常要使用的操作。在离线场景中,join的数据集是有边界的,可以缓存数据有边界的数据集进行查询,有NestedLoop/HashJoin/SortMergeJoin等多表join;而在实时场景中,join两侧的数据都是无边界的数据流,所以缓
Stella981 Stella981
3年前
SpreadJS 纯前端表格控件应用案例:Teammark知识管理库
由三节课研发的Teammark系统,基于SpreadJS二次开发实现,采用行业优秀的工作方法,以Excel模板作为基本的文档范例,满足了客户在线编辑Excel文档的刚性需求。下面,让我们一起来看看三节课是如何在“Teammark系统”中应用表格技术,实现多人实时协作与“表格文档协同编辑(https://www.oschina.net/action
Stella981 Stella981
3年前
Hadoop 中利用 mapreduce 读写 mysql 数据
有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些pv、uv数据,然后为了实时查询的需求,或者一些OLAP的需求,我们需要mapreduce与mysql进行数据的交互,而这些特性正是hbase或者hive目前亟待改进的地方。好了言归正传,简单的说说背景、原理以及需要注意的地方:1、为了方便MapReduce
Stella981 Stella981
3年前
Kafka到底有几个Offset?——Kafka核心之偏移量机制
!(https://oscimg.oschina.net/oscnet/3ea57a5cd288c6bbc24521607f4e0aae21a.jpg)    Kafka是由LinkIn开源的实时数据处理框架,目前已经更新到2.3版本。不同于一般的消息中间件,Kafka通过数据持久化和磁盘读写获得了极高的吞吐量,并可以不依赖Storm,SparkSt
Stella981 Stella981
3年前
IE下Userdata本地化存储
这两天看了下Discuzx2发帖的实时保存机制,涉及到本地化存储,所以上网查了下,Firefox等支持HTML5的浏览器使用window.localStorage或window.sessionStorage存储,比较简单,所以我特别关注了一下IE下的本地化存储,以下是在网上查找的资料,作为笔记。 在InternetExplorer5中,Mi
Easter79 Easter79
3年前
TiDB 助力客如云餐饮 SaaS 服务
作者:客如云BigDataInfra Team 公司介绍客如云成立于2012年,是全球领先、国内最大的SaaS系统公司。目前面向餐饮、零售等服务业商家,提供软硬一体的新一代智能化前台、收银等 SaaS云服务,包括预订、排队、外卖、点餐、收银、会员管理、进销存等系统服务,并将数据实时传达云端。我们是客如云的大数据基础
Easter79 Easter79
3年前
Tomcat集群方案
一、需求多个tomcat要一起协同工作有几种办法,可以考虑的方案有以下几个:1\.使用tomcat自带的cluster方式,多个tomcat间自动实时复制session信息,配置起来很简单。但这个方案的效率比较低,在大并发下表现并不好。2\.利用nginx的基于访问ip的hash路由策略,保证访问的ip始终被路由到同一个tomcat上,
Stella981 Stella981
3年前
ElasticSearch基本操作(安装,索引的创建和删除,映射)
ElasticSearch基于Lucene的搜索服务器,支持分布式,提供REST接口,可用于云计算,可以实现实时搜索,开源免费。这时很官方的一句话,在使用之前,我们简单的介绍一下安装过程。在官网下载之后,直接解压出来,找到bin文件夹下,运行elasticsearch.bat,运行后的结果如下:!(https://oscimg.oschina.net
数据可追溯性和文档
在工厂环境中,无线可能需要安排几十个测点,会有上千个监测数据,环境监测平台将这些数据存储在历史记录中,管理人员可以通过时间过滤随时查看,还可以生成周报、月报打印导出。数据监控平台具有多项功能,除实时数据查看外,还有大屏可视化、电子地图、多人分级管理、超限报