Stella981 Stella981
3年前
Python Tornado搭建高并发Restful API接口服务
Tornado和现在的主流Web服务器框架(包括大多数Python的框架)有着明显的区别:它是非阻塞式服务器,而且速度相当快能实现高并发。得利于其非阻塞的方式和对epoll的运用,Tornado每秒可以处理数以千计的连接,这意味着对于实时Web服务来说,Tornado是一个理想的Web框架。Tornado不同于其他pytho
Stella981 Stella981
3年前
Celery分布式任务队列的认识和基本操作
一、简单认识  Celery是由Python开发、简单、灵活、可靠的分布式任务队列,其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。Celery侧重于实时操作,但对调度支持也很好,其每天可以处理数以百万计的任务。它的特点有:简单:熟悉了它的流程后,配置使用简单;高可用
Stella981 Stella981
3年前
Flink SQL 实战:双流 join 场景应用
本文主要介绍在流式场景中join的实战。大家都知道在使用SQL进行数据分析的过程中,join是经常要使用的操作。在离线场景中,join的数据集是有边界的,可以缓存数据有边界的数据集进行查询,有NestedLoop/HashJoin/SortMergeJoin等多表join;而在实时场景中,join两侧的数据都是无边界的数据流,所以缓
Stella981 Stella981
3年前
Hadoop 中利用 mapreduce 读写 mysql 数据
有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些pv、uv数据,然后为了实时查询的需求,或者一些OLAP的需求,我们需要mapreduce与mysql进行数据的交互,而这些特性正是hbase或者hive目前亟待改进的地方。好了言归正传,简单的说说背景、原理以及需要注意的地方:1、为了方便MapReduce
Stella981 Stella981
3年前
Kurento On WebRTC
WebRTC是一种通过由万维网联盟(W3C)起草的为浏览器和移动应用提供实时通信(RTC)功能的技术简。在本指南中,我们将向您介绍重要的部分,以及它们如何适用于Kurento。KurentoWebRTC旨在成为WebRTC通信的一方。另一个对等体可以是具有WebRTC能力的浏览器使用RTCPeerConnectionAPI,本地WebRTC
Stella981 Stella981
3年前
Kafka到底有几个Offset?——Kafka核心之偏移量机制
!(https://oscimg.oschina.net/oscnet/3ea57a5cd288c6bbc24521607f4e0aae21a.jpg)    Kafka是由LinkIn开源的实时数据处理框架,目前已经更新到2.3版本。不同于一般的消息中间件,Kafka通过数据持久化和磁盘读写获得了极高的吞吐量,并可以不依赖Storm,SparkSt
Stella981 Stella981
3年前
IE下Userdata本地化存储
这两天看了下Discuzx2发帖的实时保存机制,涉及到本地化存储,所以上网查了下,Firefox等支持HTML5的浏览器使用window.localStorage或window.sessionStorage存储,比较简单,所以我特别关注了一下IE下的本地化存储,以下是在网上查找的资料,作为笔记。 在InternetExplorer5中,Mi
Easter79 Easter79
3年前
Tomcat集群方案
一、需求多个tomcat要一起协同工作有几种办法,可以考虑的方案有以下几个:1\.使用tomcat自带的cluster方式,多个tomcat间自动实时复制session信息,配置起来很简单。但这个方案的效率比较低,在大并发下表现并不好。2\.利用nginx的基于访问ip的hash路由策略,保证访问的ip始终被路由到同一个tomcat上,
Stella981 Stella981
3年前
ElasticSearch基本操作(安装,索引的创建和删除,映射)
ElasticSearch基于Lucene的搜索服务器,支持分布式,提供REST接口,可用于云计算,可以实现实时搜索,开源免费。这时很官方的一句话,在使用之前,我们简单的介绍一下安装过程。在官网下载之后,直接解压出来,找到bin文件夹下,运行elasticsearch.bat,运行后的结果如下:!(https://oscimg.oschina.net
数据可追溯性和文档
在工厂环境中,无线可能需要安排几十个测点,会有上千个监测数据,环境监测平台将这些数据存储在历史记录中,管理人员可以通过时间过滤随时查看,还可以生成周报、月报打印导出。数据监控平台具有多项功能,除实时数据查看外,还有大屏可视化、电子地图、多人分级管理、超限报