Wesley13 Wesley13
3年前
PB级海量数据服务平台架构设计实践
基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务平台架构设计之初,实践的背景可以从三个维度来进行说明:当前现状、业务需求、架构需求,分别如下所示:当前现状收集了当前已有数据、分工、团队
Prodan Labs Prodan Labs
4年前
IoT基础架构的演进 — Kuiper
EMQXKuiper是映云科技开源的轻量级物联网边缘数据分析和流式处理软件,Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架(如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了云端流式处理项目的架构与实现,结合边缘流式数据处理的特点,采用了编写基于源(Sou
Wesley13 Wesley13
3年前
java8lambda表达式对集合分组并且排序(记一次性能优化案例)
最近遇到个需求是这样的:写一个类似于通讯录的简单功能,要求是首先按照部门显示列表,然后点击部门下拉显示部门里面的人员信息,且人员信息按照职位排序。先分析数据结构:最外层是部门,部门里面是员工,且项目是统一返回数据格式。{   "code":0,   "data":\       {
Stella981 Stella981
3年前
Knative 实战:基于阿里云 Kafka 实现消息推送
在Knative中已经提供了对Kafka事件源的支持,那么如何在阿里云上基于Kafka实现消息推送,本文给大家解锁这一新的姿势。背景消息队列forApacheKafka是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列forApacheKafka广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等
Stella981 Stella981
3年前
Elasticsearch Query DSL之Term level queries
简介term\_level查询操作的是存储在反向索引(倒排索引)中的准确词根,这些查询通常用于结构化数据,如数字、日期和枚举,而不是全文字段,无需进行分析(分词),termlevel查询类似于关系型数据库的(where条件过滤)。其查询模式如下:termquery查找包含指定字段中精确匹配查询字符串的文档。
Wesley13 Wesley13
3年前
#Python 3 转义#
!Guu(https://static.oschina.net/uploads/img/201708/28195412_W7LR.jpg)问题最近一直在忙SWT项目的前端和后端整合的工作,目前已经基本把前端和后台的flask搞定,剩下是要与数据库,分析服务器对接了。今天解决了个python的转义的问题,本来我是想通过flask返回列表数据
Stella981 Stella981
3年前
SpreadJS 纯前端表格控件应用案例:资料填报系统
由达美盛研发的资料填报系统,借助SpreadJS纯前端表格控件提供的API,实现了高度类似Excel的数据资料填报审批界面,用户可在线完成打印归档、组卷存储和分析。下面,让我们一起来看看达美盛是如何在“资料填报系统”中应用表格技术,实现“数据填报(https://www.oschina.net/action/GoToLink?urlhttp
Wesley13 Wesley13
3年前
mysql索引总结
上文(https://my.oschina.net/jayqqaa12/blog/3162088"上文")中我们主要介绍了sql语句在server层的执行过程我们再来分析一下具体的语句在引擎层的执行步骤,CRUD的操作都跟索引相关,我们先了解一下索引索引索引的出现其实就是为了提高数据查询的效率,就像书的目录数据结
搜索中常见数据结构与算法探究(一)
1前言ES现在已经被广泛的使用在日常的搜索中,Lucene作为它的内核值得我们深入研究,比如FST,下面就用两篇分享来介绍一些本文的主题:1.第一篇主要介绍数据结构和算法基础和分析方法,以及一些常用的典型的数据结构;2.第二
Scala中使用Selenium进行网页内容摘录的详解
前言公众号成为获取信息的重要途径之一。而对于公众号运营者来说,了解公众号的数据情况非常重要。比如,你可能想要获取公众号的文章内容,进行数据分析或者生成摘要。或者你可能想要监控竞争对手的公众号,了解他们的最新动态动态。无论是哪种情况,使用Scala和Sele