Wesley13 Wesley13
3年前
PB级海量数据服务平台架构设计实践
基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务平台架构设计之初,实践的背景可以从三个维度来进行说明:当前现状、业务需求、架构需求,分别如下所示:当前现状收集了当前已有数据、分工、团队
Prodan Labs Prodan Labs
4年前
IoT基础架构的演进 — Kuiper
EMQXKuiper是映云科技开源的轻量级物联网边缘数据分析和流式处理软件,Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架(如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了云端流式处理项目的架构与实现,结合边缘流式数据处理的特点,采用了编写基于源(Sou
Wesley13 Wesley13
3年前
java8lambda表达式对集合分组并且排序(记一次性能优化案例)
最近遇到个需求是这样的:写一个类似于通讯录的简单功能,要求是首先按照部门显示列表,然后点击部门下拉显示部门里面的人员信息,且人员信息按照职位排序。先分析数据结构:最外层是部门,部门里面是员工,且项目是统一返回数据格式。{   "code":0,   "data":\       {
Wesley13 Wesley13
3年前
IP定位领域中相关名词解释
1、数据挖掘数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程,系统中的数据挖掘是指利用计算机技术对基准点、IP开源信息、IP应用场景等IP相关数据的采集、过滤和分析处理,对IP的属性进行探测的过程。2、网络测量网络测量是指利用探测机对IP的网络属性进行探测的过程,包含IP存活性、IP上层路由器拓扑连接关系和网络时延等网络信息。3
Stella981 Stella981
3年前
Knative 实战:基于阿里云 Kafka 实现消息推送
在Knative中已经提供了对Kafka事件源的支持,那么如何在阿里云上基于Kafka实现消息推送,本文给大家解锁这一新的姿势。背景消息队列forApacheKafka是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列forApacheKafka广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等
Stella981 Stella981
3年前
SpreadJS 纯前端表格控件应用案例:资料填报系统
由达美盛研发的资料填报系统,借助SpreadJS纯前端表格控件提供的API,实现了高度类似Excel的数据资料填报审批界面,用户可在线完成打印归档、组卷存储和分析。下面,让我们一起来看看达美盛是如何在“资料填报系统”中应用表格技术,实现“数据填报(https://www.oschina.net/action/GoToLink?urlhttp
Wesley13 Wesley13
3年前
mysql索引总结
上文(https://my.oschina.net/jayqqaa12/blog/3162088"上文")中我们主要介绍了sql语句在server层的执行过程我们再来分析一下具体的语句在引擎层的执行步骤,CRUD的操作都跟索引相关,我们先了解一下索引索引索引的出现其实就是为了提高数据查询的效率,就像书的目录数据结
Easter79 Easter79
3年前
TiDB优化
搭建了TiDB数据库集群。不过性能上没有达到我想要的秒级返回的结果。不过也能接收了,毕竟我们主要是用于olap,进行历史数据的分析。时间旧一点也是可以接受的。之前的历史数据是存放在oracle中的,由于历史数据很多,导致查询很慢,公司现在只能查询3个月前的订单(热数据),对于3个月后的订单,就不给客户查询了。我想到的一种解决办法就是分库分表,比如每一家门
搜索中常见数据结构与算法探究(一)
1前言ES现在已经被广泛的使用在日常的搜索中,Lucene作为它的内核值得我们深入研究,比如FST,下面就用两篇分享来介绍一些本文的主题:1.第一篇主要介绍数据结构和算法基础和分析方法,以及一些常用的典型的数据结构;2.第二
中国电信天翼云位列云数据库领导者象限!
1月9日,计世资讯(CCWResearch)发布《20222023年中国信创数据库行业市场研究报告》(以下简称“报告”),从产品技术能力和市场及战略能力两个维度对我国主要数据库产品服务商进行竞争力分析。其中,中国电信天翼云凭借其产品丰富的管理功能、灵活的部署架构,位列云数据库产品领域领导者象限。