Wesley13 Wesley13
3年前
java NIO原理及通信模型
JavaNIO是在jdk1.4开始使用的,它既可以说成“新IO”,也可以说成非阻塞式I/O。下面是javaNIO的工作原理:由一个专门的线程来处理所有的IO事件,并负责分发。事件驱动机制:事件到的时候触发,而不是同步的去监视事件。线程通讯:线程之间通过wait,notify等方式通讯。保证每次上下文切换
Easter79 Easter79
3年前
springboot2.X 集成redis+消息发布订阅
需求场景:分布式项目中,每个子项目有各自的 user 数据库, 在综合管理系统中存放这所有用户信息, 为了保持综合管理系统用户的完整性,    子系统添加用户后将用户信息以json格式保存至redis,然后发布到消息到消息通道,综合管理系统监控到子系统发布的消息前往redis     获取出用户信息保存到自己的数据库1)redis配置
Stella981 Stella981
3年前
Selenium+Python对开源中国官网进行模拟登录
1.摘要:Selenium是一个开源的和便携式的自动化软件测试工具,用于测试Web应用程序有能力在不同的浏览器和操作系统运行。Selenium不是一个单一的工具,而是一套工具,帮助测试者更有效地基于Web的应用程序的自动化。我们这里用到的python:python3.6操作系统:archlinux
Stella981 Stella981
3年前
Scala编程实战
项目概述需求目前大多数的分布式架构底层通信都是通过RPC实现的,RPC框架非常多,比如前我们学过的Hadoop项目的RPC通信框架,但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的,在某些极端的情况下,任务提交的延迟很高,所以Hadoop的RPC显得有些笨重。Spark的RPC是通过Akka类库实现的,Akka用
Stella981 Stella981
3年前
Spring Boot 与 Kotlin 使用MongoDB数据库
我们在产品中用到NoSQL数据库MongoDB。下面就来简单介绍一下MongoDB,并且通过一个例子来介绍SpringBoot中对MongoDB访问的配置和使用。MongoDB简介MongoDB是一个基于分布式文件存储的数据库,它是一个介于关系数据库和非关系数据库之间的产品,其主要目标是在键/值存储方式(
Stella981 Stella981
3年前
Hadoop机架感知
倘若世子殿下身死拒北城外会有一断手残脚青年自中原而来拾春秋剑入陆地神仙仰头望天而喊我温不胜在此恭请拓跋菩萨赴死!_订正:__在上篇文中NM类比为部门负责人一段中,段中的RM应为NM,感谢_DN_同学的指正。_1.数据分块HDFS作为Hadoop中的一个分布式文件系统,
Wesley13 Wesley13
3年前
MongoDB进阶之路:不仅仅是技术研究,还有优化和最佳实践
摘要:MongoDB是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。本文将从操作手册、技术研究、会议分享、场景应用等几个方面给大家推荐干货好文。MongDB操作手册快速入门旨在帮助您快速创建MongoDB实例、对实例进行基本设置以及连接实例数据库
Stella981 Stella981
3年前
Elasticsearch文档读写模型实现原理
ES系列基于ElasticSearch6.4.x版本。1、简介ElasticSearch的存储设计天生就是分布式的。每个索引被分成多个分片(默认每个索引含5个主分片(primaryshard)),每个主分片又可以有多个副本。当一个文档被添加或删除时(主分片中新增或删除),其对应的复制分片之间必须保持同步。如果我们不这样做,那么对于同一个文档的检索请
数据堂 数据堂
2年前
手势识别数据集:利用数据注释让机器学习
手势识别是现代计算机视觉领域不可或缺的一部分,是指通过分析输入信号的空间变化来获取表达者的意图。手势识别技术可以应用于很多领域,比如交互式系统、人脸识别以及智能家居等。在许多场景中,手势识别是更加便捷的控制方式,它可以更方便地与设备进行交互,并且可以方便地
UData+StarRocks在京东物流的实践 | 京东物流技术团队
1背景数据服务与数据分析场景是数据团队在数据应用上两个大的方向,行业内大家有可能会遇到下面的问题:1.1数据服务烟囱式开发模式:每来一个需求开发一个数据服务,数据服务无法复用,难以平台化,技术上无法积累服务维护难度大:当开发了大量数据服务后,后期维护是大问