Stella981 Stella981
3年前
Hadoop压缩
一、Hadoop压缩简介1、hadoop的3个阶段(1)分布式文件系统HDFS(2)分布式编程框架MapReduce(3)yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储(HDFS)读写字
Wesley13 Wesley13
3年前
JavaWeb编程基础
JavaWeb是用Java技术来解决相关web互联网领域的技术总和。Java提供了技术方案可以解决客户端和服务器端的实现,特别是服务器的应用,比如Servlet,JSP和第三方框架等等。1\.http协议超文本传输协议,是一种应用层的网络传输协议http协议的特点:1.简单,快速:支持多种不同的的数据提交方式,如g
多数据源管理:掌握@DS注解的威力 | 京东云技术团队
大家在日常后端开发过程,不可避免的会接触到需要用到配置多个数据源的场景,在这里,小编介绍一种简单方便的,只需要简单的配置和一个@DS注解就能实现动态数据源的方式,这种动态数据源底层原理是基于Mybatisplus来实现的。1、配置方式首先是pom.xmlc
页面查询多项数据组合的线程池设计 | 京东云技术团队
背景我们应对并发场景时一般会采用下面方式去预估线程池的线程数量,比如QPS需求是1000,平均每个任务需要执行的时间是t秒,那么我们需要的线程数是t1000。但是在一些情况下,这个t是不好估算的,即便是估算出来了,在实际的线程环境上也需要进行验证和微调。比
京东科技埋点数据治理和平台建设实践 | 京东云技术团队
导读本文核心内容聚焦为什么要埋点治理、埋点治理的方法论和实践、奇点一站式埋点管理平台的建设和创新功能。读者可以从全局角度深入了解埋点、埋点治理的整体思路和实践方法,落地的埋点工具和创新功能都有较高的实用参考价值。遵循埋点治理的方法论,本文作者团队已在实践中
大数据平台红蓝对抗 - 磨利刃,淬精兵! | 京东云技术团队
一、背景目前大促备战常见备战工作:专项压测(全链路压测、内部压测)、灾备演练、降级演练、限流、巡检(监控、应用健康度)、混沌演练(红蓝对抗),如下图所示。随着平台业务越来越复杂,红蓝对抗的作用愈来愈明显,下面将详细介绍大数据平台在本次双十一大促备战工作中是
为啥不建议用BeanUtils.copyProperties拷贝数据 | 京东云技术团队
在实际的业务开发中,我们经常会碰到VO、BO、PO、DTO等对象属性之间的赋值,当属性较多的时候我们使用get,set的方式进行赋值的工作量相对较大,因此很多人会选择使用spring提供的拷贝工具BeanUtils的copyProperties方法完成对象
玩转云端|演唱会一票难求?快用天翼云边缘安全加速平台AccessOne!
天翼云AccessOne基于覆盖全球的海量边缘节点,能够智能分离动静态内容,通过智能负载均衡技术,让静态内容在边缘节点进行缓存,保障用户就近接入边缘节点获取资源;对于动态内容,可通过智能选路、协议优化等技术,选择最/佳链路回源,同时提供协议优化、链路优化等多项优化技术,大大缩短内容传输距离和时间,加速抢购过程中的数据流转,有效降低延迟和抖动,保障用户交易。
陈杨 陈杨
2个月前
HarmonyOS5云服务技术分享--云数据库使用指南
🌟华为云数据库(CloudDB)在HarmonyOS中的使用指南🌟​​嗨,开发者朋友们!​​今天咱们来聊聊华为云数据库(CloudDB)在HarmonyOS应用中的集成和使用技巧。无论你是刚接触HarmonyOS开发,还是想优化现有的数据管理逻辑,这篇
数据堂 数据堂
2个月前
大模型时代,数据标注产业面临的挑战
近年,大模型技术加速演进,从通用对话、图文生成到多模态理解,AI能力持续跃升。模型愈强,对训练数据的要求也愈加严苛,尤其在数据标注环节,精度、复杂度和效率的门槛被不断抬高。在此背景下,标注员角色该如何进化?