Stella981 Stella981
3年前
Hadoop+Spark分布式集群环境搭建
  Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,而Spark是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境:  其中JDK、Hadoop、Spark都已经在两台电脑上安装好。  一台Ubuntu主机系统Master,IP地址假设为:192.168.1.101(i
Stella981 Stella981
3年前
KubeEdge在国家工业互联网大数据中心的架构设计与应用
摘要:在18年的时候,工信部开展了一个叫国家创新发展工程,这个工程中提出了要建立一个国家工业大数据中心,中国移动在其中承担了边缘协同与数据采集相关功能的研发。本文将从该项目背景下面临的问题与挑战、技术选型等方面进行阐述。一、问题与挑战需求从工厂采集生产、运行数据,汇总云端
Wesley13 Wesley13
3年前
Java架构师第十四步——Cookie机制,以及与Session的区别(读书笔记)
Cookie是什么Cookie意为“甜饼”,是由W3C组织提出,最早由Netscape社区发展的一种机制。目前Cookie已经成为标准,所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。由于HTTP是一种无状态的协议,服务器单从网络连接上无从知道客户身份。怎么办呢?就给客户端们颁发一个通行证
Stella981 Stella981
3年前
EasyGBS视频平台设备正常情况下为什么无法播放ws
近几年,国家公安机关一直在强推国标GB28181协议,也有很多厂家积极响应号召,因此很多项目团队也想依托于国标GB28181协议来进行视频平台的搭建。EasyGBS是能够接入国标GB28181协议摄像头的视频平台,能够实现web浏览器、手机浏览器、微信、PC客户端等各种终端无插件播放。!GBS产品架构3平面定.png(http://121.40.
sum墨 sum墨
8个月前
《花100块做个摸鱼小网站! 》第五篇—通过xxl-job定时获取热搜数据
我们已经成功实现了一个完整的热搜组件,从后端到前端,构建了这个小网站的核心功能。接下来,我们将不断完善其功能,使其更加美观和实用。今天的主题是如何定时获取热搜数据。如果热搜数据无法定时更新,小网站将失去其核心价值。之前,我采用了@Scheduled注解来实现定时任务,但这种方式灵活性不足,因此我决定用更灵活的XXLJob组件来替代它。
京东云开发者 京东云开发者
5个月前
「零售数据通道」数据炼金术:千亿级流量资产湖仓架构转型
作者:京东零售陈美航0前言在流量领域的转化分析、搜索推广算法及AI等数据分析应用场景中,流量资产的质量直接影响到业务的监测和运营。作为流量资产的基石,流量数仓在应对快速变化和多样化的业务需求时,如何在提高效率、优化用户体验和控制成本方面做到最佳?本文将方案
不限地点*在家上班*年薪20w起步——网站后端开发
网站后端(影视类、视频网站):岗位待遇描述:1、薪资1200018000(人民币),14薪;2、工作时间:弹性工作时间,每天9小时,单休;3、在家上班,不限制地点岗位职责:1、负责PC端及移动端产品的后端代码开发工作,撰写相关技术文档;2、根据系统中具体难点问题,有针对性的进行技术攻关;3、能根据需求设计整体技术架构方案,可扩展性强;4、按照项目计划,按时提
爱学it学无止境 爱学it学无止境
11个月前
PHP+Go 开发仿简书,实战高并发高可用微服务架构无密分享
PHP:动力之源,塑造互联网世界的基石在浩瀚无垠的互联网技术海洋中,PHP(HypertextPreprocessor,超文本预处理器)如同一股不可忽视的力量,自1995年诞生以来,便以其易学性、灵活性及强大的功能特性,迅速成为Web开发领域的中流砥柱。作
京东云开发者 京东云开发者
9个月前
架构师日记-从数据库发展历程到数据结构设计探析
一数据库发展史起初,数据的管理方式是文件系统,数据存储在文件中,数据管理和维护都由程序员完成。后来发展出树形结构和网状结构的数据库,但都存在着难以扩展和维护的问题。直到七十年代,关系数据库理论的提出,以表格形式组织数据,数据之间存在关联关系,具有了良好的结