手把手教你用pandas处理缺失值
导读：在进行数据分析和建模的过程中，大量的时间花在数据准备上：加载、清理、转换和重新排列。本文将讨论用于缺失值处理的工具。缺失数据会在很多数据分析应用中出现。pandas的目标之一就是尽可能无痛地处理缺失值。作者：韦斯·麦金尼（WesMcKinney）译者：徐敬一来源：大数据DT（ID：hzdashuju）pandas对象的所有描述
Python办公自动化｜批量提取Excel数据
大家好，又到了Python办公自动化系列。今天我们来讲解一个比较简单的案例，使用openpyxl从Excel中提取指定的数据并生成新的文件，之后进一步批量自动化实现这个功能，通过本例可以学到的知识点:openpyxl模块的运用glob模块建立批处理数据源：阿里云天池的电商婴儿数据（可自行搜索并下载，如果要完成进阶难度可直接将该
NetCore的缓存使用详例
关于我缓存基础知识缓存可以减少生成内容所需的工作，从而显著提高应用程序的性能和可伸缩性。缓存最适用于不经常更改的数据，生成成本很高。通过缓存，可以比从数据源返回的数据的副本速度快得多。应该对应用进行编写和测试，使其永不依赖于缓存的数据。ASP.NETCore支持多个不同的缓存。最简单的缓存基于IMemoryCac
Raid5和Raid6读写速度一点实例对比（非严谨）
以前一直纠结，存储文件系统底层究竟用raid5做到读写和安全的兼顾，还是选择raid6以安全为主导牺牲性能呢？今日就给大家一点参考！数据源主机A型号：群晖1817，硬盘8个硬盘类型：sata10T存储冗余类型：raid5数据同步主机B型号：群晖18015，硬盘12个硬盘类型：sas16T存储冗余类型：raid6同步软件
Cube的构建过程
Cube的构建方式有两种：全量构建和增量构建。两者的构建过程完全一样，区别在于构建时读取的数据源是全集还是子集。Cube的构建步骤：1.创建临时的Hive平表（从Hive读取数据）。2.计算各维度的不同值，并收集各Cuboid的统计数据。3.创建并保存字典。4.保存Cuboid统计信息。5.创建HTable。6.计算
Python标准库笔记(8) — pprint模块
struct模块提供了用于在字节字符串和Python原生数据类型之间转换函数，比如数字和字符串。 该模块作用是完成Python数值和C语言结构体的Python字符串形式间的转换。这可以用于处理存储在文件中或从网络连接中存储的二进制数据，以及其他数据源。1\.模块函数和Struct类 它除了提供一个Struct类之外，还
数据仓库万千企业的数智之选
目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。其实本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用。数据仓库的类型根据数据
35道面向初中级前端的基础面试题
如需获取完整版229页PDF面试题，请直接滑到文末。1\.什么是同源策略？同源策略可防止JavaScript发起跨域请求。源被定义为协议、主机名和端口号的组合。此策略可防止页面上的恶意脚本通过该页面的文档对象模型，访问另一个网页上的敏感数据。参考资料：浏览器的同源策略(https://www.oschina.
MySQL日志安全分析技巧
常见的数据库攻击包括弱口令、SQL注入、提升权限、窃取备份等。对数据库日志进行分析，可以发现攻击行为，进一步还原攻击场景及追溯攻击源。0x01Mysql日志分析generalquerylog能记录成功连接和每次执行的查询，我们可以将它用作安全布防的一部分，为故障分析或黑客事件后的调查提供依据。1、查看log配置信息