Karen110 Karen110
4年前
总结了pandas提取数据的15种方法,统统只需1行代码,真香!
pandas是python数据分析必备工具,它有强大的数据清洗能力,往往能用非常少的代码实现较复杂的数据处理今天,鸟哥总结了pandas筛选数据的15个常用技巧,主要包括5个知识点:1.比较运算:、<、、、<、!2.范围运算:between(left,right)3.字符筛选:str.contains(pattern或字符串,naFalse)4.逻辑运算:&
Wesley13 Wesley13
4年前
Mysqlbinlog解析工具
  Mysql的binlog日志作用是用来记录mysql内部增删改查等对mysql数据库有更新的内容的记录(对数据库的改动),对数据库的查询select或show等不会被binlog日志记录;主要用于数据库的主从复制以及增量恢复。mysql的binlog日志必须打开logbin功能才能生存binlog日志\rwrw1mysqlmy
Stella981 Stella981
4年前
ADG(active dataguard)体系结构以及三种模式
ADG(activedataguard)是什么?DataGuard可以以只读的方式打开数据库,但此时MediaRecovery利用日志进行数据同步的过程就停止了,如果物理备用数据库处于恢复的过程中数据库就不能打开查询,也就是说日志应用和只读打开两个状态是互斥的(10g之前)。Oracle11g中推出的ActiveD
Stella981 Stella981
4年前
Lua 中避免低效解析 TCP 网络数据包体的一种方式(续)
上一篇(https://my.oschina.net/iirecord/blog/4497926)避免通过拼接字符串作为接收数据的缓冲区,解决办法是通过一个Lua模块来获取接收后的完整数据,若没有完整数据则读取socket,若还没有完整数据则sleep一小会儿,然后再尝试。了解过Lua或用过skynet可知,使用coroutine
Stella981 Stella981
4年前
ProtoBuf 的java使用
ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法,有如XML,不过它更小、更快、也更简单。你可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。参考http://blog.csdn.net/luyee2010/article/details/82
Wesley13 Wesley13
4年前
MySQL和Oracle的区别
本质区别:Oracle数据库是一个对象关系数据库管理系统(收费)MySQL是一个开源的关系数据库管理系统(免费)数据库的安全性:mysql使用三个参数来验证用户,即用户名,密码和位置Oracle使用了更多的安全功能,如用户名,密码,配置文件,本地身份验
1688图片搜索API接口(数据实时输出)
我们讨论的是1688图片搜索API接口的数据实时输出。首先,我们需要明确几个关键点:1.1688(阿里巴巴)是否提供了图片搜索的API?2.如果提供了,如何获取接口权限(需要申请APIkey等)?3.接口的调用方式(请求URL、参数、请求方法等)?4.如何
鲍旭 鲍旭
1年前
小白学大数据 小白学大数据
6个月前
Scrapy结合Selenium实现滚动翻页数据采集
引言在当今的互联网数据采集领域,许多网站采用动态加载技术(如AJAX、无限滚动)来优化用户体验。传统的基于Requests或Scrapy的爬虫难以直接获取动态渲染的数据,而Selenium可以模拟浏览器行为,实现滚动翻页和动态内容加载。本文将介绍如何结合S
数据堂 数据堂
3个月前
大模型时代,数据标注产业面临的挑战
近年,大模型技术加速演进,从通用对话、图文生成到多模态理解,AI能力持续跃升。模型愈强,对训练数据的要求也愈加严苛,尤其在数据标注环节,精度、复杂度和效率的门槛被不断抬高。在此背景下,标注员角色该如何进化?