酒店详情页的房价数据,怎么获取?

小白学大数据
• 阅读 373

携程酒店详情页,指定入住日期的房价数据,怎么获取? 疫情放开后很多行业开始了复苏,之前公司因为疫情暂停的项目现在又开始慢慢的启动了。最近小姐分到了一个爬取携程上一些酒店的数据需求,需要获取到酒店详情页,指定入住日期的房价数。但是据携程有反爬虫措施的,详情页的房价数据,似乎必须登录才能获取。但登录后账号频繁查房价的行为肯定会被携程记录下来,严重的话账号会被携程拉小黑屋,账号查不到房价,要过几天才会解封。例如下图这样 酒店详情页的房价数据,怎么获取? 仔细的分析了下网站主要是对IP的需求比较严,这里直接在爬虫程序里面加了高质量的代理IP,然后继续爬取,效果还是蛮理想的。但是说到代理IP之前真的找了很多,也测试了很多家,不是延迟很高,就是速度很慢,有些超时特别严重,最后在几家比较好的代理里选择了性价比,服务最好的某牛云代理。以下就是加上他们家代理爬取成功的代码示例,分享给大家参考下:


    import requests
    import random

    # 要访问的目标页面
    targetUrl = "

https://hotels.ctrip.com/hotels/detail/?hotelId=373052&checkIn"

    # 要访问的目标HTTPS页面
    # targetUrl = "

https://hotels.ctrip.com/hotels/detail/?hotelId=373052&checkIn"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text
点赞
收藏
评论区
推荐文章
Karen110 Karen110
3年前
一篇文章带你了解JavaScript日期
日期对象允许您使用日期(年、月、日、小时、分钟、秒和毫秒)。一、JavaScript的日期格式一个JavaScript日期可以写为一个字符串:ThuFeb02201909:59:51GMT0800(中国标准时间)或者是一个数字:1486000791164写数字的日期,指定的毫秒数自1970年1月1日00:00:00到现在。1\.显示日期使用
编程范儿 编程范儿
3年前
Vue刷新页面有哪几种方式
在Vue项目中,刷新当前页除了window.reload(),你还能想到什么办法?而且这种办法会重新加载资源出现短暂的空白页面。体验不是很好。在某个详情页面的时候,我们经常需要通过路由中的详情id去获取内容,当我们在不同的详情页来回切换的时候,打开的页面是同一个,只是需要通过监听路由中的参数id的变化去重新请求详情接口。如果这个详情页只需要一个接口
皕杰报表(关于日期时间时分秒显示不出来)
在使用皕杰报表设计器时,数据据里面是日期型,但当你web预览时候,发现有日期时间类型的数据时分秒显示不出来,只有年月日能显示出来,时分秒显示为0:00:00。1.可以使用tochar解决,数据集用selecttochar(flowdate,"yyyyMMddHH:mm:ss")fromtablename2.也可以把数据库日期类型date改成timestamp
Wesley13 Wesley13
3年前
go并发基础数据加锁解锁
packagemain//go携程共享数据//加锁解锁操作//同步锁import("sync""fmt")funccomputed(dataint,locksync.Mutex){lock.Lock()//加锁霸占
Stella981 Stella981
3年前
HIVE 时间操作函数
日期函数UNIX时间戳转日期函数: from\_unixtime语法:   from\_unixtime(bigint unixtime\, string format\)返回值: string说明: 转化UNIX时间戳(从19700101 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive   selec
Wesley13 Wesley13
3年前
Java架构师,大数据架构师,高并发设计模式,机器学习课程大全百度云分享
以下所有课程现在只需100元,需要的联系Q(2929608935)第一章:java精品课程目录大全1、亿级流量电商详情页系统的大型高并发与高可用缓存架构实战       1课程介绍以及高并发高可用复杂系统中的缓存架构有哪些东西?32分钟      2基于大型电商网站中的商品详情页系统
Stella981 Stella981
3年前
DevSecOps在携程的最佳实践
作者简介 Living,携程高级基础安全工程师,关注应用安全、渗透测试方面的技术。一、DevSecOps面临的挑战作为业务覆盖机票、酒店、度假、汽车票、火车票、支付等各个方面,为全球用户提供服务的在线旅游网站,携程每周都会有数以万计的应用发布次数,如何保证每一次发布代码的安全性成为了DevSecOps实
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
VR全景展示应用到酒店行业有什么优点?华锐互动
1、面向消费者,提高酒店入住目前酒店的网络推广通常是通过行业网站进行(如美团、携程、艺龙、去哪儿、飞猪......),省去实地考察环节,省时省力省心,对商家来将节约广告宣传成本。2、VR全景展示多方位真实场景线上推广对酒店的营销起到越来越重要的作用,而VR全景展示能够让用户身临其境一般,让用户消费的更放心,同时也具有很好的广告宣传效果,是线上推广展示的有力工
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
小白学大数据
小白学大数据
Lv1
男 · 亿牛云 · python技术
宁为代码类弯腰,不为bug点提交!
文章
85
粉丝
5
获赞
18