万万没想到，我的“五一”特价机票是从爬虫手里买的

4 月 26 日，周五，宜出行，忌上班。

有些人的“五一”假期来得比法定放假早，比如编辑。。。隔壁的媒体同行，他居然告诉我，自己已经无心上班，思想比身体先一步开启了假期模式。

然后他掏出手机，炫耀了一把抢到的特价机票。

噢，你要说到特价机票，那就是戳到我的业务点了，让网络安全科普作者小李分析一下特价机票可能是怎么来的吧！

一个很大的可能性是，你是从爬虫二道贩子手里买的！

爬虫占座

国务院办公厅发布“关于调整2019年五一劳动节假期”的通知几十分钟后，各个航空公司的 B2C 网站和旅游网站的机票查询量暴增，其中国际航班增长了 10 倍。在暴增的机票查询数据背后，有普大喜奔的人民群众，更有非法代理人操控的恶意“爬虫”。

为了搞清楚这个恶意爬虫是怎么爬取特价机票信息，再化身二道贩子牟利，编辑特意请教了有反爬虫实战经验的顶象公司，据说，最近他们协助警察蜀黍端掉了一起爬虫案，这个涉案的

他们是怎么开启神（违法）操作的？

部分代理人利用“爬虫”爬取下票务信息后，再利用虚假的身份信息预订机票，但不付款。然后，在航空公司允许的订票账期内，他们把这些机票转售给真正需要购票的用户。

在转售之前，这就导致部分机票并未售出，但是用户在航空公司查看时却显示已售罄，该行为称之为“虚假占座”。

恶意爬虫“长什么样”

怎么判断“占座”的不是普通用户而是爬虫党呢？

恶意“爬虫”有这么几个特征：

1、

2、查询订票等行为很有规律：由于“爬虫”是程序化操作，按照预先设定的流程进行访问等，因此呈现出毫无思维、但很有规律、有节奏且持续的行为。

3、同一设备上有规模化的访问和操作：“爬虫”的目的是最短时间内抓取最多信息，因此同一设备会有大量离散的行为，包括访问、浏览、查询等。

4、访问来源IP地址异常：正常情况下用户在查询、购买时，用户的 IP 地址比较稳定，如果是“爬虫”“虚假占座”，IP 来源地址呈现不同维度上的聚集，而浏览、查询、购票等操作时不停变化 IP 地址。

5、设置UA模拟浏览器和频繁使用代理 IP ：很多“爬虫”程序伪装成浏览器进行访问，比如在程序头或者UA中默认含有类似python- requests/2.18.4等固定字符串；并且通过购买或者租用的云服务、改造路由器、租用IP代理、频繁变更代理 IP 等进行访问。

6、操作多集中非业务时间段：“爬虫”程序运行时间多集中在无人值守阶段。此时系统监控会放松，而且平台的带宽等资源占用少，爬虫密集的批量爬取不会对带宽、接口造成影响。以下是顶象反欺诈中心监测到，凌晨1-5点是恶意“爬虫”的运行高峰时段。

谁的利益受损

“虚假占座”看上去只是让薅羊毛的正常用户买不上机票而已，对航空公司有什么影响吗？（卖给谁不是卖？）

当然有！

大家想一想，首先，恶意“爬虫”的虚假身份信息是从哪里来的，这里是不是有用户信息的泄漏？

第二，这种虚假占座浪费了航空公司带宽资源，白白消耗航空查询费用，扰乱了航空公司的正常运营。

第三，更关键的是，由此带来订票量的波动导致航空公司收益管理系统算法产生误判，给出不符合实际情况的运价调整，损伤了用户权益以及平台的口碑。

也就是说，从爬虫二道贩子手里买到特价机票一时爽，长期下来还是普通用户买了单。

你购买的“五一”机票 可能是“二手”转售》。