方案描述
在巨大的商业利益驱动下，爬虫现象在各行各业都很常见，例如高科技与金融、旅游与酒店、数字媒体、电子商务、社交媒体等等，其中电商领域的爬虫现象明显高于其他行业。
良性爬虫，例如搜索引擎，可以促进信息的流通与检索，有助于提高企业的网络知名度和收益；中性爬虫包括很多公司提供“爬虫即服务”的爬虫，例如Web机器人，它们旨在帮助用户收集和汇总信息，进行市场调研，分析竞品以及其他非恶意活动，但这类工具可能会被不当使用和滥用；有害爬虫也被称为“坏爬虫”，可能会进行碰撞、数据库攻击、库存爬取等恶意行为，不仅威胁用户的账号安全，还会严重损害企业的利益和安全。
凭证填充攻击：利用从暗网等非法渠道获取的大量用户名和密码，使用自动化程序尝试登录其他网站，以寻找可重复使用的凭证。一旦用户账户被非法入侵，公司的声誉和资产可能会受到影响。
“抢货机器人”：它们紧盯新品或者限量产品，一旦发现，就迅速买断，然后在自家平台上高价销售。这不仅扰乱了市场秩序，严重损害了企业的合法权益和利润，也对电商生态构成了潜在威胁。
那么，在实际应用中，不法分子是如何利用爬虫技术在电商领域牟利的呢？钛媒体App了解到，爬虫采用“全网最低价”策略，首先广泛收集各类销售网站的数据，包括产品价格、库存等关键信息；通过对比分析，找到价格最优、折扣最大的电商平台。根据这些信息，转而在另一平台开设自己的店铺，销售几乎全新或全新未开封的产品。他们甚至可能利用脚本抢占库存，买入促销品，然后转卖牟利，对电商生态构成潜在威胁。
值得注意的是，随着技术的进步，融入AI、机器学习技术的爬虫服务也日趋智能化，能够自动从多个数据源爬取内容，并通过预设逻辑进行数据提取和分析。这种一站式解决方案无疑是一把双刃剑。尤其对于电商网站主来说，爬虫技术已经进化，其隐蔽性也越来越强，尤其是采用“无头浏览器”等技术的爬虫，已经可以模拟人类的访问行为，传统安全手段很难对其有效识别和拦截。此外，不断增加的爬虫数量也会不断变化，经过一次防御，下一次就可能出现另一种变种，这对企业提出了巨大的挑战。
解决方案
点击此处报名参与创新场景50评选
北亚区技术总监刘晔告诉钛媒体App，面对日益复杂的网络爬虫，公司的应对策略应该是分而治之，保证好的爬虫能够正常访问，而对付坏的爬虫。这就要求，首先要能够识别爬虫，然后针对不同类型的爬虫采取相应的对策。
识别的核心是如何分析行为，利用数据库查看特征。具体有两种方法：第一种方法是通过观察足够多的请求，建立大数据库，记录并分析请求的特征，如果是来自恶意爬虫，需要识别其来源和特征。第二种方法是判断数据库外的请求是来自人还是爬虫，需要分析其行为，判断是否会对公司敏感信息造成影响或者对电商网站造成不良影响。
接下来就是考虑对识别出来的不良爬虫采取什么应对措施。刘晔说：“通常我们提到的应对措施是针对其他产品，比如应用防火墙（WAF），其主要方式是‘报警’和‘拦截’。但对付爬虫，通常不是简单的拦截、封禁，而是要进行管理。一旦识别出爬虫，即使是恶意爬虫也要区别对待。”
处理爬虫有很多不同的选择。比如，你可以选择不屏蔽它，但不对它做出响应，让它以为连接还在继续；或者你可以给它虚假的信息，比如在它抓取价格时返回一个虚假的值，给它一个虚假的价格；当然，你也可以选择直接封禁它。以上措施一般会根据实际情况动态调整。
具体来说，其提出了双重应对策略，一是在边缘网络层面，利用预定义的访问异常特征和协议指纹，快速识别和限制恶意爬虫；二是通过深入分析访问行为（如鼠标移动轨迹、键盘打字模式）和设备指纹，结合机器学习模型，进一步细化识别准确率，确保对潜在威胁进行精准打击。
同时，面对AI驱动的爬虫的不断变化，企业和安全厂商也应该采取更加自动化的策略，当新的攻击类型出现时，不需要人工干预，策略引擎可以自动部署新的策略并阻断这些新的攻击，这是应对快速变化的攻击类型和产品演进的重要举措。
结果
对于电商场景下可能遇到的爬虫问题，包含了三个具体的例子，分别是爬虫识别、被动成本、“数据库碰撞”威胁。
第一个例子是电商网站高危爬虫的识别与管理。经过一周的监控，确定了客户电商网站的人为访问类型、高危爬虫、中危爬虫、良性爬虫，并识别出高级脚本的使用情况。恶意爬虫占比高达 97%。经过爬虫管理后，这一比例下降到 1/3 以下，有效封禁了大部分高危爬虫。
案例二是爬虫带来的被动成本威胁，当企业短信接口被爬虫触发后，频繁发送短信造成成本损失，爬虫管理平台可以识别并处理此类爬虫，从而减少成本损失。
「关于创新场景50」
场景不是案例，更加精准、抽象，数字化是创新场景的不断叠加、迭代。
在此背景下，钛媒体特别推出“创新场景50”评选，每年甄选解读50个与全产业与商业深度融合的创新场景与解决方案，并在钛媒体年度数字价值大会上隆重颁奖，进行深度沟通。
