中国Twitter网消息:在 X/Twitter 上,如果网站已经按照开发者规范要求在网页源代码里添加了标头等数据,则这个网站的任何地址发布到 X 上时,都会额外显示网站域名以及图片等数据。要实现此功能 X 的爬虫需要在用户发布内容时第一时间对目标链接进行抓取,如果抓取无法那就可以显示完整信息,并且后续变更后已经被抓取的数据也不会变更。
于是这就产生了一个安全问题:有诈骗者在 X 上冒充知名新闻网站福布斯发布加密货币相关的内容,吸引币圈用户加入他们的社群,然后操作一些垃圾币来收割。
诈骗者在服务器上进行了 HTTP 302 临时重定向,当检测到不同的 UserAgent 时,可以返回不同的临时重定向地址。
其中第一个测试截图是不使用任何浏览器 UA 的情况下,模拟 X 爬虫系统进行抓取 (实际上 X 有爬虫,叫做 TwitterBot,但没有其他 UA 信息,见结尾附注 1),此时诈骗网站没有检测到有效的浏览器 UA,于是返回了福布斯网站的一个链接。
第二个测试截图在附带浏览器 UA 的情况下,可以看到这个诈骗网站返回了他们的目标地址,那就是那个社群。
而用户正常点击链接那肯定是附带浏览器 UA 信息的,所以实际上点击都是返回社群地址,第一种情况仅仅只是用来迷惑 X 的爬虫。
值得注意的是,这种情况并不是现在才发生的,至少从去年 8 月开始已经有诈骗者使用这种方法进行钓鱼,不过至今 X 也没有解决这类问题。