还是关于爬爬爬...爬虫，送你很多个公网ip怎么样

背井 2021-03-03

2116

在之前的文章中，写了怎么利用已有服务器的公网ip来部署和使用代理池：把你的公网ip(或梯子)充分利用起来。现在说说怎么借用大厂的ip。

已知的事实：

1. 访问 https://httpbin.org/ip 可以得到自己所在网络的公网ip：

$ curl https://httpbin.org/ip
{
  "origin": "47.74.150.233"
}

2. Cloudflare Workers 提供了边缘计算服务，你可以写一段代码跑在上面，它自动给你提供CDN支持。这意味着，你的代码所在的网络环境是多地分散的，意味着它很大可能享有多个公网ip。

我们做个实验。新建一个 worker，它只做一件事：请求 https://httpbin.org/ip，看看返回的ip是什么。

worker的代码：

addEventListener('fetch', event => {
  event.respondWith(handleRequest(event.request))
})


async function handleRequest(request) {
  return fetch('https://httpbin.org/ip');
}

在本机访问worker：

$ for i in {1..10}
curl https://ip.ym.workers.dev/
{
  "origin": "172.69.134.236"
}
{
  "origin": "162.158.167.197"
}
{
  "origin": "172.69.134.72"
}
{
  "origin": "162.158.166.252"
}
{
  "origin": "162.158.166.158"
}
{
  "origin": "172.69.135.225"
}
{
  "origin": "162.158.167.9"
}
{
  "origin": "162.158.167.107"
}
{
  "origin": "162.158.166.242"
}

我们循环请求了10次worker服务，返回了10个不同的ip。

打开脑洞想像，如果我们在worker上部署一个代理应用，让爬虫的请求通过此代理，那我们可用的ip数量是不是立马就多起来了？

酷不酷？

Cloudflare Workers 产品页：https://www.cloudflare.com/zh-cn/products/cloudflare-workers

数据库

文章转载自背井，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

还是关于爬爬爬...爬虫，送你很多个公网ip怎么样

评论