转跳到内容

【纯闲聊】论矿工如何实现涩图自由(再送波红包吧)


推荐贴

3 小时前, 注水的矿工 说道:

如果能搞定代理这方面的问题,不妨pull一下分支(

非常感谢(

只保存十佳的话,应该是只爬一页,然后改限制条件,毕竟bs4煲出来的汤里就有rank-id这项(我没记错的话)

或者你试试在url后面加上“&format=json”这串字符,改请求json文件,也是一种思路

requests 用代理不是直接环境变量 (ALL|HTTP|HTTPS|SOCKS)_PROXY 就可以了吗…

说起来以前写爬虫用过一下 bs,没感觉比 lxml 好用就扔一边去了(

帖子链接
6 小时前, YoungJune 说道:

我试过了, @注水的矿工。在windows上,request不需要加proxy设置也行啊,一般那些上网工具不都有一个全局代理嘛,打开就行。使用代码时直接cmd,然后python __init__.py 就可以了。 不得不提,大佬get_rank函数得到的database写得真好:a11:

说来惭愧...那个database是我乱写的,数据根本没存盘,那个是留着将来存SQLite用的,结果嘛,就是没用上...:a11:

(将来会用上的,大概...)

帖子链接
18 小时前, testroyer 说道:

这个玩意批量下载会不会造成账号/ip被BAN?用ehviewer下载太猛就会ban

只要你不是一口气下超级多图,一般都不会出大事,我爬日榜最多爬300张,平时也就爬100张,所以丝毫不慌

反正具体封禁思路可以参考一下隔壁E绅士

帖子链接
3 小时前, 注水的矿工 说道:

说来惭愧...那个database是我乱写的,数据根本没存盘,那个是留着将来存SQLite用的,结果嘛,就是没用上...:a11:

(将来会用上的,大概...)

限定图片数量的问题就是用database解决的,因为你读取了rank这个量,直接取值,if rank > 10: break 问题解决

反正我已经开始用你的代码开始每日计划爬图了,舒服了:b2:

帖子链接
5 分钟前, 逝去王女 说道:

真亏你还记得w咱本来就很少去就是了w:wn002:

那你平时看图去哪个网站呢?我一两年前几乎每天都看一遍pixiv排名靠前的图片。

YoungJune和寒幼藏在半夜盗取清禾的传国玉玺时,无意中挖出了清禾祖传的3DS,卖出手后获得了奖励3节操

帖子链接
  • 2 周后...

不明觉厉……我一直用的是这个https://xuejianxianzun.github.io/PBDWiki/#/zh-cn/简介

于 2021/5/15 于 PM4点00分, testroyer 说道:

这个玩意批量下载会不会造成账号/ip被BAN?用ehviewer下载太猛就会ban

我平时10M/s左右地连续下几个小时基本是没问题的,顶多中间偶尔无响应个几分钟

的结果是上T的色图,身子受不住啊(闭眼

前由 冰铜刃岚 修改
帖子链接
×
×
  • 新建...

重要消息

为使您更好地使用该站点,请仔细阅读以下内容: 使用条款