requests SSLCertVerificationError

今天运行精品美女吧爬虫的时候出错了。提示证书错误。
Traceback (most recent call last):
  File "requests\adapters.py", line 439, in send
  File "urllib3\connectionpool.py", line 785, in urlopen
  File "urllib3\util\retry.py", line 592, in increment
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='www.jpmn8.cc', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1124)')))

Continue Reading

美女图片整理工具 V1.0

 

不知道有没有和姐姐我一样把所有美女的图片都下载下来的,如果没有下载的话可以通过博客的搜索功能搜索爬虫去下载妹子图片了哦。通过爬取的乱七八糟的各种网站,目前粗略的估计所有下载的图片大约有1T左右了。由于各个网站都是分别的下载的,所有下载后的图片会有很多重复的。想找一个图片处理工具,找了半天有个什么推荐的eagle的工具,还是收费的,可以免费试用一个月。结果我把下载的图片目录加进去直接卡死了。啊哈哈。这就离谱,所以如果没有图片处理需求的还是推荐picasa3,我也有发布一个补丁工具,真的是一代神器。

既然没有现成的工具,那就写一个吧,具体的要求:

1.能够把所有文件复制到同一个目录下(这不是废话嘛,就是为了干这个的啊)
2.能够过滤10k以下的非图片文件(多数是由于被爬取网站不稳定导致的下载失败,其实不是图片文件)
3.对于不同网站下载的同一个图片不要重复复制(通过计算文件md5的方法进行规避)
4.能够记录整理日志(当然啊,不然那么多文件中间关机了,岂不是得全部再来一遍)
主要就是上面的几个要求啦~~~

Continue Reading

Python3 读取Chrome cookie

网上搜一下,读取cookie的基本都是这份代码。我也忘了是从那里抄来的了,这里贴一下 ,对于最新的chrome需要修改下路径:

# chrome 96 版本以下
# filename = os.path.join(os.environ['USERPROFILE'], r'AppData\Local\Google\Chrome\User Data\default\Cookies')
# chrome96 版本以上
# filename = os.path.join(os.environ['USERPROFILE'], r'AppData\Local\Google\Chrome\User Data\default\Network\Cookies')

Continue Reading

秀人集爬虫 【21.9.21】【Windows】

xiurenji.exe 可执行文件名称
帮助:
-h 显示帮助说明
必选参数:
-a 整站爬取
-q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取
可选参数:
-p 指定下载目录,默认下载路径为当前exe所在目录下的images文件夹
-s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/

更新日志:

增加-s 参数支持:
-s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/
Continue Reading

PyTorch GPU 与虚拟内存

接引前文《Windows 10 yolov5 GPU环境》,配置完成之后,一度因为虚拟内存没什么太大用处。原有设置的虚拟内存c盘(系统盘)为4096-8192。在我将虚拟内存改成1024-2048之后,然后tm报错了。就是上面的的这个错误:RuntimeError: Unable to find a valid cuDNN algorithm to run convolution。但是实际上,错误和cuda没有直接关系,目前我还不太清楚为什么虚拟内存直接关系到了cuda的运行环境,或者说pytorch的运行环境。网上搜了一下也没找到相关的资料,主要应该是我的理解太浅显。 

Continue Reading