使用tumblr-crawler爬虫

使用tumblr-crawler爬虫

tumblr-crawler爬虫github项目地址:https://github.com/dixudx/tumblr-crawler

1、安装可能使用的依赖

yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
yum -y install readline-devel

2、安装tumblr-crawler

git clone https://github.com/dixudx/tumblr-crawler.git
cd tumblr-crawler
pip install -r requirements.txt

3、使用tumblr-crawler下载图片和视频
1、在sites.txt中添加tumblr站,用逗号分开,但不需要.tumblr.com后缀。如rat.tumblr.comrats.tumblr.com

rat,rats

保存后,运行

python tumblr-photo-video-ripper.py

2、直接下载

python tumblr-photo-video-ripper.py rat,rats

最后将所有图片和视频均保存在当前路径的与tumblr博客名字相同的文件夹

为您推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注