Skip to content

owiofwm2i/91HappyPlanet

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

91HappyPlanet

an unlimit 91pxxn crawler visitors

运行环境

  • 支持所有unix-like系统(也就是不支持windows)
  • python3.5+ (becasue of async)

运行效果

  • 91全站无限制爬虫
  • 自动下载视频切片
  • 自动转换为mp4(with ffmpeg support)

安装运行

配置config.ini文件

  • 设置文件保存路径,比如 /root/91 最后不要带 “/” 符号
  • 如果机器安装好ffmpeg(如debian系可以为 sudo apt install ffmpeg, macbrew insatll ffmpeg etc),可以设置相应选项为True,

安装以来库

  • 安装依赖库pip install -r requirements.txt. 推荐使用虚拟环境

运行测试

  • 简单运行 python main.py

错误解决

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

下载 https://fake-useragent.herokuapp.com/browsers/0.1.11 并以后缀.json重命名 修改 libs/downloader.pylibs/asyncSpider.py

a=UserAgent(path="刚才重命名的json路径")

About

an unlimit 91pxxn crawler

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages