「从零开始Python爬虫」1.8.1 Pyspider的安装
ztj100 2025-04-07 21:27 8 浏览 0 评论
pyspider是国人binux编写的强大的网络爬虫框架，它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时支持多种数据库后端、多种消息队列，另外还支持JavaScript渲染页面的爬取，使用起来非常方便，本节介绍一下它的安装过程。
相关链接
※官方文档：http://docs.pyspider.org/
※PyPI：https://pypi.python.org/pypi/pyspider
※GitHub：https://github.com/binux/pyspider
※官方教程：
http://docs.pyspider.org/en/latest/tutorial
※在线实例：http://demo.pyspider.org
准备工作
pyspider是支持JavaScript渲染的，而这个过程是依赖于PhantomJS的，所以还需要安装PhantomJS。
pip安装
这里推荐使用pip安装，命令如下：
pip install pyspider命令执行完毕即可完成安装。
常见错误
Windows下可能会出现这样的错误提示：
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl这是PyCurl安装错误，此时需要安装PyCurl库。从
http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本，然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6，则需要下载pycurl-7.43.0-cp36-cp36m-win_amd64.whl，随后用pip安装即可，命令如下：
pip3 install pycurl-7.43.0-cp36-cp36m-win_amd64.whl如果在Linux下遇到PyCurl的错误，可以参考本文：
https://imlonghao.com/19.html。
验证安装
安装完成之后，可以直接在命令行下启动pyspider：
pyspider all此时控制台会有类似如下图所示的输出。
这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/，即可进入pyspider的WebUI管理页面，如下图所示，这证明pyspider已经安装成功了。
后面，我们会详细介绍pyspider的用法。
相关推荐
- Vue 技术栈(全家桶)（vue technology）
-
Vue技术栈(全家桶)尚硅谷前端研究院第1章：Vue核心Vue简介官网英文官网:https://vuejs.org/中文官网:https://cn.vuejs.org/...
- vue 基础- nextTick 的使用场景（vue的nexttick这个方法有什么用）
-
前言《vue基础》系列是再次回炉vue记的笔记，除了官网那部分知识点外，还会加入自己的一些理解。（里面会有部分和官网相同的文案，有经验的同学择感兴趣的阅读）在开发时，是不是遇到过这样的场景，响应...
- vue3 组件初始化流程（vue组件初始化顺序）
-
学习完成响应式系统后，咋们来看看vue3组件的初始化流程既然是看vue组件的初始化流程，咋们先来创建基本的代码，跑跑流程（在app.vue中写入以下内容，来跑流程）...
- vue3优雅的设置element-plus的table自动滚动到底部
-
场景我是需要在table最后添加一行数据，然后把滚动条滚动到最后。查网上的解决方案都是读取html结构，暴力的去获取，虽能解决问题，但是不喜欢这种打补丁的解决方案，我想着官方应该有相关的定义，于是就去...
- Vue3为什么推荐使用ref而不是reactive
-
为什么推荐使用ref而不是reactivereactive本身具有很大局限性导致使用过程需要额外注意,如果忽视这些问题将对开发造成不小的麻烦;ref更像是vue2时代optionapi的data的替...
- 9、echarts 在 vue 中怎么引用?(必会)
-
首先我们初始化一个vue项目，执行vueinitwebpackechart,接着我们进入初始化的项目下。安装echarts，npminstallecharts-S//或...
- 无所不能，将 Vue 渲染到嵌入式液晶屏
-
该文章转载自公众号@前端时刻，https://mp.weixin.qq.com/s/WDHW36zhfNFVFVv4jO2vrA前言...
- vue-element-admin 增删改查(五)（vue-element-admin怎么用）
-
此篇幅比较长，涉及到的小知识点也比较多，一定要耐心看完，记住学东西没有耐心可不行！！！一、添加和修改注：添加和编辑用到了同一个组件，也就是此篇文章你能学会如何封装组件及引用组件；第二能学会async和...
- 最全的 Vue 面试题+详解答案（vue面试题知识点大全）
-
前言本文整理了...
- 基于 vue3.0 桌面端朋友圈/登录验证+60s倒计时
-
今天给大家分享的是Vue3聊天实例中的朋友圈的实现及登录验证和倒计时操作。先上效果图这个是最新开发的vue3.x网页端聊天项目中的朋友圈模块。用到了ElementPlus...
- 不来看看这些 VUE 的生命周期钩子函数?| 原力计划
-
作者|huangfuyk责编|王晓曼出品|CSDN博客VUE的生命周期钩子函数：就是指在一个组件从创建到销毁的过程自动执行的函数，包含组件的变化。可以分为：创建、挂载、更新、销毁四个模块...
- Vue3.5正式上线，父传子props用法更丝滑简洁
-
前言Vue3.5在2024-09-03正式上线，目前在Vue官网显最新版本已经是Vue3.5，其中主要包含了几个小改动，我留意到日常最常用的改动就是props了，肯定是用Vue3的人必用的，所以针对性...
- Vue 3 生命周期完整指南（vue生命周期及使用）
-
Vue2和Vue3中的生命周期钩子的工作方式非常相似，我们仍然可以访问相同的钩子，也希望将它们能用于相同的场景。...
- 救命!这 10 个 Vue3 技巧藏太深了!性能翻倍 + 摸鱼神器全揭秘
-
前端打工人集合！是不是经常遇到这些崩溃瞬间：Vue3项目越写越卡，组件通信像走迷宫，复杂逻辑写得脑壳疼？别慌！作为在一线摸爬滚打多年的老前端，今天直接甩出10个超实用的Vue3实战技巧，手把...
- 怎么在 vue 中使用 form 清除校验状态?
-
在Vue中使用表单验证时，经常需要清除表单的校验状态。下面我将介绍一些方法来清除表单的校验状态。1.使用this.$refs...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Vue 技术栈(全家桶)（vue technology）
- vue 基础- nextTick 的使用场景（vue的nexttick这个方法有什么用）
- vue3 组件初始化流程（vue组件初始化顺序）
- vue3优雅的设置element-plus的table自动滚动到底部
- Vue3为什么推荐使用ref而不是reactive
- 9、echarts 在 vue 中怎么引用?(必会)
- 无所不能，将 Vue 渲染到嵌入式液晶屏
- vue-element-admin 增删改查(五)（vue-element-admin怎么用）
- 最全的 Vue 面试题+详解答案（vue面试题知识点大全）
- 基于 vue3.0 桌面端朋友圈/登录验证+60s倒计时
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- node卸载 (33)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- exceptionininitializererror (33)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)