本篇目录：
python爬虫用的哪些库
urllib-网络库(stdlib) 。requests-网络库。grab-网络库(基于py curl) 。py curl-网络库(绑定libcurl) 。urllib 3-Python HTTP库， 安全连接池、支持文件post 、可用性高。httplib 2-网络库。
Python中有很多优秀的爬虫框架，常用的有以下几种： Scrapy：Scrapy是一个功能强大的开源爬虫框架，它提供了完整的爬虫流程控制和数据处理功能，支持异步和分布式爬取，适用于大规模的数据采集任务。
Python下的爬虫库，一般分为3类。抓取类 urllib(Python3)，这是Python自带的库，可以模拟浏览器的请求，获得Response用来解析，其中提供了丰富的请求手段，支持Cookies、Headers等各类参数，众多爬虫库基本上都是基于它构建的。
Requests.Kenneth Reitz写的最富盛名的http库，每个Python程序员都应该有它。Scrapy.如果你从事爬虫相关的工作，那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。
如何用python解决网络爬虫问题?
（1）、大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。
自学Python网络爬虫可能会遇到以下三个问题： 网站的反爬虫机制：一些网站为了防止被爬虫抓取数据，会设置反爬虫机制，如验证码、登录限制、IP封锁等。解决这个问题可以使用代理IP、验证码识别等技术来绕过反爬虫机制。
）首先你要明白爬虫怎样工作。想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。
QPython,一个在手机上运行Python的神器
1、Qpython是一个Python引擎，只能运行在安卓系统上，相比Termux，它可以全图形界面操作，非常友好。内置了一个Python编辑器，可以直接在手机上写Python代码，支持缩进，语法高亮等特性。
2、可以用QPython app在手机运行python程序。QPython 是一个可以在安卓设备上运行python程序的脚本引擎。可以在应用商店下载安装，然后可以在手机上运行Python终端和Python脚本，十分方便。
3、Qpython是一个在安卓上面可以去下载安装的手机app，在应用市场或者是浏览器里面搜索一下就有很多的安装包可以去下载，但是在安装的时候需要注意的一点就是Qpython现在只能够在安卓设备上使用。
4、QPython3，集成了Python3解释器，既可以命令行运行Python，还可以编辑源文件后运行，支持代码高亮、语法检查等功能。
5、首先我们可以在手机上安装qpython3。02 接着我们可以直接选择“终端”。03 在这里面我们可以直接一行一行输入执行代码。04 我们也可以选择进入“编辑器”。05 直接输入我们的python脚本代码。
6、方法/步骤 首先我们可以在手机上安装qpython3。请点击输入图片描述 接着我们可以直接选择“终端”。请点击输入图片描述 在这里面我们可以直接一行一行输入执行代码。请点击输入图片描述 我们也可以选择进入“编辑器”。
到此，以上就是小编对于python3爬虫的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
