python 爬虫

通过网络获取远程对象

	urlopen 用来打开并读取一个从网络获取的远程对象。因为它是一个非常通用的函数（可以轻松读取 HTML 文件、图像文件或其他任何文件流）
#python 内置库
from urllib.request import urlopen

html =urlopen('http://pythonscraping.com/pages/page1.html')
print(html.read())

BeautifulSoup

    BeautifulSoup 尝试化平淡为神奇。它通过定位 HTML 标签来格式化和组织复杂的网页信息，用简单易用的 Python 对象为我们展现 XML 结构信息。
    
我们将使用 BeautifulSoup 4（也叫 BS4）。Crummy.com 中有 BeautifulSoup 4 的完整安装说明。

Linux 系统上的基本安装方法是：
$ sudo apt-get install python-bs4

对于 macOS 系统，首先用以下命令安装 Python 的包管理器 pip：
$ sudo easy_install pip

然后运行以下命令来安装库。
$ pip install beautifulsoup4  

#使用
from urllib.request import urlopen
from bs4 import BeautifulSoup
html=urlopen('http://www.pythonscraping.com/pages/page1.html')
# 'html.parser' 是 Python 3 中的一个解析器，不需要单独安装
# 'lxml' 解析“杂乱”或者包含错误语法的 HTML 代码的性能更优一些。它可以容忍并修正一些问题，例如未闭合的标签、未正确嵌套的标签，以及缺失的头（head）标签或正文（body）标签。lxml 也比 html.parser 更快. 但是需要单独安装 pip install lxml
# 'html5lib' html5lib 也是一个具有容错性的解析器，它甚至可以容忍语法更糟糕的 HTML。
bs = BeautifulSoup(html.read(), 'html.parser')
print(bs.h1)


    BeautifulSoup 库的强大与简单。其实，任何 HTML（或 XML）文件的任意节点信息都可以被提取出来，只要目标信息的旁边或附近有标签就行
    
#应为class在python中为关键字，后缀下划线区别
title = bs.find_all(id='title', class_='text', 	)  
#标签Tag对象
bs.div.h1

#BeautifulSoup 常用方法  
1、find 类似于 document.querySelector
	find(tag, attributes, recursive, text, keywords)
    
2、find_all 类似于 document.querySelectorAll
	# 标签、属性、递归、文本、限制、关键词
    find_all(tag, attributes, recursive, text, limit, keywords)
    #eg 大部分只需要前面两个参数
    .find_all('span',{'class':'green'})
    
3、get_text() 获取到tag中包含的所有文本内容，包括子孙标签中的内容,并将结果作为Unicode字符串返回
	
4、

BeautifulSoup中文文档

用虚拟环境保存库文件

    如果你同时负责多个 Python 项目，或者想要轻松打包某个项目及其关联的库文件，再或者你担心已安装的库之间可能有冲突，那么你可以安装一个 Python 虚拟环境来分而治之。
    
1、创建虚拟环境
virtualenv scrapingEnv

2、激活使用
 cd scrapingEnv/
 source bin/activate

3、在虚拟环境scrapingEnv下安装库,并使用
(scrapingEnv)ryan$ pip install beautifulsoup4
(scrapingEnv)ryan$ python
> from bs4 import BeautifulSoup
>

4、当不再使用虚拟环境中的库时，可以通过 deactivate 命令来退出环境：

(scrapingEnv)ryan$ deactivate
ryan$ python
> from bs4 import BeautifulSoup
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named 'bs4'

• 本文作者： 王不留行
• 本文链接： https://wyf195075595.github.io/2022/06/17/programming/python/爬虫/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！