Just Do IT !

使用etree与xpath爬取Discuz论坛

Python
字数统计: 88阅读时长: 1 min
2019/11/28 Share

引入模块

在pycharm中下载lxml库
通过from lxml import etree引入模块

测试

1
2
3
4
5
6
7
8
import requests
from lxml import etree
url = "https://www.discuz.net/forum-developer-1.html"
text = requests.get(url).text
html = etree.HTML(text)
context = etree.tostring(html).decode()
print(html.xpath('//div[@id="threadlist"]/div[2]/form/table/*'))
print(html.xpath('//*[@id="threadlisttableid"]/*'))

在这里插入图片描述
在这里插入图片描述
这里是通过xpath语法将论坛的所有tbody便签

1
print(html.xpath('//tbody/tr/th/a[@class="s xst"]/text()'))

在这里插入图片描述

原文作者：浩翰

原文链接：https://plutoacharon.github.io/2019/11/28/使用etree与xpath爬取Discuz论坛/

发表日期：November 28th 2019, 5:38:36 pm

更新日期：November 28th 2019, 5:39:13 pm

版权声明：本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可

CATALOG
  1. 1. 引入模块
  2. 2. 测试
Total : 190
2020
2019
CTF Liunx 高可用负载均衡 Java Hadoop Docker Esxi Dokcer Flume GitHub Kafka Golang Golang日志收集系统 Hbase Hive Git Kali Kubernetes Shell Python算法 Spark Sqoop Vmware 机器学习 Zookeeper PHP Hexo 安全 Python PySpark Maven 网络 数据采集 CDN AWD ZooKeeper
CTF Liunx Hadoop Docker GitHub Golang Golang日志收集系统 高可用负载均衡 Hive Java Kubernetes 其他 Python算法 Spark Vmware 机器学习 博客 Python 网络 CDN