新浪页游助手辅助-HtmlParse：一个超轻量级的HTML文件解析和抓取工具

时间：2023-03-01 16:22:49 编辑：佚名

新浪页游助手辅助

是一款基于平台的HTML文档解析工具，可以快速构建DOM树，轻松抓取网页元素。 DOM树是HTML文档的节点树，每个节点由三个值描述：标签（Tag）、属性（）、文本（Text）。

所谓HTML文档解析，就是指如何构建DOM树。只有DOM树构建成功，才能进行后续的数据爬取和分析。显然，构建DOM树是一个比较复杂的过程，因为并不是每一个HTML文档都会严格按照规范编写，所以解析过程需要有一定的容错性。另外，解析效率也是一个需要考虑的因素，也就是说，通过一次文档扫描构建DOM树比多次扫描构建DOM树更好。

这是介绍。

工具特点

1、绿色纯天然，无任何第三方依赖库，文件大小小于150K； 2、解析速度快，具有一定的HTML语法容错能力，可以快速将HMTL文档解析成DOM树； 3、基于命令行参数，通过不同的参数获取指定TAG的属性值和文本内容，从而实现网页爬取功能； 4、爬取的数据可以json格式输出，方便第三方程序进一步分析使用； 5.脚本可以爬取到指定的js文件中；

下载链接：

指示

HtmlParse HtmlPathFile -tag TagName [-attr] [Attribute] [-o] [JsonPathFile]

解析指定的HTML文档，将文档中指定的标签和属性输出到指定的文件中。

: 必填参数，待解析的HTML文档的路径名，如果文件路径中有空格，可以使用双引号将文件路径包含在内；

-tag：必填参数新浪页游助手辅助，用于指定要抓取的HTML标签名称； -attr：可选参数，用于指定标签的属性值，不指定则返回标签的所有属性值； -o: 可选参数，用于指定抓取内容的输出文件，抓取内容可以保存为json格式的文件。如果不指定该参数，则执行控制台输出。如果被抓取，style会保存为js格式的文件。

如果要抓取，可以使用-tag获取全部内容。忽略任何用 -attr 指定的属性值。

例如

1.抓取网页中的所有超链接

HtmlParse c:/sina.html -tag a -attr href -o c:/sina.json

解析C盘下的sina.html文件，将文件中的所有超链接提取到sina.json文件中。其中**-tag a -attr href用于指定获取超链接标签a的href**属性。

2.抓取网页中所有图片链接

HtmlParse c:/sina.html -tag img -attr src -o c:/sina.json

解析C盘下的sina.html文件，提取文件中所有图片链接到sina.json文件中。

3.爬取网页中的所有脚本

HtmlParse c:/sina.html -tag script -o c:/sina.js

解析C盘下的sina.html文件，将文件中的所有脚本函数解压到sina.js文件中。

输出内容

如果输出文件由-o参数指定新浪页游助手辅助，则会生成一个json格式的文档。需要爬取的标签名称，比如超链接的a，它的值是一个json数组，数组中的每一个内容都是一个Json对象，每个Json对象由属性和文本组成。如果-attr指定要抓取的属性，则为指定的属性名，如href或src。 text为标签的文字内容，有些标签没有文字内容，如img、meta等，则该值为空。 json格式如下：

{
  "TagName":
  {
     {"AttrName":"AttrValue1", "text":"text1"}
     {"AttrName":"AttrValue1", "text":"text2"}
  }
}

下面是一个新浪网页的所有超链接json

{
 "a": [{
  "href": "javascript:;",
  "text": "设为首页"
 }, {
  "href": "javascript:;",
  "text": "我的菜单"
 }, {
  "href": "https://sina.cn/",
  "text": "手机新浪网"
 }, {
  "href": "",
  "text": "移动客户端"
 }, {
  "href": "https://c.weibo.cn/client/guide/download",
  "text": "新浪微博"
 }, {
  "href": "https://so.sina.cn/palmnews/web-sinanews-app-download.d.html",
  "text": "新浪新闻"
 }, {
  "href": "https://finance.sina.com.cn/mobile/comfinanceweb.shtml",
  "text": "新浪财经"
 }, {
  "href": "https://m.sina.com.cn/m/sinasports.shtml",
  "text": "新浪体育"
 }, {
  "href": "https://tousu.sina.com.cn/about_app/index?frompage=heimaopc",
  "text": "黑猫投诉"
 }, {
  "href": "http://blog.sina.com.cn/lm/z/app/",
  "text": "新浪博客"
 }, {
  "href": "https://games.sina.com.cn/o/kb/12392.shtml",
  "text": "新浪游戏"
 }, {
  "href": "https://zhongce.sina.com.cn/about/app",
  "text": "新浪众测"
 }, {
  "href": "https://mail.sina.com.cn/client/mobile/index.php?suda-key=mail_app&suda-value=login",
  "text": "新浪邮箱客户端"
 }, {
  "href": "javascript:;",
  "text": "关闭置顶"
 }, {

以上就是关于：新浪页游助手辅助-HtmlParse：一个超轻量级的HTML文件解析和抓取工具的相关内容，更多精彩请继续关注玩手游。