51学通信论坛2017新版

标题: 基本html数据提取： [打印本页]

---

作者: admin    时间: 2019-6-23 14:59
标题: 基本html数据提取：
基本html数据提取：[attach]5803[/attach]
[attach]5802[/attach]

1. # Example_8_1.py
   
2. def getHTMLlines(htmlpath):
   
3.     f = open(htmlpath, "r", encoding='utf-8')
   
4.     ls = f.readlines()
   
5.     f.close()
   
6.     return ls
   
7. 
   
8. def extractImageUrls(htmllist):
   
9.     urls = []
   
10.     for line in htmllist:
    
11.         if 'img' in line:
    
12.             url = line.split('src=')[-1].split('"')[1]
    
13.             if 'http' in url:
    
14.                 urls.append(url)
    
15.     return urls
    
16.    
    
17. def showResults(urls):
    
18.     count = 0
    
19.     for url in urls:
    
20.         print('第{:2}个URL:{}'.format(count, url))
    
21.         count += 1
    
22.    
    
23. def saveResults(filepath, urls):
    
24.     f = open(filepath, "w")
    
25.     for url in urls:
    
26.         f.write(url+"\n")
    
27.     f.close()
    
28.    
    
29. def main():
    
30.     inputfile  = 'nationalgeographic.html'
    
31.     outputfile = 'nationalgeographic-urls.txt'
    
32.     htmlLines = getHTMLlines(inputfile)
    
33.     imageUrls = extractImageUrls(htmlLines)
    
34.     showResults(imageUrls)
    
35.     saveResults(outputfile, imageUrls)
    
36. 
    
37. main()

复制代码

结果，生成一个txt文件，提取出所有的jpg文件url。
[attach]5804[/attach]

---

欢迎光临 51学通信论坛2017新版 (http://bbs.51xuetongxin.com/)

Powered by Discuz! X3