这篇文章主要是介绍Python爬取网页信息时，经常使用的正则表达式及方法。它是一篇总结性文章，实用性比较大，主要解决自己遇到的爬虫问题，也希望对你有所帮助~
当然如果会Selenium基于自动化测试爬虫、BeautifulSoup分析网页DOM节点，这就更方便了，但本文更多的是介绍基于正则的底层爬取分析。
涉及内容如下：
常用正则表达式爬取网页信息及HTML分析总结
1.获取标签之间内容
2.获取超链接之间内容
3.获取URL最后一个参数命名图片或传递参数
4.爬取网页中所有URL链接
5.爬取网页标题title两种方法
6.定位table位置并爬取属性-属性值
7.过滤等标签
8.获取' m_script = re.findall(html_script,content,re.S|re.M) for script in m_script: res_original = r''original':'(.*?)'' #原图 m_original = re.findall(res_original,script) for pic_url in m_original: print pic_url filename = os.path.basename(pic_url) #去掉目录路径,返回文件名 urllib.urlretrieve(pic_url, 'E:\\'+filename) #下载图片
运行结果如下图所示
本文链接：https://my.lmcjl.com/post/15280.html
展开阅读全文
4 评论