中年大叔学编程-我用Python保存金山词霸每日一句

其实金山词霸每日一句已经出来很久了，但是我都不知道，今天去金山词霸的官网看了看，感觉这些句子都挺不错的，所以就想着把它们给存下来。

我大概看了一下他的页面，请求的敏感数据是加密的，页面是基于请求的数据动态渲染的，去解析结构的话，会比较花时间，这里我就使用selenium来简化操作,它可以模拟浏览器，直接把数据渲染成最终的展示出来的页面，然后，直接解析最终的html就可以得到最终的结果。

安装selenium

pip install selenium

因为是这里是用的google浏览器版本 83.0.4103.97（正式版本） （32 位），所以 这里我们需要去http://npm.taobao.org/mirrors/chromedriver下载对应的chromedriver驱动，然后解压到Python的安装目录。 如果不指定自己的安装路径，可以在cmd中执行where python命令来查找

C:\Users\lenovo>where python
D:\Programs\Python\Python38-32\python.exe
C:\Users\lenovo\AppData\Local\Microsoft\WindowsApps\python.exe

把我们下载的chromedriver复制到对应的目录，我这里是D:\Programs\Python\Python38-32\

使用的selenium

那么这里先简单的写几句代码

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://news.iciba.com/views/dailysentence/daily.html#!/detail/title/2020-06-05')
print(browser.page_source)

我们运行python demo.py就会看到这样的效果

这里我需要它的图片、英文和汉译，我们来看看它的网页元素结构

它的英文和汉译分别在detail-content-en和detail-content-zh两个class节点中,这里我们需要借助另外一个插件来解析selenium获取到的html，它就是PyQuery,先执行pip install PyQuery 把它安装下来，现在我们来开始获取他的英文内容、汉译内容以及图片地址

from selenium import webdriver
from pyquery import PyQuery as pq
from time import sleep

browser = webdriver.Chrome()
browser.get(
    'http://news.iciba.com/views/dailysentence/daily.html#!/detail/title/2020-06-05')  # 访问页面
sleep(5)  # 等待5秒钟
html = browser.page_source  # 获取页面渲染好的html
page = pq(html)  # 装载到pyquery中
en = page(".detail-content-en")   # 查找英文节点
zh = page(".detail-content-zh")   # 查找中文节点
img = page(".detail-banner-img")  # 查找图片
print(en.text())
print(zh.text())
print(img.attr('src'))
browser.quit()  # 退出浏览器

现在,我们来把每日一句的内容保存下来

from selenium import webdriver
from pyquery import PyQuery as pq
import time
import requests

cur_date = time.strftime("%Y-%m-%d", time.localtime(time.time()))  # 取当前日期
browser = webdriver.Chrome()
browser.get(
    'http://news.iciba.com/views/dailysentence/daily.html#!/detail/title/'+cur_date)  # 访问页面
time.sleep(5)  # 等待5秒钟
html = browser.page_source  # 获取页面渲染好的html
page = pq(html)  # 装载到pyquery中
en = page(".detail-content-en")   # 查找英文节点
zh = page(".detail-content-zh")   # 查找中文节点
img = page(".detail-banner-img")  # 查找图片
with open('D:/ciba/'+cur_date+'.txt', 'wb') as file:  # 将内容写入txt文本
    file.write(en.text().encode())
    file.write("\n".encode())
    file.write(zh.text().encode())

img_url = img.attr('src')
r = requests.get(img_url)
with open('D:/ciba/'+cur_date+'.jpg', 'wb')as f:  # 将图片保存成文件
    f.write(r.content)

browser.quit()  # 退出浏览器

现在，我们执行python demo.py,就可以得到这样的效果

是不是感觉有点意思?

我只是记录我的学习过程，由于书读的少，可能很多地方表述或者是理解得不对，请轻喷并指正。