Python爬虫用bs4模块爬取中国天气网天气信息

字数统计: 3.8k字   |   阅读时长: 19分   |   本文总阅读量: 次

九头蛇万岁

Python爬虫用bs4模块爬取中国天气网天气信息

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式；Beautiful Soup会帮你节省数小时甚至数天的工作时间。

虽然就我个人而言更喜欢用xpath的方式来解析页面，但不得不说bs4也是一种非常方便的方式，尤其是像一些结构工整的标签，如ul>li，table>tr>td等。
要求
没错，这是我们python课的一次实践
一、信息爬取
1.各地区下各城市七天天气
(1)首先先给出要爬取的链接文字版国内城市天气预报|地图版国内城市天气预报（ps：我还真就没在主页找到这个链接的入口，还是上网查到的…）
(2)右键审查元素，分析页面结构，发现它是由七个div(class=”conMidtab”)构成，分别对应从今天开始的七天天气情况。每个div(class=”conMidtab”)中又由5个div(class=”conMidtab2”)组成，分别对应华北地区的五个省市，div(class=”conMidtab2”)下的table标签就是我们要获取的天气情况数据了，tr0和tr1分别是昼夜和天气的标题，从tr2(即第三个tr因为从零开始与代码对应)开始才是我们需要的信息，又发现tr2中有9个td标签，tr3以后只有8个td标签，原因是将省市一列放进了tr2中，及tr2>td0。
华北页面
(3)先写一下针对当天华北地区下各城市的天气情况的爬取

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
headers = {
        'User-Agent': ''
    }
prox = [
        {
            'http': '',
            'https': ''
        },
        {
            'http': '',
            'https': ''
        }
    ]
# 通过设置参数i区分第一个城市及之后城市
def parse_city(tds,i=0):
    city_url = tds[i + 0].a['href']  #城市链接
    city = tds[i+0].get_text()  #城市名称
    # 判断早晚天气情况，如果相等则只输出一个，否则“早”转“晚”
    if tds[i+1].get_text()!=tds[i+4].get_text():
        city_wea = tds[i+1].get_text()+'转'+tds[i+4].get_text()
    else:
        city_wea = tds[i + 1].get_text()
    #风向，也可同天气情况一样早转晚，这里只获取了白天的天气
    city_fx = tds[i+2]('span')[0].get_text()  
    city_fl = tds[i+2]('span')[1].get_text()  #风力
    city_hightemp=tds[i+3].get_text()  #最高温度
    city_lowtemp=tds[i+6].get_text()  #最低温度
    wea={
        # 运行发现city即城市名前面会有\n换行符号故截取一下
        'city':city[1:],
        'weather':city_wea,
        'fx':city_fx,
        'fl':city_fl,
        'hightemp':city_hightemp,
        'lowtemp':city_lowtemp
    }
    return wea
def parse_page(url):
    # 添加自己的消息头，若要用代理ip池，只需继续添加参数proxies=random.choice(prox)
    response = requests.get(url, headers=headers)
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'lxml')
    conMidtab = soup.find('div', class_='conMidtab')
    tables=conMidtab.find_all('table')
    for table in tables:
        # 这里将tr2与tr3往后分开处理
        firsttds=table.find_all('tr')[2]('td')
        province=firsttds[0].get_text()
        firstwea=parse_city(firsttds,1)
        print(firstwea)
        cit=firstwea['city']
        trs=table.find_all('tr')[3:]
        for tr in trs:
            tds=tr.find_all('td')
            wea=parse_city(tds)
            cit=cit+'、'+wea['city']
            print(wea)
def main():
    url = 'http://www.weather.com.cn/textFC/hb.shtml'
    parse_page(url)

if __name__ == '__main__':
    main()

上述代码运行成功结果如下
初步结果
(4)将url改为列表拼接形式测试所有地区的情况

1
2
3
4
5
6
def main():
    ur = 'http://www.weather.com.cn/textFC/'
    dirlist=['hb','db','hd','hz','hn','xb','xn','gat']
    for d in dirlist:
        url=ur+d+'.shtml'
        parse_page(url)

报错
可以发现前面的都可以正常运行，直到这个位置，香港之后的会报错。
我们去看一下港澳台地区的页面结构
港澳台
可以发现香港澳门只有一个城市，所以在进不去tr3之后的for循环，可以看到代码中我获取的province一列还没有用上，既然香港澳门特殊我就把他排除还不行吗？
刚开始我是这么写的

1
2
3
4
5
6
7
if province!='香港' or province!='澳门':
    trs=table.find_all('tr')[3:]
            for tr in trs:
                tds=tr.find_all('td')
                wea=parse_city(tds)
                cit=cit+'、'+wea['city']
                print(wea)

然后发现province也有换行符改为province1:3，字符串截取一下。
然后运行发现报错依旧，我又以为是province获取到的是utf-8，而python中是Unicode，匹配不了？（ps：真正原因并不是这个，当时想多了），又改为匹配省市的链接然后判断。

1
2
3
4
5
6
7
8
p_url=firsttds[0].a['href']
if 'hongkong' not in p_url and 'macao' not in p_url:
    trs=table.find_all('tr')[3:]
            for tr in trs:
                tds=tr.find_all('td')
                wea=parse_city(tds)
                cit=cit+'、'+wea['city']
                print(wea)

报错是没了，但是会输出7组港澳台的城市，这并不是我们想要的，经过我一点一点排查，debug分析终于找到了问题的根源所在。
21
在获取港澳台地区的信息的时候他匹配的table数是21个即所有七天的表格数据，经查看发现省市最多地区的省市有7个就是tables最多七个，于是我添加了以下代码针对gat对tables做了下处理。

1
2
if len(tables)>7:
        tables=tables[:3]

然后再运行，成功！
(5)获取每个城市七天的天气情况及获取地区下省市信息
我是通过一个m变量然后每次循环递增，并只在m==0的时候输出地区下的省市城市信息
当然还有一种方式是在天气情况字典中添加日期一行这样来区分七天天气
日期 

1
2
3
dateul=soup.find('ul',class_='day_tabs')
datelis=dateul.find_all('li')
date=li[m]

(6)获取城市天气源代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
import requests
from bs4 import BeautifulSoup
import lxml
import random
import re

headers = {
        'User-Agent': ''
    }
prox = [
        {
            'http': '',
            'https': ''
        },
        {
            'http': '',
            'https': ''
        }
    ]

def parse_city(tds,i=0):
    city_url = tds[i + 0].a['href']
    # pattern = re.compile('http://www.weather.com.cn/weather/(\d+).shtml', re.S)
    # city_code = re.findall(pattern, city_url)[0]
    city = tds[i+0].get_text()
    if tds[i+1].get_text()!=tds[i+4].get_text():
        city_wea = tds[i+1].get_text()+'转'+tds[i+4].get_text()
    else:
        city_wea = tds[i + 1].get_text()
    city_fx = tds[i+2]('span')[0].get_text()
    city_fl = tds[i+2]('span')[1].get_text()
    city_hightemp=tds[i+3].get_text()
    city_lowtemp=tds[i+6].get_text()
    wea={
        # 'date'：'',
        'ccode':city_code,
        'city':city[1:],
        'weather':city_wea,
        'fx':city_fx,
        'fl':city_fl,
        'hightemp':city_hightemp,
        'lowtemp':city_lowtemp
    }
    return wea

def parse_page(ur,dir):
    url=ur+dir+'.shtml'
    response = requests.get(url, headers=headers, proxies=random.choice(prox))
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'lxml')
    conMidtabs = soup.find_all('div', class_='conMidtab')
    # dateul=soup.find('ul',class_='day_tabs')
    # datelis=dateul.find_all('li')
    m=0
    for conMidtab in conMidtabs:
        tables=conMidtab.find_all('table')
        if len(tables)>7:
            tables=tables[:3]
        for table in tables:
            firsttds=table.find_all('tr')[2]('td')
            province=firsttds[0].get_text()
            p_url=firsttds[0].a['href']
            firstwea=parse_city(firsttds,1)
            print('第',m,'天')
            # cdate=datelis[m].get_text()
            # firstwea['date']=cdate
            print(firstwea)
            cit=firstwea['city']
            if 'hongkong' not in p_url and 'macao' not in p_url:
                trs=table.find_all('tr')[3:]
                for tr in trs:
                    tds=tr.find_all('td')
                    wea=parse_city(tds)
                    cit=cit+'、'+wea['city']
                    print(wea)
            if m==0:
                local = {
                    'province': province[1:3],
                    'city':cit,
                    'direction': dir
                }
                print(local)
        m+=1

def main():
    ur = 'http://www.weather.com.cn/textFC/'
    dirlist=['hb','db','hd','hz','hn','xb','xn','gat']
    for d in dirlist:
        parse_page(ur,d)


if __name__ == '__main__':
    main()

2.获取各城市下周边城市天气情况
(1)点击城市进入城市天气主页，查看其周边城市的结构
周边城市
然后点击进入发现只是今天的天气情况，点击七天，对比两个网址发现城市的代码是不变的。
网址对比
首先获取周边城市的链接，然后用正则表达式提取出其中的城市代码，最后改变链接访问城市七天天气界面。沿用获取地区下城市的方法用参数i将第一个城市分开。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
def nearcitycode(tds,i=0):
    city_url = tds[i + 0].a['href']
    response = requests.get(city_url, headers=headers,proxies=random.choice(prox))
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'lxml')
    nearcitylist = []
    nearcodelist = []
    try:
        ul=soup.find('ul',class_='clearfix city')
        lis=ul.find_all('li')
        for li in lis:
            nearcity_url=li.a['href']
            pattern = re.compile('http://www.weather.com.cn/weather1d/(\d+).shtml#around2', re.S)
            nearcity_code = re.findall(pattern, nearcity_url)[0]
            nearcity=li('span')[0].get_text()
            nearcodelist.append(nearcity_code)
            nearcitylist.append(nearcity)
    except Exception as e:
        pass
    return nearcodelist,nearcitylist

(2)上述代码拿到周边城市代码及对应城市，分别放在两个列表中返回。
针对每个周边城市的七天天气情况页面解析，获取需要的数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
n=[]
def parse_nearcity(tds,i=0):
    ncol, ncl = nearcitycode(tds, i)
    # 用n判断是否重复，如果n中没有则添加到n，否则去重
    for (nco, nc) in zip(ncol, ncl):
        if nco in n:
            ncol.remove(nco)
            ncl.remove(nc)
        else:
            n.append(nco)
    m=0
    # 将七天的天气情况放到一个列表中，循环每个周边城市形成一个二维列表
    nearlis = [[]*len(ncol)]
    for (nco,nc) in zip(ncol,ncl):
        url='http://www.weather.com.cn/weather/'+nco+'.shtml'
        response = requests.get(url, headers=headers)
        text = response.content.decode('utf-8')
        soup = BeautifulSoup(text, 'lxml')
        ul=soup.find('ul',class_='t clearfix')
        lis=ul.find_all('li')
        for li in lis:
            nearcode=nco
            nearc=nc
            nearc_wea=li('p')[0].get_text()
            lip2em=li('p')[2]('em')[0]
            # 风向有时候只有一个，或者是相同风向，判断一下
            if len(lip2em('span'))==2:
                if lip2em('span')[0]['title']!=lip2em('span')[1]['title']:
                    nearc_fx=lip2em('span')[0]['title']+'转'+lip2em('span')[1]['title']
                else:
                    nearc_fx=lip2em('span')[0]['title']
            else:
                nearc_fx = lip2em('span')[0]['title']
            nearc_fl=li('p')[2]('i')[0].get_text()
            # 最高气温最低气温有时候只有一个结构为最低的结构，判断一下
            if len(li('p')[1]('span'))>0:
                nearc_hightemp=li('p')[1]('span')[0].get_text()
            else:
                nearc_hightemp=li('p')[1]('i')[0].get_text()
            nearc_lowtemp=li('p')[1]('i')[0].get_text()
            nearcwea={
                'ccode': nearcode,
                'city': nearc,
                'weather': nearc_wea,
                'fx': nearc_fx,
                'fl': nearc_fl,
                'hightemp': nearc_hightemp,
                'lowtemp': nearc_lowtemp
            }
            # m还是代表天数，对应append周边城市天气情况
            nearlis[m].append(nearcwea)
    m+=1
    return nearlis

(3)对每个城市进行遍历的结构基本不变，只是将parse_city变为_nearcity去掉local字典

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def parse_page(ur,dir):
    url=ur+dir+'.shtml'
    response = requests.get(url, headers=headers)
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'lxml')
    conMidtab = soup.find('div', class_='conMidtab')
    tables=conMidtab.find_all('table')
    if len(tables)>7:
        tables=tables[:3]
    for table in tables:
        firsttds=table.find_all('tr')[2]('td')
        province=firsttds[0].get_text()
        p_url=firsttds[0].a['href']
        fnewea=parse_nearcity(firsttds,1)
        print(fnewea)
        if 'hongkong' not in p_url and 'macao' not in p_url:
            trs=table.find_all('tr')[3:]
            for tr in trs:
                tds=tr.find_all('td')
                neawea=parse_nearcity(tds)
                print(neawea)

(4)最后附上周边城市源码，由于之前的方法每个城市都要遍历列表n，运行时间比较长，但是可区分每个的周边城市信息，后更改为n接受所有的代码然后用list(set(n))去重在解析统一输出，只不过会变成无序。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
import requests
from bs4 import BeautifulSoup
import lxml
import random
import re


headers = {
        'User-Agent': ''
    }
prox = [
        {
            'http': '',
            'https': ''
        },
        {
            'http': '',
            'https': ''
        }
    ]
n=[]
def nearcitycode(tds,i=0):
    city_url = tds[i + 0].a['href']
    response = requests.get(city_url, headers=headers)
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'lxml')
    # nearcitylist = []
    nearcodelist = []
    try:
        ul=soup.find('ul',class_='clearfix city')
        lis=ul.find_all('li')
        for li in lis:
            nearcity_url=li.a['href']
            pattern = re.compile('http://www.weather.com.cn/weather1d/(\d+).shtml#around2', re.S)
            nearcity_code = re.findall(pattern, nearcity_url)[0]
            # nearcity=li('span')[0].get_text()
            nearcodelist.append(nearcity_code)
            # nearcitylist.append(nearcity)
    except Exception as e:
        pass
    # return nearcodelist,nearcitylist
    return nearcodelist

def parse_nearcity(n):
    # ncol, ncl = nearcitycode(tds, i)
    # for (nco, nc) in zip(ncol, ncl):
    #     if nco in n:
    #         ncol.remove(nco)
    #         ncl.remove(nc)
    #     else:
    #         n.append(nco)
    m=0
    nearlis = [[]*len(n)]
    # for (nco,nc) in zip(ncol,ncl):
    for nco in n:
        url='http://www.weather.com.cn/weather/'+nco+'.shtml'
        response = requests.get(url, headers=headers)
        text = response.content.decode('utf-8')
        soup = BeautifulSoup(text, 'lxml')
        ul=soup.find('ul',class_='t clearfix')
        namdiv=soup.find('div',class_='crumbs fl')
        namspans=namdiv.find_all('span')
        namas=namdiv.find_all('a')
        lis=ul.find_all('li')
        for li in lis:
            nearcode=nco
            # nearc=nc
            if namspans[-1].get_text()=='城区':
                nearc = namas[-1].get_text()
            else:
                nearc = namspans[-1].get_text()
            nearc_wea=li('p')[0].get_text()
            lip2em=li('p')[2]('em')[0]
            if len(lip2em('span'))==2:
                if lip2em('span')[0]['title']!=lip2em('span')[1]['title']:
                    nearc_fx=lip2em('span')[0]['title']+'转'+lip2em('span')[1]['title']
                else:
                    nearc_fx=lip2em('span')[0]['title']
            else:
                nearc_fx = lip2em('span')[0]['title']
            nearc_fl=li('p')[2]('i')[0].get_text()
            if len(li('p')[1]('span'))>0:
                nearc_hightemp=li('p')[1]('span')[0].get_text()
            else:
                nearc_hightemp=li('p')[1]('i')[0].get_text()
            nearc_lowtemp=li('p')[1]('i')[0].get_text()
            nearcwea={
                'ccode': nearcode,
                'city': nearc,
                'weather': nearc_wea,
                'fx': nearc_fx,
                'fl': nearc_fl,
                'hightemp': nearc_hightemp,
                'lowtemp': nearc_lowtemp
            }
            nearlis[m].append(nearcwea)
    m+=1
    return nearlis

# def parse_city(tds,i=0):
#     city_url = tds[i + 0].a['href']
#     pattern = re.compile('http://www.weather.com.cn/weather/(\d+).shtml', re.S)
#     city_code = re.findall(pattern, city_url)[0]
#     city = tds[i+0].get_text()
#     if tds[i+1].get_text()!=tds[i+4].get_text():
#         city_wea = tds[i+1].get_text()+'转'+tds[i+4].get_text()
#     else:
#         city_wea = tds[i + 1].get_text()
#     city_fx = tds[i+2]('span')[0].get_text()
#     city_fl = tds[i+2]('span')[1].get_text()
#     city_hightemp=tds[i+3].get_text()
#     city_lowtemp=tds[i+6].get_text()
#     ncol,ncl=nearcitycode(tds,i)
#     if ncl!=[]:
#         result=ncl[0]
#         for c in ncl:
#             if c != ncl[0]:
#                 result += '、' + c
#     else:
#         result='none'
#     wea={
#         'ccode':city_code,
#         'city':city[1:],
#         'weather':city_wea,
#         'fx':city_fx,
#         'fl':city_fl,
#         'hightemp':city_hightemp,
#         'lowtemp':city_lowtemp,
#         'nearcity':result
#     }
#     return wea
def parse_page(ur,dir):
    global n
    url=ur+dir+'.shtml'
    response = requests.get(url, headers=headers)
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'lxml')
    conMidtab = soup.find('div', class_='conMidtab')
    tables=conMidtab.find_all('table')
    if len(tables)>7:
        tables=tables[:3]
    for table in tables:
        firsttds=table.find_all('tr')[2]('td')
        province=firsttds[0].get_text()
        p_url=firsttds[0].a['href']
        for i in nearcitycode(firsttds,1):
            n.append(i)
        # fnewea=parse_nearcity(firsttds,1)
        # print(fnewea)
        if 'hongkong' not in p_url and 'macao' not in p_url:
            trs=table.find_all('tr')[3:]
            for tr in trs:
                tds=tr.find_all('td')
                # neawea=parse_nearcity(tds)
                # print(neawea)
                for i in nearcitycode(tds):
                    n.append(i)

def main():
    global n
    ur = 'http://www.weather.com.cn/textFC/'
    dirlist=['hb','db','hd','hz','hn','xb','xn','gat']
    # dirlist=['gat']
    for d in dirlist:
        parse_page(ur,d)
    n=list(set(n))
    print(parse_nearcity(n))


if __name__ == '__main__':
    main()

港澳台周边城市
测试了一下城市最少的港澳台，成功！
二、添加数到数据库，以oracle为例

1
2
3
4
5
6
7
8
9
10
11
12
# 视个人情况更改
db=cx_Oracle.connect('scott','tiger','localhost/orclpdb')

def inser(sql,pr,db):
    cr=db.cursor()
    cr.execute(sql,pr)
    cr.close()
    db.commit()
# 按照字典的顺序在数据库中建表Chineseweather
sql='insert into Chineseweather values(:ccode,:city,:weather,:fx,:fl,:hightemp,:lowtemp)
# 然后再对应的print语句处添加一句，wea替换为存入的字典变量。
inser(sql,wea,db)

最后就可存入到本地的oracle数据库中了。

赏

Trick or treat

支付宝
微信

扫一扫，分享到微信

微信分享二维码
    总访问量: | 总访客:
载入天数...载入时分秒...

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

东尐，<br>过气程序员<br>沙雕青年<br><br>青灯为墙，旖旎为家<br><br>以梦为马，不负韶华<br>联系加V，lqd5216915