Python用正则爬取豆瓣读书之新书速递的书籍信息

江一帆 2020-03-05 PM 2069℃ 0条 9251字 Site load time is:139 ms 百度:已收录

新书速递的书籍信息数据的主要采集出处

<li class="">
            <div class="cover">
              <a href="https://book.douban.com/subject/34863428/?icn=index-latestbook-subject" title="夏先生的故事">
                <img src="https://img9.doubanio.com/view/subject/s/public/s33545404.jpg" class="" alt="夏先生的故事">
              </a>
            </div>
            <div class="info">
              <div class="title">
                <a class="" href="https://book.douban.com/subject/34863428/?icn=index-latestbook-subject"
                  title="夏先生的故事">夏先生的故事</a>
              </div>
              <div class="author">
                [德] 帕特里克·聚斯金德
              </div>
              <div class="more-meta">
                <h4 class="title">
                  夏先生的故事
                </h4>
                <p>
                  <span class="author">
                    [德] 帕特里克·聚斯金德
                  </span>
                  /
                  <span class="year">
                    2020-1
                  </span>
                  /
                  <span class="publisher">
                    上海译文出版社
                  </span>
                </p>
                <p class="abstract">
                  
                  《香水》作者聚斯金德回归纯真之作。
《纽约客》御用画手、法国国宝级插画大师桑贝经典配图。
“我”是一个普通的小男孩,上学,爬树,骑车,幻想着朦胧的初恋,害怕严厉的钢琴教师,常常觉得自己会飞。“我”的邻居夏先生是个“怪人”,沉默地拄着拐杖,背着空空的行囊,没有目的地奔走不休。我们之间只有为数不多的几次接触,但这个敏感易怒、行色匆匆、似乎总在忍受...
                </p>
              </div>
            </div>
          </li>

代码如下

import requests
import re

url = "https://book.douban.com/"
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36'}

content = requests.get(url, headers=headers).text

# 使用re.S参数以后,正则表达式会将这个字符串作为一个整体,将“\n”当做一个普通的字符加入到这个字符串中,在整体中进行匹配。
pattern = re.compile(
    '<li.*?cover.*?href="(.*?)\stitle="(.*?)">.*?src="(.*?)".*?more-meta.*?author">(.*?)</span>.*?year">(.*?)</span>.*?publisher">(.*?)</span>.*?</li>',
    re.S)  ##这里应该要在URL和title之间匹配空格,用\s

results = re.findall(pattern, content)

for result in results:
    url, name, img_url, author, date, publisher = result
    author = re.sub('\s', '', author)  # 把前后的空白符去掉  author=author.strip()也可以
    date = re.sub('\s', '', date)
    publisher = re.sub('\s', '', publisher)
    print(name, author, date, publisher, url, img_url)

结果数据如下

人类向何处去 [英]奥拉夫·斯特普尔顿 2020-1 北京航空航天大学出版社 https://book.douban.com/subject/34934004/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33549854.jpg
戏剧游戏:儿童戏剧游戏 [英]凯瑟琳·扎切斯特&nbsp;/&nbsp;KatherineZachest 2020-1 后浪丨上海文化出版社 https://book.douban.com/subject/34935067/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33550710.jpg
算计 [日]米泽穗信 2020-1 人民文学出版社 https://book.douban.com/subject/34866078/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33542087.jpg
从催眠的世界中不断醒来 姜涛 2020-1 华东师范大学出版社 https://book.douban.com/subject/34951625/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33562486.jpg
十三封自杀告别信 [德]科斯汀•吉尔 2020-1-1 新星出版社 https://book.douban.com/subject/34908017/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33531850.jpg
论爱与死亡 [德]帕·聚斯金德 2020-1 上海译文出版社 https://book.douban.com/subject/34863425/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33545431.jpg
俗世奇人全本 冯骥才 2020-1 人民文学出版社 https://book.douban.com/subject/34924477/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33571357.jpg
中国史学史稿 刘节 2020-2 商务印书馆 https://book.douban.com/subject/26997226/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33552418.jpg
秋风平地起 [法]让·雅克·桑贝 2020-1 上海译文出版社 https://book.douban.com/subject/34845973/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33555024.jpg
当权的第三帝国 [英]理查德·J.埃文斯 2020-2 九州出版社 https://book.douban.com/subject/34925415/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33578800.jpg
尚待商榷的爱情 (英)朱利安·巴恩斯 2020-2-10 文汇出版社 https://book.douban.com/subject/34893656/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33560231.jpg
禅与饮茶的艺术 [美]威廉·斯科特·威尔逊(WilliamScottWilson) 2020-1 湖南人民出版社 https://book.douban.com/subject/34923176/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33549261.jpg
见鬼 有鬼君 2020-3 东方出版社 https://book.douban.com/subject/34879052/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33555840.jpg
罪恶之城的骑士:雷蒙德·钱德勒传 [英]汤姆·威廉斯 2020-3 南京大学出版社 https://book.douban.com/subject/20396757/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33544366.jpg
年轻的心在哭泣 [美]理查德·耶茨 2020-2 上海译文出版社 https://book.douban.com/subject/34888770/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33561625.jpg
历史人类学的旨趣 赵世瑜 2020-1 北京师范大学出版社 https://book.douban.com/subject/34933514/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33576650.jpg
埃郡往事 [加]杰夫·勒米尔 2020-1-10 天津人民出版社 https://book.douban.com/subject/34869654/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33541918.jpg
声音集 [阿根廷]安东尼奥·波尔基亚 2020-1 人民文学出版社 https://book.douban.com/subject/34431899/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33556179.jpg
神圣家族 梁鸿 2020-4 中信出版集团 https://book.douban.com/subject/34970714/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33576724.jpg
护士的故事 [英]克里斯蒂·沃森 2020-4 浦睿文化·湖南人民出版社 https://book.douban.com/subject/34922193/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33576240.jpg
鸽子 [德]帕·聚斯金德 2020-1 上海译文出版社 https://book.douban.com/subject/34863427/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33545417.jpg
工具,还是武器? 【美】布拉德·史密斯&nbsp;/&nbsp;【美】卡罗尔·安·布朗 2020-2 中信出版集团 https://book.douban.com/subject/34940580/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33583216.jpg
恺撒 [澳]考琳·麦卡洛 2020-2-1 文化发展出版社有限公司 https://book.douban.com/subject/34867159/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33585401.jpg
美国海:墨西哥湾的历史 [美]杰克·E.戴维斯 2020-2 索·恩| 社会科学文献出版社 https://book.douban.com/subject/34889903/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33549255.jpg
人间游戏:伤痕 钟宇 2020-3-1 中国友谊出版公司 https://book.douban.com/subject/34947381/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33560860.jpg
巴黎记 于坚 2020-2-1 江苏凤凰文艺出版社/楚尘文化 https://book.douban.com/subject/34948397/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33560144.jpg
钢琴的重量 [美]克丽丝·坎德 2020-1-13 北京联合出版公司 https://book.douban.com/subject/34710239/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33555656.jpg
花鸟风月日本史 高桥千剑破 2020-3 未读·文艺家 贵州人民出版社 https://book.douban.com/subject/34939912/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33581672.jpg
新宋·9-12(大结局珍藏版) 阿越 2020-2 河北人民出版社 https://book.douban.com/subject/34919443/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33540197.jpg
莱奥纳多·达·芬奇:绘画论 [法]安德烈·夏斯泰尔编译 2020-2 理想国 | 湖南美术出版社 https://book.douban.com/subject/34937633/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33560166.jpg
十一种孤独 [美]理查德·耶茨 2020-2 上海译文出版社 https://book.douban.com/subject/34888719/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33561560.jpg
奥斯曼帝国 林佳世子 2020-1 北京日报出版社 https://book.douban.com/subject/34869429/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33582600.jpg
羔羊的盛宴 [日]米泽穗信 2020-1 人民文学出版社 https://book.douban.com/subject/34431939/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33542083.jpg
与神作战 [英]蒂姆·惠特马什 2020-2 社会科学文献出版社 https://book.douban.com/subject/34842532/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33576262.jpg
夏先生的故事 [德]帕特里克·聚斯金德 2020-1 上海译文出版社 https://book.douban.com/subject/34863428/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33545404.jpg
杀人执照 [德]埃格蒙特·科赫 2020-3 生活·读书·新知三联书店 https://book.douban.com/subject/34802968/?icn=index-latestbook-subject" https://img9.doubanio.com/view/subject/s/public/s33564334.jpg
低音提琴 [德]帕·聚斯金德 2020-1 上海译文出版社 https://book.douban.com/subject/34863426/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33545437.jpg
维正之供 周健 2020-1-1 北京师范大学出版社 https://book.douban.com/subject/34869893/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33507700.jpg
战春秋 海飞 2020-2 北京十月文艺出版社 https://book.douban.com/subject/34943410/?icn=index-latestbook-subject" https://img1.doubanio.com/view/subject/s/public/s33561098.jpg
戳中痛点,成为文案高手 [日]中野巧 2020-4 低音 • 北京联合出版公司 https://book.douban.com/subject/34431990/?icn=index-latestbook-subject" https://img3.doubanio.com/view/subject/s/public/s33555322.jpg
标签: 正则表达式, 爬虫

本文最后更新于:2020-03-05 13:22,可能因经年累月而与现状有所差异。

非特殊说明,本博所有文章均为博主原创。

评论啦~


召唤看板娘