百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

Python 爬取 20 万条评论,告诉你周杰伦新歌为啥弄崩 QQ 音乐?

yuyutoo 2024-10-13 00:36 2 浏览 0 评论

作者 | 哈哈浩

责编 | 伍杏玲

9 月 16 日晚间,周董在朋友圈发布了最新单曲《说好不哭》。

发布后,真的让一波人哭了,一群想抢鲜听的小伙伴直接泪奔。

因为 QQ 音乐直接被搞崩了!

没想到干翻 QQ 音乐的不是网易云音乐,也不是虾米音乐,而是周董!

周董成成功地凭一己之力干翻了 QQ 音乐!

那么听过周董新歌后的小伙伴都是怎么评价的呢?

这里,我们获取了 QQ 音乐的近 20W 条评论数据进行分析,看看其中有哪些有趣的东西?

数据获取

1、请求分析

在 QQ 网页版直接搜索『说好不哭』,很容易就能找到单曲页面:

说好不哭

拉到页面最下方,可以看到评论的分页查看按钮:

分页查看

按下 F12 点击第二页,在请求流中就可以看到对应的请求:

评论请求

其中可以看到两个重要参数:pagenum 和 pagesize。

将请求 copy 到 Postman 中进行测试:

Postman测试

发现可以直接获取到数据,连 Header 都不需要添加。这里尝试对请求参数进行了精简,最终只需要如下几个参数即可:

参数精简

从 Postman 中可以直接获取到对应的代码:

import requests

url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"

querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}

response = requests.request("GET", url, params=querystring)

print(response.text)

这里是单页评论的获取,所有评论的获取只需递增 pagenum 即可。

2、数据解析

返回数据中有很多暂时不需要的字段,这里我们只取其中的用户名、评论时间、评论内容、点赞数。

对应如下字段:

{

"nick": "丨那壹刻永遠消失\"\"",

"praisenum": 1,

"rootcommentcontent": "越听越好听怎么回事!",

"time": 1568729836,

}

由于数据量较大 这里我们暂时将数据存放在 Excel 中,一来无须依赖外部数据库,二来可以使用 Excel 对数据进行二次处理。

数据存储代码如下:

def file_do(list_info, file_name):

# 获取文件大小

if not os.path.exists(file_name):

wb = openpyxl.Workbook

page = wb.active

page.title = 'jay'

page.append(['昵称','时间','点赞数','评论'])

else:

wb = openpyxl.load_workbook(file_name)

page = wb.active

for info in list_info:

try:

page.append(info)

except Exception:

print(info)

wb.save(filename=file_name)

数据可视化

1、各时段的评论数

首先我们对评论按小时区间进行汇总,由于时间粒度比较小,这里对时间粒度进行了一些处理:

评价人数走势图

周董的新曲是在 9.16 号 23 点准时发布的。可以看出在发布后的一个小时内(23:00-24:00)评论数量达到了高峰,占了总评论数的一半以上。

另外看了一眼 9.16 23 点之前的评论也很有意思:

一种搬好小板凳嗑着瓜子坐等的既视感

2、大家都在说什么

词云生成的方法有很多,可以用代码生成,也可以用一些在线工具。这里我就使用了在线词云工具:WordArt,生成效果如下:

词云

周杰伦、杰伦字眼很明显,还有大量跑来『打卡』的:『好听』、『来了』、『哭了』、『爱了』,其中少不了的还有『青春』,另外『阿信』的出现估计给了很多人惊喜。

3、大家都点赞了哪些评论

我们以点赞数对评论进行了排序,排名靠前的评论是如下一些:

评论排名

另外,QQ 音乐官方也会放出精彩评论:

热心网友昀恺丶

凉城

蜗牛..

对比下可以看出和我们获取到的数据是比较一致的,只不过官方并不是按点赞个数进行排名的,看得出来这些排名靠前的大都是在回忆青春。

这些评论之所以能够得到大家的共鸣,也许他们的青春里都有一个周杰伦吧。

留言互动:你的青春里有周杰伦吗?

源码:https://github.com/hoxis/Python/tree/master/python-web-scraping/qqmusic

声明:本文系作者投稿,版权归作者所有。

【END】

相关推荐

史上最全的浏览器兼容性问题和解决方案

微信ID:WEB_wysj(点击关注)◎◎◎◎◎◎◎◎◎一┳═┻︻▄(页底留言开放,欢迎来吐槽)●●●...

平面设计基础知识_平面设计基础知识实验收获与总结
平面设计基础知识_平面设计基础知识实验收获与总结

CSS构造颜色,背景与图像1.使用span更好的控制文本中局部区域的文本:文本;2.使用display属性提供区块转变:display:inline(是内联的...

2025-02-21 16:01 yuyutoo

写作排版简单三步就行-工具篇_作文排版模板

和我们工作中日常word排版内部交流不同,这篇教程介绍的写作排版主要是用于“微信公众号、头条号”网络展示。写作展现的是我的思考,排版是让写作在网格上更好地展现。在写作上花费时间是有累积复利优势的,在排...

写一个2048的游戏_2048小游戏功能实现

1.创建HTML文件1.打开一个文本编辑器,例如Notepad++、SublimeText、VisualStudioCode等。2.将以下HTML代码复制并粘贴到文本编辑器中:html...

今天你穿“短袖”了吗?青岛最高23℃!接下来几天气温更刺激……

  最近的天气暖和得让很多小伙伴们喊“热”!!!  昨天的气温到底升得有多高呢?你家有没有榜上有名?...

CSS不规则卡片,纯CSS制作优惠券样式,CSS实现锯齿样式

之前也有写过CSS优惠券样式《CSS3径向渐变实现优惠券波浪造型》,这次再来温习一遍,并且将更为详细的讲解,从布局到具体样式说明,最后定义CSS变量,自定义主题颜色。布局...

柠檬科技肖勃飞:大数据风控助力信用社会建设

...

你的自我界限够强大吗?_你的自我界限够强大吗英文

我的结果:A、该设立新的界限...

行内元素与块级元素,以及区别_行内元素和块级元素有什么区别?

行内元素与块级元素首先,CSS规范规定,每个元素都有display属性,确定该元素的类型,每个元素都有默认的display值,分别为块级(block)、行内(inline)。块级元素:(以下列举比较常...

让“成都速度”跑得潇潇洒洒,地上地下共享轨交繁华
让“成都速度”跑得潇潇洒洒,地上地下共享轨交繁华

去年的两会期间,习近平总书记在参加人大会议四川代表团审议时,对治蜀兴川提出了明确要求,指明了前行方向,并带来了“祝四川人民的生活越来越安逸”的美好祝福。又是一年...

2025-02-21 16:00 yuyutoo

今年国家综合性消防救援队伍计划招录消防员15000名

记者24日从应急管理部获悉,国家综合性消防救援队伍2023年消防员招录工作已正式启动。今年共计划招录消防员15000名,其中高校应届毕业生5000名、退役士兵5000名、社会青年5000名。本次招录的...

一起盘点最新 Chrome v133 的5大主流特性 ?

1.CSS的高级attr()方法CSSattr()函数是CSSLevel5中用于检索DOM元素的属性值并将其用于CSS属性值,类似于var()函数替换自定义属性值的方式。...

竞走团体世锦赛5月太仓举行 世界冠军杨家玉担任形象大使

style="text-align:center;"data-mce-style="text-align:...

学物理能做什么?_学物理能做什么 卢昌海

作者:曹则贤中国科学院物理研究所原标题:《物理学:ASourceofPowerforMan》在2006年中央电视台《对话》栏目的某期节目中,主持人问过我一个的问题:“学物理的人,如果日后不...

你不知道的关于这只眯眼兔的6个小秘密
你不知道的关于这只眯眼兔的6个小秘密

在你们忙着给熊本君做表情包的时候,要知道,最先在网络上引起轰动的可是这只脸上只有两条缝的兔子——兔斯基。今年,它更是迎来了自己的10岁生日。①关于德艺双馨“老艺...

2025-02-21 16:00 yuyutoo

取消回复欢迎 发表评论: