本篇属于软件和源码销售,介意者请绕道!
近期,有小伙伴需要抖y平台的视频评论数据做分析,于是就有了今天的案例文章,文章分为两部分:一部分是具有python基础的源码,一部分是针对无代码经验的纯小白使用的抖音视频评论采集软件使用教程。
开撸!
第一部分:python源码公布
纯python源码编辑,requests请求实现,不涉及selenium动态爬虫,这样对于一些只会基础python爬虫的小伙伴就更友好更容易理解了。源码可以自行二次更改使用,但是特此声明:本源码只做学习交流使用!那你自行使用的用途和后果自行承担!
部分源码示例:
import os
import tkinter as tk
import threading
from douyin import Douyinrep
class Douyin(threading.Thread):
def __init__(self, runs, *args):
super().__init__()
self.runs = runs
self.args = args
self.setDaemon(True)
self.start()
def run(self):
self.runs(*self.args)
def task(data_text):
log = Log_week()
logger = log.get_logger()
video_link_str = entry_vd.get("0.0", 'end')
video_link_list = video_link_str.replace(" ", "").split("n")
video_link_list = [i for i in video_link_list if i]
video_id_list = [i.replace("https://www.douyin.com/video/", "") for i in video_link_list]
cookie_val = entry_ck.get("0.0", 'end')
cookie_val = str(cookie_val).strip()
#print('cookie_val:n', cookie_val)
entry_us = entry_ua.get("0.0", 'end')
entry_us = str(entry_us).strip()
Douyinrep(cookie_val, video_id_list,entry_us, txt_msglist, logger).get_dy_cmt()
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
os.makedirs(work_path + "/logs")
#创建窗口
window=tk.Tk()
window.withdraw()
window.update()
window.title('DY_REP(唯一官方在售淘宝店铺:词云社-https://ciyunshe.taobao.com)')
window.iconbitmap('img/logo.ico')
window.resizable(0,0)
width=800
height=600
screenwidth=window.winfo_screenwidth()
screenheight=window.winfo_screenheight()
login_size='%dx%d+%d+%d'%(width,height,(screenwidth-width)/2,
(screenheight-height)/2)
window.geometry(login_size)
window.deiconify()
canvas = tk.Canvas(window, width=width, height=height, highlightthickness=0)
bg_image=tk.PhotoImage(file='img/main.gif')
canvas.create_image(width/2, height/2, image=bg_image)
canvas.pack()
#软件信息介绍
canvas.create_text(400,570, text='''版本号:1.0抖音评论采集版 官方唯一在售淘宝店铺-词云社:https://ciyunshe.taobao.com
其他均属盗版侵权,不享受任何售后服务! 服务咨询邮箱:ciyunshe@163.com
声明:本软件仅供学习交流使用,内置信息受法律保护,未经许可严禁传播!''',
font=('Microsoft JhengHei UI',7,),fill='#b7b7bd')
# 创建cookie输入框
#cookies = tk.StringVar()
entry_ck = tk.Text(
window,
font=("Microsoft JhengHei UI", 9),
bg="#ffffff",
fg="#000000",
background='#eae9d6',
borderwidth=0,)
canvas.create_window(448, 68, width=498, height=17, window=entry_ck)
canvas.pack()
# 创建user_agent输入框
#user_agents = tk.StringVar()
entry_ua = tk.Text(
window,
font=("Microsoft JhengHei UI", 9),
bg="#ffffff",
fg="#000000",
background='#eae9d6',
borderwidth=0,)
canvas.create_window(448, 105, width=498, height=17, window=entry_ua)
canvas.pack()
# 创建视频链接输入框
#videos = tk.StringVar()
entry_vd = tk.Text(
window,
font=("Microsoft JhengHei UI", 9),
bg="#ffffff",
fg="#000000",
background='#eae9d6',
borderwidth=0,)
canvas.create_window(448, 216, width=498, height=119, window=entry_vd)
canvas.pack()
frame1 = tk.Frame(window, width=498, height=129,)
frame1.pack_propagate(0)
frame1.place(x=198, y=312)
# 滚动条
scroll = tk.Scrollbar(frame1,width=15)
# 放到Y轴竖直方向
scroll.pack(side=tk.RIGHT, fill=tk.Y)
# 显示采集数据文本框
data_text = tk.Text(frame1, width=498, height=129,background='#eae9d6')
data_text.config(yscrollcommand=scroll.set)
data_text.pack()
#启动采集按钮
btn_st=tk.PhotoImage(file='img/st.gif')
btn_upst=tk.Button(window,image=btn_st,borderwidth=0,highlightthickness=0,activebackground="#11123b",command=lambda: MyThread(task, data_text))
btn_upst.place(x=322,y=496)
#退出软件按钮
btn_ov=tk.PhotoImage(file='img/ov.gif')
btn_upov=tk.Button(window,image=btn_ov,borderwidth=0,highlightthickness=0,activebackground="#11123b",command=window.quit)
btn_upov.place(x=488,y=496)
window.mainloop()
完整源码可以私信有偿获取(邮箱发送),也可以根据以上代码中的地址(店铺:词云社,https://ciyunshe.taobao.com)咨询客服自行选购(店铺会比私信便宜10元),看下最终采集效果(包括主体一级评论和回复性二级评论数据):
python源码介绍完毕,下面是第二部分:针对纯小白使用的抖音评言仑采集软件教程(仅适用win7-10系统,其他系统请绕道!)该软件获取方式依然是私信,有偿邮箱发送,或者直接根据以上代码中的地址(店铺:词云社,https://ciyunshe.taobao.com)咨询客服自行选购(店铺会比私信便宜10元)
DY_REP抖音采集器使用文档
由于抖y平台采集相比其他平台难度较大,因此软件中的参数设置是有要求的(特别是视频链接的转换!),请务必认真查看此文档参数查找方式后再使用DY_REP抖音采集软件,否则采集数据会报错!!!
一、重要参数-Cookie值和User-agent值查找方式:
1、用抖y账号登录抖音平台(不登录,Cookie值无法使用)。
2、登陆后,如下图:
按键盘上的快捷键F12调出开发者界面:
- 点选“网络”
- 点选“Fetch/XHR”
- 输入框输入“Cookie”,键盘回车键确认
- 下方出现的链接中随便点选一条即可(如果此处没有出现一些地址链接,按键盘Ctrl+R键刷新一下,重新操作以上步骤即可)
- 点选右侧“标头”
- 下滑鼠标即可找到Cookie值,再下滑即可找到User-agent值。一定要复制粘贴完整!!!(不同的浏览器可能位置不同,这两个值就在右侧的”标头“中下滑鼠标查找即可。)
二、重要参数-视频链接的转换方式:
1、抖y平台的数据采集,需要将我们待采集的视频链接进行转换后才能使用,如下图所示:
- 首先进入我们需要待采集的视频
- 点选界面右侧“分享”按钮-点选“复制链接”
- 将复制好的链接粘贴至浏览器输入框中,不要按确认键!!!这个链接就是我们要转换的链接。(或者也可以复制粘贴到新建一个txt文本中待用)。
- 注意!重点!以上图视频举例,此时复制过来的链接形式一般是这样的:
“7.99 jPx:/ o@q.Rx 04/03 《车祸模拟器》嘿嘿,我下次一定做个好司机 # steam游戏 # 出租生涯模拟城市驾驶 https://v.douyin.com/iFMth11f/ 复制此链接,打开Dou音搜索,直接观看视频!”
- 其中的标红字段(https://v.douyin.com/iFMth11f/)才是采集需要的转换链接,复制-粘贴到浏览器输入框–回车键确认即可自动转换链接,此时该链接会在浏览器输入框中转换成“https://www.douyin.com/video/7344246197063781643”。
- 将以上转换后的视频链接复制粘贴入软件对应参数输入框中即可。
- 其他视频链接转换同以上方式操作即可。