前言
要说最近几年最火的APP,微信都要靠边站了(当然不是说日活,是指日使用率),大批的人都沉浸在抖音、小红书里,每天的使用时间高达3-5小时。 博主也不例外,也经常会刷小红书。
这样每天都能刷到一些几万、几十万粉丝的大V,一条短视频的小眼睛就有几十万、上百万,爱心也有几十万+、百万+,甚是羡慕(这一条就能接几万的广告费吧)。
最近使用Springboot写了一些爬虫程序,用来收集图片、视频等素材,帮助我来做短视频。
附个人使用这些素材制作的作品:
翻书
过程也有些曲折,获取视频、图片时发现很多网站加入了防御检测机制,经常会跳出验证码、真人验证等,其实这是因为网站服务器发现单个IP大量、频繁的访问网站,会将此IP加入到黑名单,不返回数据了。
而这种现象就会导致爬虫不工作,我们就会因缺少素材,而不能制作精美的短视频。这个情况在技术群里聊了后,朋友给我推荐了IPIDEA动态IP代理池,利用多个动态变化的IP,来避免单个IP造成的问题。
1、介绍IPIDEA代理
IPIDEA是一个全球IP代理资源服务商, 目前拥有9000万代理IP资源,为全球220+国家地区的用户提供优质代理服务,日更新超过4000万,这些优质的代理池为客户提供高质量的服务,超过99.9%的代理IP都能正常运行,支持http、https、socks5等多种协议类型,并且拥有API形式和账号密码多种使用方式,并提供便捷的辅助文档,帮忙用户更好更快的接入。
1.1、使用场景
IPIDEA的IP代理,可以在哪些场景使用呢?这里给大家展示2种使用场景。
1.1.1、追踪品牌数据
假如我们是一个小米手机品牌方,我现在需要获取泰国市场的小米手机在泰国各电商平台的数据,这时候我们可以使用使用IPIDEA的IP代理,首先获取泰国地区的IP代理,然后使用这些IP代理去调取各大电商平台的API接口(或爬取网页上的销售、评论数据等),这样就能追追踪到真实、实时的品牌数据。
1.1.2、网站国际化测试
假如我们是一个阿里巴巴品牌方,在全球很多电商发达的国家和地区都有网站,现在需要测试一下国际化,看看数据是否按预期展示。以往我们通常会把任务下发给各个国家和地区的负责人,大家各自测试之后,把数据汇总到总部做最后的统计。
我们现在可以直接使用IPIDEA的IP代理,IPIDEA目前拥有全球220+国家地区的9000万代理IP资源,正好可以覆盖到我们这次的测试。我们首先提取这些国家地区的代理IP,IPIDEA代理IP接口返回了地理参数,可以通过程序直接分类。然后使用这些对应国家地区的代理IP,去访问网站,测试网站是否返回了正确的数据(文字、图片等是否已翻译成对应国家的文字)
1.2、确定使用动态IP代理池的方向
今天我们使用IPIDEA动态IP代理池,模拟不同地区的真实用户,去抓取图片、短视频素材数据,为我们做小红书、抖音爆款做准备(后续还会有剪映视频剪辑、腾讯智影、抖音dreamina等AI剪辑工具的教程,附一张dreamina视频生成的图)。
2、规划工作
- 注册IPIDEAIP代理
- 登录IPIDEAIP代理
- 获取赠送流量,获取动态代理IP的API(自动加白名单)
- 在程序里加入IPIDEA的动态代理IP
2.1、注册IPIDEAIP代理
首先从https://share.ipidea.net/KHs5Rj网址进入,现在还有5周年活动,新用户注册赠送17.5G流量。
2.2、登录IPIDEA IP代理
IPIDEA支持手机密码登录,也支持手机短信登录,非常便捷。
2.3、获取赠送流量,获取动态代理IP的API(自动加白名单)
2.3.1、获取赠送流量
站内消息、邮件里都会带有新号注册领取流量通知,如果有问题也可以通过右下角的客服去领取流量。
2.3.2、获取动态代理IP的API(自动加白名单)
在获取流量后,我们就需要通过API去提取代理IP了,我们点击菜单【获取代理】-【API获取】。
在主页面,选择IP数量、国家、代理协议、数据格式(建议JSON,这样我们可以很方便的通过程序解析到IP数据)。
2.4、在程序里加入IPIDEA的动态代理IP
在Springboot项目里通过GET请求去访问IPIDEA的获取IP的API,获取到IP列表信息。
这里我们可以使用ChatGpt去提问,如何使用RestTemplate去做GET请求,获取到IP列表信息。
也可以提问ChatGpt,怎么获取目标网站上的视频,并且利用深度学习把视频转成2K高清视频。
2.4.1、运行效果
ChromeDriver 正在运行,爬取视频数据(同步会把显示的视频封面图片抓取下来),下面演示的是抓取house的数据。
2.4.2、看下抓取好的数据
因为视频抓取时间较久,我这里给大家展示已经抓取到的sea的数据。
可以看到视频的分辨率还是非常高的:1280*720,而且不止有画面,还有音频一起下载下来了。
2.4.3、做壁纸
这么高清的视频不用浪费了,我们的笔记本先用起来,拿其中一张做壁纸。
看到效果,只想大笑几声,哈哈哈哈哈哈哈哈,高清壁纸动起来了。
2.4.4、使用剪映做视频
剩下的交给视频剪辑软件来做了,我们导入图片、视频素材,加入到视频轨道里,就可以做出我们想要的视频了。
总结
信息爆炸的短视频时代,我们想要走的更快更远,离不开工具的应用。
IPIDEA动态IP代理池,在我获取素材的过程中,作用非常巨大, 兄弟们趁着现在IPIDEA 5年活动,赶紧冲,这里附上我的邀请码:KHs5Rj,有想发展短视频的朋友们,可以联系我,咱们以前弯道超车,狠狠的赚钱。