跳到正文
后宇的技术站

[原创] java爬虫构建自己的比价系统

之前更新了一个python爬虫的比价系统,然后最近抽找时间写了一个java版的,并且提供接口给大家调用,初衷是方便大家做一些项目可以加上一个小功能,所以请不要商业用途,提供出来的接口不可以连续频繁访问,设置了5秒限制,希望大家遵守游戏规则,

爬虫与数据0 评论2 分钟读完#Java#爬虫

之前更新了一个python爬虫的比价系统,然后最近抽找时间写了一个java版的,并且提供接口给大家调用,初衷是方便大家做一些项目可以加上一个小功能,所以请不要商业用途,提供出来的接口不可以连续频繁访问,设置了5秒限制,希望大家遵守游戏规则,如果确实需要频繁一点获取?1.代码托管到github,clone自行提取主要功能模块整合;2.联系我针对个别 ip or user 授权访问。

  • 说明: 这次抓取的不是慢慢买的比价信息,是比比鲸的数据,为什么换了呢?实在没想到慢慢买的工程师如此简单粗暴,如果同一个IP短时间获取稍微过多,竟然封IP(20分钟左右吧,搞笑的是电脑浏览器都访问不了,这反爬我还真是第一见),这也是我不能忍的,想破也简单,搭一个IP池即可,之前玩python曾经搭一个IP池,但是现在java方面还没有时间同步,等有时间了写一个IP池接口那以后就方便了!

  • 项目坐标: https://github.com/18312097143/data-interface

  • 声明: 数据来源于比比鲸,请不要商业用途。

  • 接口 ex:http://47.107.101.121:8081/data-interface/bijia?key=荣耀10&page=1 说明:

    • key 必要参数

    • page 可选参数,default=1

      正常调用: 成功调用 频繁调用: 在这里插入图片描述

讨论:
读完了,这篇对你有用吗?

一个赞就是继续写的理由,或者把问题写在下面的评论区,我基本都会回。

继续读别的

讨论

说点什么
0 / 1000