JAVA抓取百度热搜榜实时数据
背景:[JAVA]前几天面试超碧,聊到其接触的项目,有抓取各类排行的实时数据,进行多国语言翻译,抓取目前比较火的语言是php、go,由于目前工作使用JAVA,因此也模拟实现了一下抓取百度热搜榜实时数据。
效果:
步骤:
1、寻址【百度热搜榜】https://top.baidu.com/board?tab=realtime&sa=fyb_realtime_31065
2、寻工具 【Jsoup】可按CSS、标签解析,感谢大牛的组件
3、分析新闻的主要消息,类型、图片、标题、内容、超链接、推荐指数
4、按照分类解析并存储
分享:
1、引用依赖
1 <dependency> 2 <groupId>com.alibaba</groupId> 3 <artifactId>fastjson</artifactId> 4 <version>1.2.60</version> 5 </dependency> 6 <dependency> 7 <groupId>org.jsoup</groupId> 8 <artifactId>jsoup</artifactId> 9 <version>1.12.1</version> 10 </dependency>