| 失效链接处理 |
|
SpringBoot手写爬虫获取国家统计局行政区划数据实战 PDF 下载
本站整理下载：
相关截图：
主要内容：
1. 手写爬虫获取国家统计局行政区划数据
很多地方需要用到 统计用区划和城乡划分代码 这块以国家统计局的权威数据为准，但是人家是一个网页。
虽然Python解析起来很快，但我还是想用 Java 写一套，打发时间也好，无聊也罢，学习学习。
首先要做的就是分析网页的内容特点，进行数据建模和构建框架。
我本机MySQL运行的，图个方便也没用Oracle或者服务器类，一切从简。
CREATE TABLE tb_locations (
id bigint(20) NOT NULL,
flag varchar(6) DEFAULT NULL,
手写爬虫获取国家统计局行政区划数据.md 2020/12/30
2 / 17
local_code varchar(30) DEFAULT NULL,
local_name varchar(100) DEFAULT NULL,
lv int(11) DEFAULT NULL,
sup_local_code varchar(30) DEFAULT NULL,
url varchar(60) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
先说下我的实现思路：自上而下，逐级递归。
统计用区划和城乡可以想象成一个树形结构，主干就是省、直辖市、自治区。逐级解析html文本内容，再拼装
成完整URI路径作为下一级路径解析依据。
这里用到两个技术点：
Mybatis实现的批量提交
dom4j解析xml元素
1.1. 依赖包
|
苏公网安备 32061202001004号
