前言

嗨喽，大家好呀！这里是魔王呐~

环境使用:

• Python 3.8
• Pycharm

模块使用:

• requests >>> pip install requests 数据请求模块
• parsel >>> pip install parsel 数据解析模块
• csv 内置模块

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
2. 点击齿轮, 选择add
3. 添加python安装路径

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
3. 选择相应的插件点击 install(安装) 即可
4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

思路分析

这有自己的一套模板 <通用>

一. 数据来源分析

1. 确定自己采集数据是什么, 并且这些数据可以从那里获取到

链家网站数据, 静态网页…. <你所看到的数据, 都来于网页源代码>

二. 代码实现步骤过程

1. 发送请求, 对于url地址发送请求 https://cs.lianjia.com/ershoufang/104108672997.html
2. 获取数据, 获取网页源代码数据
3. 解析数据, 提取我们想要的数据内容
4. 保存数据, 把数据保存到表格里面

代码

一、采集数据

1.1 导入模块

# 导入数据请求模块
import requests
# 导入数据解析模块
import parsel
import re
import csv
f = open("二手房多页.csv", mode="a", encoding="utf-8", newline="")
csv_writer = csv.DictWriter(f, fieldnames=[
    "标题",
    "卖点",
    "总价",
    "单价",
    "户型",
    "楼层",
    "共有楼层数",
    "装修",
    "朝向",
    "建造时间",
    "面积",
    "小区",
    "区域",
    "所属区",
    "梯户比例",
    "是否有电梯",
    "房屋属性",
    "详情页",
])
csv_writer.writeheader()