【毕业设计
文章目录
- 0 项目说明
- 1 研究目的
- 2 研究方法
- 3 数据来源
- 3.1招聘信息
- 3.2 房租信息
- 3.3 城市气候信息
- 3.4 空气质量指数信息
- 3.5 旅游景点信息
- 3.6 美食信息
- 4 项目源码
0 项目说明
宜居城市信息可视化平台
提示：适合用于课程设计或毕业设计，工作量达标，源码开放
1 研究目的
通过搜集城市相关数据，减少用户收集信息的时间，并为用户选择心目中的宜居城市提供更有利的依据。
2 研究方法
通过网络爬虫就城市的招聘、租房、城市的气候、空气质量指数、美食、旅游景点等等数据进行爬取入库，最后再进行数据的分析统计处理，并通过web可视化的方式展现这些信息变化的特征。
3 数据来源
3.1招聘信息
招聘信息的数据来源为智联招聘，首先构造出城市+工作职位的url，以便我们更好的搜索数据和解析页面数据。例如.ashx?jl=北京&kw=java（jl后边的是城市，kw为职位名），根据此url解析第一页获取工作数量，智联招聘一页最多显示60条工作职位的信息，一共显示90页，所以我们根据获取的工作数量来确定需要抓取数据的页数，条数大于90页的则获取90页，小于90页的则使用实际页数。然后根据页数构建出最终的url：.ashx?jl=北京&kw=java&p=1（p为页码）最后抓取每一页上对应具体工作的url所对应的工作信息及其公司信息。统计出最大工资与最小工资的平均工资，中位数工资，以及工资和工作经验的关系等
3.2 房租信息
房租信息数据主要来源于赶集网，同样首先构建出对应城市url，例如：
http://{}.ganji/fang1/o{}/
（第一个{}表示城市的汉子拼音首字母，第二个{}为页数），这里我们只抓取30页。统计出该城市有哪些中介公司，房屋的朝向和价格的关系，计算出每平米的价格等等。
3.3 城市气候信息
气候信息数据主要来源于天气网，构建出的url为/{}/index.html（{}为城市汉子的拼音）。抓取该城市自2011-01-01以来的所有天气信息。统计出对应的历史天气，风向、风力以及每月的气温变化等。
3.4 空气质量指数信息
AQI信息数据主要来源于中国空气质量在线监测分析平台历史数据网，构建出的url为.php?city=北京 PM2.5历史数据网的数据主要是2013年12月到现在的数据。抓取每个月的数据统计量以及每月对应每天的数据量。统计AQI月变化的趋势以及等级月变化的趋势，统计等级的月数和天数。
3.5 旅游景点信息
景点信息数据主要来源于欣欣旅游网，构建的url为：http://{}cn/jingdian/1-{}-0-0.html (第一个{}为城市名的拼音，第二个{}为页数)，首先抓取对应的页数，然后再针对每一页抓取当前城市的所有景点信息。将对应的景点的照片下载到本地，列表展示景点信息，统计出景点的热度排名。
3.6 美食信息
美食信息数据也来源于欣欣旅游网，构建的url为：http://{}cn/meishi/index{}.htm （第一个{}为城市名的拼音，第二个{}为页数）。同样先抓取页数，如果所抓取的页数为空，则说明只有一页。抓取该城市的所有美食信息，将美食图片下载到本地，列表展示之，并根据热度进行排名。