最近需要做百度地图数据采集，怎么做效果更好？
发布网友
发布时间：2022-04-20 07:57
共2个回答
热心网友
时间：2023-09-19 09:11
在进行定量城市分析时（如研究某市某片区的空间分析），需要用到地理位置信息以及现状设施建筑等的分布情况，这就必须获得相关的地理坐标信息。因此数据的获取与处理是进行定量城市分析所需的前置作业，此阶段的工作决定了后续分析的效度和质量。
这里采集数据使用到的工具是火车头采集器8.5。
火车头采集器一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。
特点：采集不限网页，不限内容；
分布式采集系统，提高效率；
支持PHP和C#插件扩展，方便修改处理数据，但需要懂得火车头规则或者正则表达式。
API是一些预先定义的函数，目的是提供应用程序开发人员基于某软件或硬件得以访问一组程序的能力，而又无需访问源码，或理解程序内部工作机制的细节。API服务商在提供数据的同时也在收集用户的信息，这是一个双向过程。
百度地图Web服务API中提供了地点检索服务、正/逆地理编码服务、路线规划、批量算数、时区服务、坐标转换服务及鹰眼轨迹服务等。其中地点检索服务（又名Place API），提供多种场景的地点（POI）检索功能，包括城市检索、周边检索、矩形区域检索。
以通过百度地图API获取绵阳市饭店数据为例。
1.申请百度地图开放平台开发者秘钥
首先打开百度地图开放平台（http://lbsyun.baidu.com/index.php?title=%E9%A6%96%E9%A1%B5），点击右上角控制台，再点击应用管理→我的应用→创建应用，申请开发者秘钥（ak），并选择以下服务项。
2.通过接口获取详细地理信息
开发者可以通过接口获取地点（POI）基础或详细地地理信息。其返回的是Json类型数据（一个区域最大返回数是400，每页最大返回数为20）。当某区域、，某类POI个数多于400时，可以选择把该区域分成子区域进行检索或通过矩形、圆形区域方式进行检索查阅页面中Place检索格式和实例如下：
格式： http://api.map.baidu.com/place/search?&query=关键字&bounds=查询区域&output=输出格式类型&key=用户密钥
实例： http://api.map.baidu.com/place/search?&query=ATM机&bounds=绵阳&output=json&ak=你的密钥 (你的秘钥就是上一步申请得到的)
（什么是Place API详细说明可见此网址https://developer.baidu.com/map/place-api.htm#.E4.BB.80.E4.B9.88.E6.98.AFPlace_API.EF.BC.9F）
其中“关键字”、“查询区域”、“输出格式类型”、“用户秘钥”可以根据自己的需要替换，而page_num为选填项，表示分页码，因为只有设置了page_num字段才会在结果页面中返回标识总条数的total字段，方便在火车采集器中做相关设置，如下：
http://api.map.baidu.com/place/v2/search?&query=饭店&tage=美食®ion=绵阳&output=json&page_num=0&ak=kRA0vIfH6UHEVYUAhPLnkS72BwtVBYnI
访问该网址，返回结果如下图：
3.用火车头采集器采集地理信息
在火车头软件中，首先点击左上角的“新建”，然后点击“分组”进入新建界面自己命名然后保存既可。建好分组后，再点击新建。然后点击“任务”，命名为“百度API”。
然后在第一步--采集规则页面，点击“添加”键，在添加开始采集网址页面，选择“批量/多页”方式获取地址格式，在地址格式一栏中填入Place检索链接，并将page_num字段用(*)标识为变量，选择等差数量方式，在项数与返回Json结果中total字段一致，公差为1。
在访问百度地图API接口返回的Json网页中，在需要提取信息处复制该条信息。例如复制此处获得“name”:周肥肠（总店）”，。
在火车头采集器第二步采集内容规则页面，添加标签，标签名填入“名称”，提取数据方式处选择“前后截取”，在标签编辑页用（*）代替要采集的内容，并将要采集内容的前后内容分别填入“开始字符串”、“结束字符串处”。
经度、纬度的获取方式与“名称”方式相同。
添加完成后，点击规则测试页面的“测试”键，对POI的“名称”、“经度”、“纬度”三种标签进行测试，测试可以得到正确获取信息之后，进入“第三步：发布内容设置”页面，选择“方式二：保存为本地Word，Excel，Html，Txt等文件”，并制作与标签相对应的Gsv格式的模板，完成后，点击“保存”按钮，采集数据就完成了。
退回到主界面，在“采网页”及“采内容”下打对勾，点击开始任务，即可完成百度地图绵阳市饭店的数据获取。
热心网友
时间：2023-09-19 09:12
八爪鱼采集器内置了百度地图的采集模板，可以帮助用户快速采集百度地图上的商家数据。如果模板内没有需要的字段，可以使用自定义模式进行规则采集。具体操作步骤如下：1. 打开八爪鱼采集器，并创建一个新的采集任务。2. 在任务设置中，输入百度地图的网址（www.map.baidu.com）作为采集的起始网址。3. 配置采集规则。可以使用智能识别功能，让八爪鱼自动识别百度地图页面的数据结构，或者手动设置采集规则。4. 如果手动设置采集规则，可以通过鼠标选择页面上的数据元素，如商家名称、地址、电话等，并设置相应的采集规则，以确保正确获取所需的数据。5. 设置翻页规则。由于百度地图的商家数据可能分页显示，需要设置八爪鱼采集器自动翻页，以获取更多的数据。6. 运行采集任务。确认设置无误后，可以启动采集任务，让八爪鱼开始采集百度地图上的商家数据。7. 等待采集完成。八爪鱼将根据设置的规则自动抓取页面上的商家数据，并将其保存到本地或导出到指定的数据库等。八爪鱼采集器是一款功能强大、操作简单的数据采集工具，可以帮助用户快速采集各类网页上的数据。如果您有其他数据采集需求，可以前往八爪鱼官网了解更多详情，并联系我们的人工客服获取更多帮助。八爪鱼一对一人工客服服务，为您提供量身定制的解决方案，助力业务增长，请前往官网联系我们。
