12,162
社区成员
发帖
与我相关
我的任务
分享我最近想要做个网络爬虫，但是对里面的算法和原理不是很懂!希望各位大虾，牛人，专家，智者能指点一下！临网涕零，感激不尽！
我最近想要做个网络爬虫，但是对里面的算法和原理不是很懂!希望各位大虾，牛人，专家，智者能指点一下！临网涕零，感激不尽！
...全文
请发表友善的回复…
发表回复
xzf_fancy 2011-05-06
- 打赏
- 举报
用搜索控件
whb147 2011-05-03
- 打赏
- 举报
很多开源的
就看你要搜索到什么级别
就看你要搜索到什么级别
变成熊猫你就老实了是不 2011-04-26
- 打赏
- 举报
搜索蜘蛛
原来 2011-04-14
- 打赏
- 举报
简单说就是偷东西
cjh200102 2011-03-24
- 打赏
- 举报
有很多现成的工具。
主要是抓取页面数据，
然后再分解数据。
主要是抓取页面数据，
然后再分解数据。
FLY 2011-03-22
- 打赏
- 举报
这个是搜索引擎的?
happyer_longlong 2011-02-02
- 打赏
- 举报
提取超链接，然后下载html 分析提取数据 and so on
wuyq11 2011-02-02
- 打赏
- 举报
从一个网页入口，分析链接，一层一层的遍历，或者从一组网页入口，或者从一个rss源列表开始爬rss；
获取每个页面的源码保存在磁盘或者数据库里；
遍历抓下来的网页进行处理，比如提取正文，消重等；
根据用途把处理后的文本进行索引、分类、聚类等操作
http://topic.csdn.net/u/20101012/16/50358cc0-76f1-4067-9860-4fc9c6686254.html
获取每个页面的源码保存在磁盘或者数据库里；
遍历抓下来的网页进行处理，比如提取正文，消重等；
根据用途把处理后的文本进行索引、分类、聚类等操作
http://topic.csdn.net/u/20101012/16/50358cc0-76f1-4067-9860-4fc9c6686254.html
