C# 网络爬虫

wenshangang 2010-10-12 04:25:19
请问 用C#怎么写网络爬虫,这样判断循环链,怎样爬相对地址?或者给个源码看看也行!谢谢
...全文
1440 22 打赏 收藏 转发到动态 举报
写回复
用AI写文章
22 条回复
切换为时间正序
请发表友善的回复…
发表回复
xl597576226 2011-06-17
  • 打赏
  • 举报
回复
学习一下
xq870723 2011-06-06
  • 打赏
  • 举报
回复
太高深了,还是不会。
氰客 2011-03-17
  • 打赏
  • 举报
回复
来顶一下,有没有好点的算法,介绍一下
Fu_jia520 2010-12-21
  • 打赏
  • 举报
回复
太高深
wenshangang 2010-10-18
  • 打赏
  • 举报
回复
呵呵……用过的能不能给个例子看看……网上载的有的功能太简单,有的又看不懂
whb147 2010-10-14
  • 打赏
  • 举报
回复
只写过抓黄色图片的,嘿嘿
内容还没有玩过
主要是内容还需要分析css
csw535531988 2010-10-14
  • 打赏
  • 举报
回复
技术含量太高,不会帮顶,但是LZ写好了要给我一份哦,csw535531988@yahoo.cn
tom_skypower 2010-10-13
  • 打赏
  • 举报
回复
自己也可以写一个,用webbroswer
champ4077 2010-10-13
  • 打赏
  • 举报
回复
好像很高深的样子
無名小伙 2010-10-13
  • 打赏
  • 举报
回复
页面解析的时候可以使用htmlparser.net
fengyuananan 2010-10-13
  • 打赏
  • 举报
回复
网络爬虫,学习,帮楼主顶
柳晛 2010-10-13
  • 打赏
  • 举报
回复
相对地址和绝对地址格式不一样,可以判断出来。而且相对地址肯定是当前域名内部的地址。
greyrainbow2010 2010-10-13
  • 打赏
  • 举报
回复
这个不太好做吧
google, baidu用的
如果很好解决,那搜索引擎应该很容易了
效率问题很难搞定吧
zhouxingyu896 2010-10-13
  • 打赏
  • 举报
回复
火车头软件还行,楼主可以参考下
网络爬虫做好不容易
通过url再请求下源码,再分析里面的内容,有些还需要考虑血缘关系
希望楼主找到好的思路
关注
嗷嗷 2010-10-13
  • 打赏
  • 举报
回复
没什么技术含量,帮顶
s364021318 2010-10-13
  • 打赏
  • 举报
回复
写了的共想一下。
wuyq11 2010-10-12
  • 打赏
  • 举报
回复
网络爬虫对网页而言,重在采集内容
从一个网页入口,分析链接,一层一层的遍历,或者从一组网页入口,或者从一个rss源列表开始爬rss;
获取每个页面的源码保存在磁盘或者数据库里;
遍历抓下来的网页进行处理,比如提取正文,消重等;
根据用途把处理后的文本进行索引、分类、聚类等操作
httpwebrequest,webclient
参考
maddemon 2010-10-12
  • 打赏
  • 举报
回复
用Wget
Alden 2010-10-12
  • 打赏
  • 举报
回复
好象用WebClient可以获得一个网页,最简单的就是使用正则表达式查找地址,专业的找一些连接分析工具或者自己研究吧,网上有一些好的算法。

110,544

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧