社区
C#
帖子详情
C# 网络爬虫
wenshangang
2010-10-12 04:25:19
请问 用C#怎么写网络爬虫,这样判断循环链,怎样爬相对地址?或者给个源码看看也行!谢谢
...全文
1440
22
打赏
收藏
C# 网络爬虫
请问 用C#怎么写网络爬虫,这样判断循环链,怎样爬相对地址?或者给个源码看看也行!谢谢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
22 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
xl597576226
2011-06-17
打赏
举报
回复
学习一下
xq870723
2011-06-06
打赏
举报
回复
太高深了,还是不会。
氰客
2011-03-17
打赏
举报
回复
来顶一下,有没有好点的算法,介绍一下
Fu_jia520
2010-12-21
打赏
举报
回复
太高深
wenshangang
2010-10-18
打赏
举报
回复
呵呵……用过的能不能给个例子看看……网上载的有的功能太简单,有的又看不懂
whb147
2010-10-14
打赏
举报
回复
只写过抓黄色图片的,嘿嘿
内容还没有玩过
主要是内容还需要分析css
csw535531988
2010-10-14
打赏
举报
回复
技术含量太高,不会帮顶,但是LZ写好了要给我一份哦,csw535531988@yahoo.cn
tom_skypower
2010-10-13
打赏
举报
回复
自己也可以写一个,用webbroswer
champ4077
2010-10-13
打赏
举报
回复
好像很高深的样子
無名小伙
2010-10-13
打赏
举报
回复
页面解析的时候可以使用htmlparser.net
fengyuananan
2010-10-13
打赏
举报
回复
网络爬虫,学习,帮楼主顶
柳晛
2010-10-13
打赏
举报
回复
相对地址和绝对地址格式不一样,可以判断出来。而且相对地址肯定是当前域名内部的地址。
greyrainbow2010
2010-10-13
打赏
举报
回复
这个不太好做吧
google, baidu用的
如果很好解决,那搜索引擎应该很容易了
效率问题很难搞定吧
zhouxingyu896
2010-10-13
打赏
举报
回复
火车头软件还行,楼主可以参考下
网络爬虫做好不容易
通过url再请求下源码,再分析里面的内容,有些还需要考虑血缘关系
希望楼主找到好的思路
关注
嗷嗷
2010-10-13
打赏
举报
回复
没什么技术含量,帮顶
s364021318
2010-10-13
打赏
举报
回复
写了的共想一下。
wuyq11
2010-10-12
打赏
举报
回复
网络爬虫对网页而言,重在采集内容
从一个网页入口,分析链接,一层一层的遍历,或者从一组网页入口,或者从一个rss源列表开始爬rss;
获取每个页面的源码保存在磁盘或者数据库里;
遍历抓下来的网页进行处理,比如提取正文,消重等;
根据用途把处理后的文本进行索引、分类、聚类等操作
httpwebrequest,webclient
参考
maddemon
2010-10-12
打赏
举报
回复
用Wget
Alden
2010-10-12
打赏
举报
回复
好象用WebClient可以获得一个网页,最简单的就是使用正则表达式查找地址,专业的找一些连接分析工具或者自己研究吧,网上有一些好的算法。
c#
网络
爬虫
程序设计.zip
c#
网络
爬虫
程序设计.zip
C#
网络
爬虫
-做了算法优化和连接优化
C#
网络
爬虫
,一个比较好的代码,有注释,程序做了不少的优化
C#
网络
爬虫
源码
这是一款用
C#
编写的
网络
爬虫
主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和...
C#
网络
爬虫
程序源码
C#
网络
舆论监控系统源码
C#
网络
爬虫
程序源码
C#
网络
舆论监控系统源码 不下载就后悔 错过了就后悔的啊
C#
110,544
社区成员
642,578
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章