网站内链接分析问题

hylgogogo_2009 2010-09-25 02:46:40

如何获取网站的所有站内链接，并分析链接是否通过？

包括网站的所有页面
请教高手。。。

...全文

169 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

hylgogogo_2009 2010-09-25

打赏
举报

呵呵谢谢没做过这方面的程序

symbol_bc 2010-09-25

打赏
举报



 Regex reg = new Regex(@"(?is)<a[^>]+>(?><a(?<o>)(?<p>)|</a>(?<-o>)|((?!</?a).)*)*(?(o)(?!))(?(p)|(?!))</a>");

MatchCollection mc = reg.Matches(yourStr);

foreach (Match m in mc)

{ 

string url = m.Groups["url"].Value;

    SendRequest(url);

}

//楼主不应该什么都问，这样不利于自己成长。

hylgogogo_2009 2010-09-25

打赏
举报

链接我都取出来了，也分析好了，也存到队列中了，但是如何循环分析队列中的链接数据呢？

hylgogogo_2009 2010-09-25

打赏
举报

谢谢，我去试试。。。

symbol_bc 2010-09-25

打赏
举报



HttpWebRequest httpReq = (HttpWebRequest)WebRequest.Create("http://www.contoso.com");

httpReq.AllowAutoRedirect = false;



HttpWebResponse httpRes = (HttpWebResponse)httpReq.GetResponse();



if (httpRes.StatusCode==HttpStatusCode.OK) 

{

   // 根据HttpStatusCode对照判断当前链接是否用



   //读出数据

     System.IO.StreamReader sr = new System.IO.StreamReader(httpRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));



  string HTML = sr.ReadToEnd();



   //取出所有链接

    Regex reg = new Regex(@"(?is)<a[^>]+>(?><a(?<o>)(?<p>)|</a>(?<-o>)|((?!</?a).)*)*(?(o)(?!))(?(p)|(?!))</a>");

MatchCollection mc = reg.Matches(yourStr);

foreach (Match m in mc)

{

    SendRequest(m.Value);

}



// Close the response.

httpRes.Close();