首页 新闻 论坛 群组 Blog 文档 下载 读书 Tag 网摘 搜索 .NET Java 游戏 视频 人才 外包 培训 数据库 书店 程序员
中国软件网
欢迎您:游客 | 登录 注册 帮助
    • 散分之余的小问题 [已结贴,结贴人:hackztx]
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • hackztx
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    • 揭帖率：
    发表于：2008-05-21 13:13:10 楼主
    关于采集问题的构思
    100  修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • hackztx
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:13:441楼 得分:0
    关联到这个帖子
    http://topic.csdn.net/u/20080521/13/dfbd86d2-b38b-4af7-b406-277a17fc16b8.html?seed=1246833382
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • jenkin1016
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:14:352楼 得分:8
    jf
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • neT00
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:15:493楼 得分:8
    关注
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • ericzhangbo1982111
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:17:094楼 得分:8
    这个。。。jf
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • sjm2003
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:17:315楼 得分:8
    DB
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • zhoufoxcn
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:20:526楼 得分:20
    这个需要对相关网页的结构有一个分析，比如HTML中产品名称前后有些什么特征，产品介绍有什么特征，报价有什么特征，如果分页，分页的链接有什么特征。

    对于每条记录我们设置一个标志，标志分为：正常、未执行、分析出错、IP地址限制等等。

    只有将所有信息写到数据库之后才将标志设置为正常，这样就可以根据标志知道哪些没有正常执行，下次执行的时候继续执行。

    至于表结构你可以根据人家HTML代码分页，哪些有特征并且是你需要的就添加相应字段。

    还可以分析网页的结构，从目录页开始，采用多线程去抓取和分析，并负责添加到数据库。
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • yuxuanji
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:24:377楼 得分:8
    jf 帮顶
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • huaer1011
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:25:348楼 得分:8
    我是来接分的~
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • huaer1011
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:25:599楼 得分:8
    帮顶~
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • huaer1011
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:26:2110楼 得分:8
    jf
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • hackztx
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:34:4311楼 得分:0
    @_@
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • woshigefantong
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 13:41:2112楼 得分:8
    不明白楼主在说什么
    或许是因为本鸟太菜了吧
    帮忙顶一下
    修改 删除 举报 引用 回复
    进入用户个人空间
    加为好友
    发送私信
    在线聊天
    • ysn1314
    • 等级:
    • 可用分等级：
    • 总技术专家分：
    • 总技术专家分排名：
    发表于：2008-05-21 14:58:0113楼 得分:8
    引用 10 楼 huaer1011 的回复:
    jf
    修改 删除 举报 引用 回复
    网站简介－广告服务－网站地图－帮助－联系方式－诚聘英才－English－ 问题报告
    北京创新乐知广告有限公司 版权所有 京 ICP 证 070598 号
    世纪乐知(北京)网络技术有限公司 提供技术支持
    Copyright © 2000-2008, CSDN.NET, All Rights Reserved