本站业务范围:1、PC端软件开发、网站开发 2、移动端APP、网站、微信接口、微商城开发 3、视频教程、毕业设计辅导
 当前位置:文章中心 >> vs2015_vs2017_vs2010_vs2012_vs2013
立即购买视频教程 用C#抓取需要登录的页面数据
夜鹰教程网 来源:www.yyjcw.com 日期:2016/10/25 19:33:33
分享到:
 用C#抓取需要登录的页面数据

这篇文章不能解决你的问题?我们还有相关视频教程哦!

QQ:1416759661 新手QQ群:7835003  加Q远程协助!

在线解答|Demo制作|远程调试| 点击查看相关的视频教程

技术咨询: 购买教程  技术咨询:购买教程  大胆的加QQ咨询。

抓取需要登录的页面的内容,原理主要是:先模拟登录,获取到COOKIE,然后接下来的访问,都使用这个COOKIE,就可以访问到需要登录的页面。

理论上,浏览器可以做到的事情,程序应该也可以。

不过,模拟登录,说起来容易,但不同站点有不同的处理方式,复杂程度不同。

1、最简单的,是POST适当的数据,不用验证码

2、象Discuz!系列的,要先访问某一个页面,获得随机码,然后置于POST数据中,才可以登录

3、需要验证码。验证码识别是另外一个课题。

无论如何,POST数据必须的。那么,模拟登录,需要POST哪些数据呢?

其实,需要POST哪些数据,每个站点都有所不同,所以要有一个合适的工具来进行分析。我装的是firefox的扩展控件:HttpFox。利用它,可以很方便的获取登录指定站点时,所需要提交的数据串。

模拟登录的代码是这样的:

[csharp] view plaincopy

  1. //sPostData,待提交的数据串,如http://www.test.com/login.aspx?user=admin&pwd=123456  

  2.         public static CookieContainer Login(string url, string sPostData, CookieContainer cc)  

  3.         {  

  4.             CookieContainer container = (cc == null) ? new CookieContainer() : cc;  

  5.             ASCIIEncoding encoding = new ASCIIEncoding();  

  6.             byte[] data = encoding.GetBytes(sPostData);  

  7.   

  8.             HttpWebRequest resquest = ResquestInit(url);  

  9.             resquest.Method = "POST";  

  10.             resquest.ContentLength = data.Length;  

  11.             resquest.CookieContainer = container;  

  12.   

  13.             Stream newStream = resquest.GetRequestStream();  

  14.             newStream.Write(data, 0, data.Length);  

  15.             newStream.Close();  

  16.             try  

  17.             {  

  18.                 HttpWebResponse response = (HttpWebResponse)resquest.GetResponse();  

  19.                 response.Cookies = container.GetCookies(resquest.RequestUri);  

  20.             }  

  21.             catch{}  

  22.   

  23.             return container;  

  24.         }  

  25. //这个函数的作用就是统一Request的格式,使得每次访问目标网站都用相同的口径。如果参数不同的话,可能造成COOKIE无效,因而登录无效  

  26.  public static HttpWebRequest ResquestInit(string url)  

  27.         {  

  28.             Uri target = new Uri(url);  

  29.             HttpWebRequest resquest = (HttpWebRequest)WebRequest.Create(target);  

  30.             resquest.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2 (.NET CLR 3.5.30729)";  

  31.             resquest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";  

  32.             resquest.AllowAutoRedirect = true;  

  33.             resquest.KeepAlive = true;  

  34.             resquest.ReadWriteTimeout = 120000;  

  35.             resquest.ContentType = "application/x-www-form-urlencoded";  

  36.             resquest.Referer = url;  

  37.   

  38.             return resquest;  

  39.         }  


获得这个CookieContainer后,保存下来,以后每访问该网站,都带上它。CookieContainer相当于浏览器的COOKIE容器,里面存放访问各个网站的COOKIE。

带COOKIE访问代码如下:

[csharp] view plaincopy

  1. static HttpWebResponse GetResponse(string url, CookieContainer cc)  

  2. {  

  3.     try  

  4.     {  

  5.         CookieContainer container = (cc == null) ? new CookieContainer() : cc;  

  6.         HttpWebRequest resquest = ResquestInit(url);  

  7.         resquest.CookieContainer = container;  

  8.         HttpWebResponse response = (HttpWebResponse)resquest.GetResponse();  

  9.         response.Cookies = container.GetCookies(resquest.RequestUri);  

  10.         return response;  

  11.     }  

  12.     catch  

  13.     {  

  14.         return null;  

  15.     }  

  16. }  

其中参数 CookieContainer cc 就是保存的CookieContainer。

复制链接 网友评论 收藏本文 关闭此页
上一条: C#中正则表达式的用法  下一条: VS2015新功能
购买夜鹰教程网视频教程
  推荐教程/优惠活动

  热门服务/教程目录

  夜鹰教程网  新手必看,详细又全面。
  夜鹰教程网  购买教程  夜鹰教程网  在线支付-方便
  夜鹰教程网  担保交易-快捷安全   夜鹰教程网  闪电发货
  夜鹰教程网  电话和QQ随时可以联系我们。
  夜鹰教程网 不会的功能都可以找我们,按工作量收费。

客服电话:153 9760 0032

购买教程QQ:1416759661  购买教程
  热点推荐
一个关于天气预报的WebService【C…
VS2010最大的新特点是并行编程的进…
TextBox控件:asp.net中如何为密码…
Web服务调用实例:实现天气预报的…
ASP.NET程序员面试试题(130道题)
ASP.NET教程:调用WebService的源码…
网站开发全程设计
据说这套.net面试题很多网络公司都…
考考你:C#常见题型及部分答案
原创:.net读取数据库sql2000
伪静态URL重写配置
配置web.config代码asp.net3.5个性…
使用线程池提高性能 Socket网络编…
ASP.NET(C#)GridView表头的增加…
如何找到正确的学习方向【.NET版】…
  尊贵服务
夜鹰教程网 承接业务:软件开发 网站开发 网页设计 .Net+C#+VS2008+MSsql+Jquery+ExtJs全套高清完整版视频教程
  最近更新
一个获取内容中的图片地址的方法
ASP.NET 4.0尚未在 Web 服务器上注…
四大作用域:application,session…
ConfigurationManager不存在的解决…
vs2012_vs2013_vs2015没有Web Dep…
vs2015禁用解决方案中单击打开文件…
微软为Visual Studio 2015新增安卓…
C#如何实现搜索引擎网络爬虫程序
C#中正则表达式的用法
用C#抓取需要登录的页面数据
VS2015新功能
VS2015安装图解教程
vs2015新功能介绍
vs2015安装图解
c#生成二维码和打印
  工具下载  需要远程协助? 购买教程

sql2008视频教程 c#视频教程

VIP服务:如果您的某个功能不会做,可以加我们QQ,给你做DEMO!

JQUERY  Asp.net教程

MVC视频教程  vs2012
.NET+sql开发
手机:15397600032 C#视频教程下载
vs2012 vs2008 vs2010 sql2008 sql2005
Asp.Net  

教程咨询QQ:1416759661


这篇文章不能解决你的问题?我们还有相关视频教程哦!

QQ:1416759661 新手QQ群:7835003  加Q远程协助!

在线解答|Demo制作|远程调试| 点击查看相关的视频教程

技术咨询: 购买教程  技术咨询:购买教程  大胆的加QQ咨询。

关于我们 | 广告投放 | 购买教程 | 网站建设 | 技术辅导 | 常见问题 | 联系我们 | 友情链接 | 购买教程

Nighthawk Tutorials Network 快捷购买教程

夜鹰教程网 版权所有 www.yyjcw.com All rights reserved 备案号:蜀ICP备08011740号3

 

出售asp.net系列视频教程 高清原创版 每天晚上20:30--23:00在线 按照编号从简单到高级 http://www.yyjcw.com/list.html