python爬虫代码示例 python简单爬虫代码

一、Python爬链接爬虫怎么写

python爬虫我们都知道是可以在网上任意搜索的脚本程序，主要是帮助我们再也不用鼠标一条一条的从网页上拷贝信息。省去我们的行为相当于下面的步骤：

在写之前先看一下逻辑问题，希望每个小伙伴都养成这个好习惯，整理逻辑后在开始写代码：

了解了上面逻辑关系，下面我们以组件：unllib2为例

创建一个test01.py，输入的代码如下：

可以看到获取一个url的信息代码只需要4行代码。执行的时候代码如下：

结果如下：

我们在浏览页上打开你爬的主页，右键选择“查看源代码”，我们会发现，跟刚刚打印出来的是一样的。这说明成功啦！成功帮我们把网页首页的全部代码爬下来了。

以上全部步骤就是爬虫的过程，出于认真负责的态度。解释一下这4行代码的作用：

这一步是把组件urllib2引入进来，给我们提供使用。

这里是调用组件urllib2库中的urlopen方法，这个方法就是接受一个url地址，网址你可以随便填写你要爬的网址就可以了。然后请求后得到的回应封装到一个response对象中。

这里是调用response对象的read（）方法，把请求回应的内容以字符串的形式给html变量。

这里是将字符串打出来而已。

以上可知python代码对于一个基本的url请求是非常简单的。

二、用Python写一个爬虫，做一个冷门行业的搜索引擎，能实现吗

简单的做法呢，就是写个百度爬虫，自己架构一个网站，直接跳转百度搜索的结果~

稍微复杂的做法，就是在上述的基础上增加筛选功能，把非本行业的内容全部剔除一下！

在复杂一些的，搜集一些专业的信息，比如几个论坛或者相关信息的发布机构的网页，然后做相应的爬虫，写如数据库，在写一个网站……

因为冷门行业，也存在的受众小、内容少（相对）的问题，完全可以自行架构网站，但是要想扩大你的影响力，那就需要下不少的功夫了，起码，本行业的人得认可你！

当然，如果只是自用的话，那就简单了，哪怕你做个命令行版本的查询系统，都可以的，无非就是数据的整合，实时爬取等等！

记得之前有想写个爬虫，将几个盗版小说的网站的爬虫整合到一起，实现搜索后，选择不同站点下载小说的功能~写了一半，然后找到了可以实现的软件。。。很崩溃。。。

后来发现，其实写一个百度爬虫，然后指定关键字来显示搜索结果的方式其实很方便，也适合我这种懒人。。。

希望能帮到你！

三、你觉得可以用python爬虫做哪些有意思的事情

当然是批量下载B站视频啦，主要分为2步，首先爬取视频url地址，然后根据url地址下载视频，下面我简单介绍一下实现过程，实验环境win10+python3.6+pycharm5.0，主要内容如下：

这里为了更好的说明实验过程，以爬取B站的TED演讲为例，如下：

1.首先，爬取视频的url地址信息，B站视频的信息是动态加载的，存储在一个json文件中，所以需要进行抓包分析，按F12调出开发者，F5刷新页面，查看所有抓包信息，如下，可以看到json格式加载的视频信息：

2.接着就是获取上面的json文件，解析这个json文件，提取到我们所需要的视频信息，这里主要是获取到url地址信息，代码如下，主要用到requests和json这2个模块，其中requests用于获取json文件，json用于解析json文件：

运行程序，效果如下，已经成功获取到视频信息：

3.最后就是根据视频url地址批量下载视频了，这里主要用到you-get这个模块，安装的话，直接在cmd窗口输入命令“pipinstallyou-get”就行，基本使用方式“you-get视频URL地址-o视频存放目录”，这里我们直接使用os.system执行这个命令就行，主要代码如下，非常简单：

运行程序，截图如下，已经开始下载视频：

接着打开对应的视频存放目录，就可以看到正在下载的文件，如下：

至此，我们就完成了利用python爬取并批量下载B站视频。总的来说，整个过程非常简单，就是步骤有些繁琐，只要你有一定的python爬虫基础，熟悉一下上面代码，多调试几遍程序，很快就能掌握的，网上也有相关教程和资料，非常丰富详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。