这是新浪微博爬虫,采用python+selenium实现。
免费资源,希望对你有所帮助,虽然是傻瓜式爬虫,但是至少能运行。
同时rar中包括源码及爬取的示例。
参考我的文章:http://blog.csdn.net/eastmount/article/details/50720436[python爬虫]Selenium爬取新浪微博内容及用户信息http://blog.csdn.net/eastmount/article/details/51231852[Python爬虫]Selenium爬取新浪微博客户端用户信息、热点话题及评论(上)主要爬取内容包括:新浪微博手机端用户信息和微博信息。
用户信息:包括用户ID、用户名、微博数、粉丝数、关注数等。
微博信息:包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。
安装过程:1.先安装Python环境,作者是Python2.7.82.再安装PIP或者easy_install3.通过命令pipinstallselenium安装selenium,它是自动测试、爬虫的工具4.然后修改代码中的用户名和密码,填写你自己的用户名和密码5.运行程序,自动调用Firefox浏览器登陆微博注意:手机端信息愈加精致简单,而且没有动态加载的一些限制,但是如微博或粉丝id只显示20页,这是它的缺点;
而客户端可能存在动态加载,如评论和微博,但是它的信息愈加完整。
[源码]爬取移动端微博信息spider_selenium_sina_content.py输入:明星用户id列表,采用URL+用户id进行访问(这些id可以从一个用户的关注列表里面获取)SinaWeibo_List_best_1.txt输出:微博信息及用户基本信息SinaWeibo_Info_best_1.txtMegry_Result_Best.py该文件用户整理某一天的用户微博信息,如2016年4月23日[源码]爬取客户端微博信息爬取客户端信息,但是评论是动态加载,还在研究中weibo_spider2.pyBy:Eastmount2016-04-24
2022/9/5 4:49:16 111KB python 新浪爬虫 新浪微博 selenium
1
用户名,Email地址,昵称ajax无刷新验证能否已注册非空验证用户名验证:由英文字母和数字组成的4-16位字符,以字母开头!邮箱验证:Email格式不正确,例如web@sohu.com昵称验证:由汉字组成的2-8位字符!密码验证:密码不能含有非法字符,长度在4-10之间再次输入密码验证:两次输入密码不一致!注册成功后用户直接保存在session里进入登录页面搜索框实现智能联想(根据关键字联想贴吧名搜索)登录成功用户保存在session中显示用户昵称登录失败显示(登录失败!请重新)注销可以销毁session中的用户对象横条广告用flash制作替换效果个人中心显示用户头像及昵称奇吧朵朵展示留个贴吧信息(滚动文字)最新话题展示最新发帖标题并可点击进入常逛贴吧由用户登录后显示贴吧分类显示不同类型贴吧鼠标移动上去展示贴吧名热帖分类展示四个贴吧四条回复热帖排行榜显示回复最多三个帖子顶部展示贴吧名称,会员数,帖子数,以及帖吧简介帖子显示回复次数,标题,内容25字符发帖昵称以及发帖时间签到按钮可以判断能否登录,签到成功次数加一,提示以签到显示用户头像和昵称恢复按钮AJAX判断能否登录,登录后方可发帖右侧游戏动态加载翻页可实现看第一页,向前和向后翻页顶部显示广告,帖子标题只看楼主可实现只看楼主发表内容,取消只看楼主查看全部回复显示回复用户头像和昵称,回复内容签名档,楼层,发表时间关注AJAX判断用户能否已登录,关注成功次数加一,已关注提示鼠标移动到用户头像可查看用户信息实现翻页功能回复条数,返回当前贴吧回复按钮AJAX判断能否已登录,登陆后方可发帖我的帖子显示吧名,标题,回复次数,发帖时间,删除提示,删除失败提示我关注的帖吧显示把名,标题,回复次数,发帖时间,删除提示,删除失败提示
1
PHP+Ajax网站开发典型实例.。

第1章PHP基础实例实例1构建PHP运行环境实例2“你好,PHP”实例实例3中文时间显示实例实例4删除字符串中的空白实例5字符串反转实例6字符串加密实例7检查日期的有效性实例8简单猜数游戏实例9验证信用卡号实例10计算两个数组并、交和差实例11数组排序第2章PHP文件实例实例12获取文件信息实例13文件写入并锁定实例14读取文件信息实例15随机提取文件行实例16获得磁盘剩余空间实例17搜索文件或文件夹实例18文件下载实例19文件上传实例20网页计数器实例21超级链接计数第3章数据库、XML实例实例22mysql类库完成MySQL数据库的添加、删除和修改实例23mysqli类库完成MySQL数据库的添加、删除和查询实例24获取服务器和系统信息实例25分页显示信息实例26使用PHP简单实现BBS程序实例27使用0DBC函数库完成数据库操作实例28使用DOM处理XML第4章会话实例实例29创建会话实例30使用数据库保存会话实例31使用文件统计在线人数实例32设置和获取Cookie参数实例33删除会话中已注册变量实例34数据编码实例35简单购物车第5章PEAR和正则表达式实例实例36PEAR管理器安装及PEAR包常见操作实例37HTMLQuickForm完成表单验证实例38Calendar仓ll建日历实例39FileFind搜索文件实例40HTTPUpload上传多个文件实例41ValidateUS验证电话号码实例42转换日期格式实例43用户注册验证第6章实现基本Ajax技术实例44Ajax测试实例实例45客户端解析普通字符串实例46客户端解析XML文件响应实例47客户端发送POST无参数请求实例48客户端发送带有参数请求实例49客户端以表格方式显示数据实例50服务器端自动生成XML文件实例51客户端以指定CSS样式显示数据实例52用户登录校验实例53页面自动刷新时间实例54实现新闻滚动播放第7章实现高级Ajax技术实例55创建工具提示实例56读取响应首部实例57动态加载列表框实例58显示进度条实例59数据无刷新写入文本文件实例60提供自动完成实例61实现级联菜单的设计实例62PHP+Ajax树状菜单第8章Ajax数据库操作实例63显示数据库系统信息实例64实现数据库常见操作实例65完成数据库多种查询显示实例66数据库记录自动提示实例67AjaX实现数据记录排序实例68局部动态更新数据实例69AjaX+PHP数据分页显示实例70指定CSS样式显示数据实例71JSON格式处理信息第9章Ajax时尚技术实例72根据邮编自动完成地址信息实例73AiaX+PHP域名查询实例74根据代码列出城市名实例75Ajax自动保存草稿实例76实时更新股价实例77相册程序实例78切换标签实例79创建RSS阅读器实例80基于prototype框架程序实例81基于xajax框架程序第10章Ajax实现综合实例实例82汇智在线留言板程序实例83汇智在线聊天室程序实例84汇智在线BBS论坛
2015/7/25 18:27:07 971KB php ajax 网站
1
WPF-Automatic-Crawler这是一款带UI界面的自动化采集爬虫,内部使用了WebKit浏览器内核,以实现对Ajax动态加载数据的采集。
整个软件采用策略设计模式,可非常灵活的通过编写多个策略类来定义数据的抓取方式及内容。
2016/9/3 17:49:13 150KB
1
Datatables是一款jquery表格插件。
它是一个高度灵活的工具,可以将任何HTML表格添加高级的交互功能。
这篇文章主要引见了DataTables+BootStrap组合使用Ajax来获取数据并且动态加载dom的方法(排序,过滤,分页等),需要的朋友可以参考下
2018/3/5 2:25:21 56KB bootstrap datatables
1
无刷新功能我们用到很多很多的,下面我就来给各位介绍一个实例,就是实现php+ajax实现无刷新滚屏加载数据,例子非常的简单大家只需按流程来操作就可以了哦。
2015/4/24 3:06:24 66KB php ajax 无刷新
1
1.asp查询本地access数据库,获取应发工资、实发工资、扣除工资,ajax异步前往json格式数据2.将前往json输入到echarts圆饼状显示,实现动态加载数据。
2015/2/23 20:22:32 33.82MB echarts ajax json+echarts ajax+post
1
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员。
在我们的项目中,我担任的是数据爬取这块,我主要是把对于杨超越?的每一条评论的相关信息。
数据格式:{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页}以上就是我们需要的信息。
爬虫前的分析:以上是杨超越的微博主页,这是我们首先需要获取到的内容。
因为我们需要等到这个主页内这些微博详情页?的链接,但是我们向下刷新,会发现微博的主页信息是ajax动态加载出来的,这张图片就是我们向下刷新获取到?的新的链接,这个就是我们需要获取
2015/2/27 11:44:35 735KB ajax info python
1
一些运行于JSP+Ajax的经典实例,大部分都是在JSP/HTML文件,附有JAVA源代码文件及数据库文件,内有调试说明,例子很多,适合新手朋友练习。
这些实例主要有文件上传、无刷新回帖、电子商务应用、动态加载数据、网页特效等,是学习AJAX入门的好材料。
2020/1/24 22:45:15 1021KB JSP
1
今天小编就为大家分享一篇ajax动态加载json数据并详细解析,具有很好的参考价值,希望对大家有所协助。
一起跟随小编过来看看吧
2020/11/26 21:01:42 32KB ajax 动态加载 json数据
1
共 52 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡