介绍一个简单的程序,用于计算无法直接加载到内存(1GB)的大文件(100GB)中最常出现的url的topn。
用法生成测试数据makedata使用1GB网址进行测试maketest使用100GB网址运行makerun算法根据hash(url)将输入文件拆分为1009个小文件。
加载每个小文件,通过dict计算url的出现次数,然后通过堆获取topn出现次数。
合并步骤2中所有出现的topn事件,并获得最终的topn并进行打印。
复杂度分析N是网址数。
NS是分割文件的数量,等于1009。
K是我们想要的结果URL的数量,等于100。
BS是缓冲区大小的大小,可能是4096或8192,请参见步骤1从输入文件读取或写入拆分文件的时间均为N/BS*T(diskio),哈希计算的时间为N*T(hash),因而时间复杂度为O(max(2*N
2022/9/25 16:57:51 14.13MB C
1
【问题描述】假设某学期共有5门课,每门课程有四项基本信息:课程编号、课程名称、学分和选课人数。
学生可自行选课,假设该学期共有8个学生,学生有学号、姓名、所选课程三种基本信息,学生选课要满足每门课最多只能有3个学生选修,每个学生最多只能选2门课,试设计一个学生选课系统。
【基本要求】学生选课系统要求具备以下功能:1.系统以菜单方式工作2.浏览所有的课程信息3.浏览所有的学生选课情况4.任意学生信息的查询和修改功能5.学生选课功能(学生选课时要判断课程能否已经选满,同时还要判断学生能否已经选了2门课,若学生满足选课条件才能选课,注意同一门课一个学生只能选一次)【主要知识点】结构体、线性表、函数
2016/3/9 1:53:03 128KB 选课系统 课程设计
1
大型项目清单任何人都可以用任何编程语言处理的实际项目列表(请参阅)。
这些项目分为多个类别,每个类别都有其自己的文件夹。
首先,只需分叉此存储库即可。
查看此回购的方式。
您可以为现有问题提供处理方案(将在此发布),添加新项目或删除现有项目。
确保正确遵循所有说明。
您可以在找到其他用户用许多其他语言的这些项目的实现。
学分此仓库由编写。
问题是由以下人员共同激发的:目录号码查找第N位的PI-输入一个数字,并使程序生成的PI最多保留小数位数。
限制程序运行的距离。
查找e到第N个数字-就像前面的问题一样,但是用e代替PI。
输入一个数字,并使程序最多生成小数位数。
限制程序运行的距离。
斐波那契数列-输入一个数字并使程序生成该数字或第N个数的斐波那契数列。
质因数分解-让用户输入数字并找到所有质因数(如果有)并显示它们。
下一个素数-让程序找到素数,直到用户选择停止询
2021/6/4 11:12:16 1.53MB
1
软件介绍:Flash Player 10.3官方最新版中的主要改进包括:加入媒体检测;- 加入回声取消处理;与浏览器集成的隐私控制;- 加入本机控制面板;Mac OS加入自动升级通知;它是首个为桌面和移动设备带来完整Web体验的版本,带来了四大全新特性和增强:Stage Video硬件加速:新的视频播放API接口,Adobe MAX 2010大会上首次公布,可让开发人员充分利用视频渲染管线的硬件加速能力,提供最好的视频功能,包括大幅降低CPU占用率(最多85%)、减少内存占用量、提高播放帧率、增强像素精确度与质量,号称内部测试显示可在笔记本上以零CPU占用率播放1080p高清视频。
支持IE9硬件加速渲染:可发挥IE硬件加速图形的优势,利用硬件渲染层提升图形功能、实现无缝图形合成。
原生自定义光标:允许开发人员自行定制原生的鼠标光标,增强用户体验、提升功能。
支持多显示器全屏模式:在第二台显示器上,全屏显示的内容仍将保持全屏状态,用户可以全屏观看视频的同时在另一台显示器上工作
2019/11/16 14:20:04 2.89MB 其他资源
1
最近有项目要做一个高功能网络服务器,决定下功夫搞定完成端口(IOCP),最终花了一个星期终于把它弄清楚了,并用C++写了一个版本,效率很不错。
但,从项目的总体需求来考虑,最终决定上.net平台,因此又花了一天一夜弄出了一个C#版,在这与大家分享。
一些心得体会:1、在C#中,不用去面对完成端口的操作系统内核对象,Microsoft已经为我们提供了SocketAsyncEventArgs类,它封装了IOCP的使用。
请参考:http://msdn.microsoft.com/zh-cn/library/system.net.sockets.socketasynceventargs.aspx?cs-save-lang=1&cs-lang=cpp#code-snippet-1。
2、我的SocketAsyncEventArgsPool类使用List对象来存储对客户端来通信的SocketAsyncEventArgs对象,它相当于直接使用内核对象时的IoContext。
我这样设计比用堆栈来实现的好处理是,我可以在SocketAsyncEventArgsPool池中找到任何一个与服务器连接的客户,主动向它发信息。
而用堆栈来实现的话,要主动给客户发信息,则还要设计一个结构来存储已连接上服务器的客户。
3、对每一个客户端不管还发送还是接收,我使用同一个SocketAsyncEventArgs对象,对每一个客户端来说,通信是同步进行的,也就是说服务器高度保证同一个客户连接上要么在投递发送请求,并等待;
或者是在投递接收请求,等待中。
本例只做echo服务器,还未考虑由服务器主动向客户发送信息。
4、SocketAsyncEventArgs的UserToken被直接设定为被接受的客户端Socket。
5、没有使用BufferManager类,因为我在初始化时给每一个SocketAsyncEventArgsPool中的对象分配一个缓冲区,发送时使用Arrary.Copy来进行字符拷贝,不去改变缓冲区的位置,只改变使用的长度,因此在下次投递接收请求时恢复缓冲区长度就可以了!如果要主动给客户发信息的话,可以new一个SocketAsyncEventArgs对象,或者在初始化中建立几个来专门用于主动发送信息,因为这种需求一般是进行信息群发,建立一个对象可以用于很多次信息发送,总体来看,这种花销不大,还减去了字符拷贝和消耗。
6、测试结果:(在我的笔记本上时行的,我的本本是T420I78G内存)100客户100,000(十万次)不间断的发送接收数据(发送和接收之间没有Sleep,就一个一循环,不断的发送与接收)耗时3004.6325秒完成总共10,000,000一千万次访问平均每分完成199,691.6次发送与接收平均每秒完成3,328.2次发送与接收整个运行过程中,内存消耗在开始两三分种后就保持稳定不再增涨。
看了一下对每个客户端的延迟最多不超过2秒。
2020/5/13 2:27:34 15KB IOCP 完成端口 源码
1
2W+的淘宝类目,虽然不多,但是是我找到的暂时最多的了,进展对大家有用
2017/11/27 14:58:06 858KB 淘宝类目
1
jaffe人脸数据库,是在人脸表情识别研究中使用最多的数据库之一。
包括216张人脸表情图像数据,每人20几张幅分辨率为256×256的图像组成
2019/9/1 22:35:50 9.9MB 人脸数据库
1
本模具作为珍藏备份用,若你也喜欢,下载便是VISIO的多树枝直角很好用,但最多支持6条分支线,通常不够用。
该模具中扩展到了20条分支,基本够用,你只要将其导入你的wisio就行了
2019/6/6 20:52:17 52KB VISIO 多树枝 直角 20条
1
(1)系统资源分配图输入(界面)• 按资源分配图的方式定义,输入进程名字、资源类名字及其个数、申请/占有边。
(2)运行结果(界面)• ①以图形的方式输出原资源分配图;
• ②以图形的方式动态输出原资源分配图约简过程• 实现(1)图的描述:定义资源类结点和进程结点的数据结构,以指针方式表示结点之间边的关系(可限定最多指针个数);
(2)按算法对描述的资源分配图进行约简,同时用动态图形显示约简过程;
(3)约简结束后,给出资源分配图是否可完全约简的提示信息。
2017/3/19 3:34:41 2.45MB 死锁 判定
1
CSDN限制最多上传70M的单文件,所以压了三个包,不用痛苦去下6个包了
2020/10/3 1:42:57 67.82MB WinCE PB60 2008年 全年补丁包
1
共 301 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡