设计总说明IINTRODUCTIONII1绪论12需求分析12.1背景描述12.2主要功能分析12.3业务需求分析23网络逻辑设计23.1网络设计原则23.2网络结构设计33.2.1主干结构设计33.2.2企业网络拓扑图34企业网络详细设计34.1设计思路34.2设计步骤44.2.1按照拓扑图要求连接好设备44.2.2IP地址与VLAN规划44.2.3配置内网DHCP服务器54.2.4核心层交换机配置54.2.5汇聚层交换机配置64.2.6配置VLAN的访问控制84.2.7配置边缘出口路由94.2.8配置ISP路由器及外部DNS104.2.9设置内网的DNS服务器和FTP服务器114.3网络测试124.3.1内部网络测试124.3.2外网访问内网服务器17致谢16参考文献17附录18

题目1：自主访问控制实验；
要求：设计必需的界面环境，（1） 对主体、客体、权限进行定义和配置（2） 对主体进行自主授权（3） 对主体的访问权限进行控制实验（4） 对主体进行传递授权的操作，通过实验观察系统的执行情况（5） 对访问成功和不成功的两种情形均给出结果要求：设计必需的界面环境，（1） 对主体、客体、权限进行定义和配置（2） 对角色及角色的层次关系进行定义（3） 对角色的权限进行定义（有承继关系的就不用重新定义）（4） 给出用户－角色多对多关系的配置（5） 对用户的角色信息进行修改，通过访问控制实验，体现不同层次的角色访问权限的差别（6） 对上述实验情况下访问成功和不成功的两种情形均给出结果写的不是很好，仅供参考。

第一章　认识PacketTracer软件1第二章　交换机的基本配置与管理2第三章　交换机的端口配置与管理3第四章　交换机的Telnet远程登陆配置5第五章　交换机的端口聚合配置7第六章　交换机划分Vlan配置9第七章　三层交换机基本配置12第八章　利用三层交换机实现VLAN间路由13第九章　快速生成树配置16第十章　路由器的基本配置19第十一章　路由器单臂路由配置21第十二章　路由器静态路由配置23第十三章　路由器RIP动态路由配置25第十四章　路由器OSPF动态路由配置29第十五章　路由器综合路由配置32第十六章　标准IP访问控制列表配置35第十七章　扩展IP访问控制列表配置37第十八章　网络地址转换NAT配置40第十九章　网络端口地址转换NAPT配置42第二十章交换机端口安全45

springBoot+mysql+mybatisDemo,eclipse项目，导入后修改application.propertiesmysql连接，修改映射文件查找你自己数据库的表即可，mvc包结构已经构成，运行ApplicationMain访问控制器查询API。

springBoot+mysql+mybatisDemo,eclipse项目，导入后修改application.propertiesmysql连接，修改映射文件查找你自己数据库的表即可，mvc包结构已经构成，运行ApplicationMain访问控制器查询API。

标准可作为组织基于ISO/IEC27001实施信息安全管理体系（ISMS）的过程中选择控制措施时的参考，或作为组织实施通用信息安全控制措施时的指南文件。
本标准还可以用于开发行业和组织特定的信息安全管理指南，考虑其特定信息安全风险环境12.4日志和监视.鲁垂12.5运行软件的控制..4512.6技术脆弱性管理...4612.7信息系统审计考虑.1813通信安全4913.1网络安全管理.4913.2信息传递5014系统获取、开发和维护5414.1信息系统的安仝要求5114.2开发和支持过程中的安全14.3测试数据...,,,,,6215供应商关系15.1供应商关系的信息安全6215.2供应商服务交付管理16信息安全事件管理16.1信息安全事件和改进的管理17业务连续性管理的信息安全方面···17.1信息安全连续性17.2几余18符合性18.1符合法律和合同要求18.2信息安仝评审参考文献前言ISO(国际标准化组织)和IFC(国际电T委员会)是为国际标准化制定专门体制的国际组织。
国家机构是ISO或IC的成员,他们通过各自的组织建立技术委员会参与国际标准的制定,来处理特定领域的技术活动。
ISO和IC技术委员会在共同感兴趣的领域合作。
其他国际组织、政府和非政府等机构,通过联络ISO和IC参与这项工作。
国际标准的制定遵循ISO/TEO导则第2部分的规则。
sSO和EC已经在信息技术领域建立了一个联合技术委员会ISO/IECTC1ISO/IEC27002由联合技术委员会ISONIECJTO1(信息技术)分委员会SC27(安全技术)起草ISO/IEC27002中的某些内容有可能涉及一些专利权问题,这一点应该引起注意。
ISO和IEC不负责识别任何这样的专利权问题。
第二版进行了技术上的修订,并取消和替代第一版(ISO/IEC27002:2005)。
引言0简介0.1背景和环境本标准可作为组织基于ISO/C27001实施信息安全管理体系(ISMs)的过程中选择控制措旌时的参考,或作为组织实施通用信息安全控制措施时的指南文件。
本标准还可以用于开发行业和组织特定的信息安全管理指南,考虑其特定信息安全风险环境。
所有类型和规模的组织(包括公共和私营部门、商业和非盈利组织)都要采用不同方式(包括电子方式、物理方式、会谈和陈述等口头方式)收集、处理、存储和传输信息。
信息的价值超越了文字、数宇和图像:无形的信息可能包括知识、概念、观念和品牌等。
在互联的世界里,信息和相关过程、系统、树络及其架作、处理和供护的过程中所涉及的人员都是资产,与其它重要的业务资产一样,对组织的业务至关重要,因此需要防护各种危害。
因相关过程、系统、网络和人员具有固有的脆弱性,资产易受到故意或意外的威胁。
对业务过程和系统的变更或其他外部变更(例如新的法律和规章)可能产生新的信息安全风险。
因此,考虑到威胁利用脆弱性损害组织会有大量方式,信息安仝风险是一直存在的。
有效的信息安仝可以通过保护组织免受威胁和脆弱性,从而减少这些风险,进一步降低对组织资产的影响。
信息安全是通过实施组合适的控制措施而达到的,包括策略、过程、规程、组织结构以及软件和硬件功能。
在必要时需建立、实施、监视、评审和改进这些控制措施,以确保满足该组织的特定安全和业务目标。
为在一个一致的管理体系总体框架下实施一套全面的信息安全控制措施,信息安全管理体系(例如ISO/IEC27001所指定的)从整体、协调的角度看待组织的信息安全风险。
从ISO/IEC27001和木标准的意义上说,许多信息系统并没有被设计成是安全的。
通过技术手段可获得的安全性是有限的,宜通过适当的管理和规程给」支持。
确定哪些控制措施宜实施到位需婁伃细规划并注意细节。
成功的信息安全管理体系需要组织所有员工的参与,还要求利益相关者、供应商或其他外部方的参与。
外部方的专家建议也是需要的就一般意义而言,有效的信息安全还可以向管理者和其他利益相关者保证,组织的资产是适当安仝的,并能防范损害。
因此,信息安仝可承担业务使能者的角色。
0.2信息安全要求组织识别出其安全要求是非常重要的,安全要求有三个主要来源:a)对组织的风险进行评估,考虑组织的整体业务策略与目标。
通过风险评估,识别资产受到的威胁,评价易受威胁利用的脆弱性和威胁发生的可能性,佔计潜在的景响b)组织、贸易伙伴、承包方和服务提供者必须满足的法律、法规、规章和合同要求,以及他们的社会文化坯境;c)组织开发的文持其运行的信息处理、加工、存储、沟通和存档的原则、目标和业务要求的特定集合。
实施控制措施所用资源需要根据缺乏这些控制措施时由安全问题导致的业务损害加以平衡风险评估的结果将帮助指导和确定遹当的管理措施、管坦信息安全风险以及实现所选择的用以防范这些风险的控制措施的优先级ISO/IEC27005提供了信息安全风险管理的指南,包括风险评佔、风险处置、风险接受、风险沟通、风险监视和风险评审的建议0.3选择控制措施控制措施可以从本标准或其他控制措施集合中选择,或者当合适时设计新的控制措施以满足特定需求。
控制措施的选择依赖于组织基于风险接受准灲、风险处置选项以及所应用的通用风险管理方法做岀的决策,冋时还宜遵守所有相关的国家和国际法律法规。
控制措施的选择还依赖于控制措施为提供深度防御而相可作用的方式。
本标准中的某些控制措施可被当作信息安全管理的指导原则,并且可用于大多数组织。
在下面的实施指南中,将更详细的解释这些控制措施。
更多的关于选择控制措施和其他风险处置选项的信息见ISO/IEC27005。
0.4编制组织的指南本标准可作为是组织开发其详细指南的起点。
对一·个组织来说,本标准中的控制措施和指南并非全部适用,此外,很可能还需要木标准中未包括的另外的控制措施和指南。
为便丁审核员和业务伙伴进行符合性核查,当开发包含另外的指南或控制措施的文件时,对本标准中条款的引用可能是有用的。
0.5生命周期的考虑信恳具有自然的生命周期,从创建和产生,经存储、处坦、使用和传输,到最后的销毀或衰退。
资产的价值和风险可能在其生命期中是变化的(例如公司财务报表的泄露或被盗在他们被正式公布后就不那么重要了),但在某种程度上信息安全对于所有阶段而言都是非常重要的。
信息系统也具有生命周期,他们被构想、指定、设计、开发、测试、实施、使用、维护,并最终退出服务进行处置。
在每一个阶段最好都要考虑信息安全。
新系统的开发和现有系统的变更为组织更新和改进安仝控制带来了机会,可将现实事件、当前和预计的信息安全风险考虑在内。
0.6相关标准虽然本标准提供了通常适用于不同组织的大范围信息安全控制措施的指南,ISO/IEC27000标准族的其他部分提供了信息安全管理全过程其他方面的补充建议或要求。
ISO/IEC27000作为信息安全管理体系和标准族的总体介绍,提供了一个词汇表,正式定义了整个ISOTEO27000标准族中的大部分术语,并描述了族中每个成员的范围和目标信息技术-安全技术-信息安全控制实用规则1范围本标准为组织的信息实全标准和信息安全管理实践提供了指南,包括考虑组织信息安全风险环境前提丶控制措施的选择、实施和管理本标准可被组织用于下列目的:a)在基于ISO/IEC27001实施信息安全管理体系过程中选择控制措施:b)实施通用信息安全控制措施;c)开发组织自身的信息安仝管理指南。
2规范性引用文件下列参考文件对于本文件的应用是必不可少的。
凡是注日期的引用文件,只有引用的版本逗用于本标准;凡是不注日期的引用文件,其最新版本(包括任何修改)适用于本标准。
ISO/IEC27000,信息技术一安全技术一信息安全管理体系一概述和词汇3术语和定义ISO/IEC27000中的术语和定义适用丁木标准。
4本标准的结构本标准包括14个安全控制措施的章节,共含有35个主要安全类别和113项安全控制措施4.1章节定义安全控制的每个章节含一个或多个主要安全类别木标准中章节的顺序不表示其重要性。
根据不同的坏境,任何或所有章节的安全控制措施都可能是重要的,因此使用本标准的每一个组织宜识别适用的控制措施及其重要性,以及它们对各个业务过程的适用性。
另外,本标准的排列没有优先顺序。
4.2控制类别每一个主要安全控制类别包含:个控制目标,声明要实现什么;b)一个或多个控制措迤,可被用于实现该控制目标。
控制措施的措述结构如下:控制措施定义满足控制目标的特定的控制措施的陈述。
实施指南为支持控制措施的实施和满足控制目标,提供更详细的信息。
本指南可能不能全部适用或满足所有情况,也可能不满足组织的特定控制要求。
其他信总提供需要考虑的进一步的信息,例如法律方面的考虑和对其他标准的引用。
如果没有其他信息需要提供,将不显示本部分。
5信息安全策略5.1信息安全的管理方向日标:依据业务要求和相关法律法规提供管理方冋并支持仨息安仝。
5.1.1信息安全策略控制措施信息安全策略集宜山管理者定义、批准、发布并传达给员工和相关外部方。
实施指南在最高级別上,组织宜定义“信息安全方针”,由管理者批准,制定组织管理其信息安全目标的方法。
信息安全方针宜解决下列方面创建的要求a)业务战咯b)规章、法规和合同当前和预期的信息安全威胁环境信息安全方针宜包括以下声明a)指导所有信息安全相关活动的信息安全、目标和原则的定义;b)已定义角色信息安全管理一般和特定职责的分配;c)处理偏差和意外的过程。
在较低级别,信息安全方针宜由特定主题的策咯加以支持,这些策唅进一步强化了信息安仝控制措施的执行,并且在组织内通常以结构化的方式处理某些日标群体的需求或涵盖某些主题。
这些细化的策略主题包括a)访问控制(见9);b)信息分类(和处理)(见82);c)物理和环境安全(见11)d)面向终端用户的主题,例如:1)资产的可接受使用(见8.1.3)2)清空桌面和清空屏幕(见11.2.9);)信息传递(见132.1);4)移动设备和远程工作(见6.2);5)软件安装和使用的限制(见12.6.2))备份(见12.3);f)信息传递(见13.2);g)忐意软件防范(见122);h)技术脆弱性管理(见12.61)密码控制(见10);j)通信安全(见13);k)隐私和个人可识别信息的保护(见18.1.4);l)供应商关系(见15)这些策略宜不用预期读者适合的、可访问的和可理解的方式传达给员工和相关外部方,例如在“信息安全意认、教育和培训方案”(见72.2)的情况卜。
其他信息信息安全内部策略的需求因组织而异。
内部策略对于大型和复杂的组织而言更加有用这些组织中,定义和批准控制预期水平的人员与实施控制措施的人员或簧咯应用于组织中不冋人员或职能的情境是隔离的。
信息安全策略可以以单一《信息安全方针》文件的方式发布,或作为各不相同但相互关联的一套文件。
如果任何信息安全策略要分发至组织外部,宜注意不要泄露保密信息。
些组织使用其他术语定义这些策略文件,例如“标准”、“导则”或“规则”。
5.1.2信息安仝策略的评审控制措施信息安全策略宜按计划的时间问隔或当重大变化发生时进行评审,以确保其持续的适宜性、充分性和有效性。
实施指南每个策略宜冇专人负责,他负有授权的策略开发、评审和评价的管理职责。
评审宜包括评估组织策咯改进的机会和管理信息安全适应组织环境、业务状况、法律条件或技术环境变化的方法。
信息安仝策略评审宜考虑管理评审的结果。
宜获得管理者对修订的策略的批准6信息安全组织6.1内部组织日标:建立管理框架,以启动和控制组织范围内的信息安仝的实施和运行。
6.1.1信息安全角色和职责控制措施所有的信息安全职责宜予以定义和分配。
实施指南信息安仝职责的分配宜与信息安仝策略(见5.1.1)相一致。
宜识别各个资产的保护和执行特定信息安全过稈的职责。
宜定义信息安全风险管理活动,特别是残余风险接受的职责。
这些职责宜在必要时加以补充,米为特定地点和信息处理设施提供更详细的指南。
资产保扩和执行特定安全过程的局部职责宜予以定义。
分配有信息安全职责的人员可以将安全任务委托给其他人员。
尽管如此,他们仍然负有责任,汴且他们宜能够确定任何被委托的任务是否已被正确地执行个人负责的领域宜予以规定;特别是,宜进行下列上作a)宜识别和定义资产和信息安全过程;b)宜分配每一资产或信息安全过稈的实体职责,并且该职责的细节官形成文件(见8.1.2)c)宜定义授权级别,并形成文件;d)能够履行信息安仝领域的职责,领域內被任命的人员宜有能力,并给予他们机会,使其能够紧跟发展的潮流e)宜识别供应商关系信息安仝方面的协调和监督措施,并形成文件。
其他信息在许多组织中,将仟命一名信息安全管理人员全面负责信息安全的开发和实施,并支持控制措施的识别。
然而,提供控制措施资源并实施这些控制措施的职责通常归于各个管坦人员。
一种通常的做法是为每一项资产指定一名责任人负责该项资产的日常倮护6.1.2职责分离控制拮施

由于集群资源有限，可能多个应⽤用同时使⽤用Hadoop集群，防⽌止系统资源被单个应⽤用占⽤用过多影响整体集群使⽤用情况，引⼊入资源池管理理集群资源。
unde允许未声明的池OYARN(MR2Included)(服务范围)cyarnschedulerfair.allow-undeclaredpools默认情况下,"A|owUndeclaredpools"可选项是选中的,需要关闭。
否则如果用户指定一个尚未声明的资源池时,比如prod,YARN将会自动生成一个prod资源池。
配置文件修改后需要重新启动YARN服务,重新部署客户端配置。
6.配置“若用户提交任务不指定特定的queue,就使用default资源池”FairScheduerUserAsDefaultQueue使用默认队列时的FairSchedulerOResourceManagerDefaultGroupC当设置为true时,如果未指定池名称,Fair用户Scheduler将会使用用户名作为默认的池名yarnscheduler.fairuser-as-default尔当没为1s时,所有应用程序都在名为default的共享池中运行7.进去动态资源池配置页面clouderamanager群集核图表·倍份●ARN(MR2Include大数据分听平台t50状态宴例配置命令应用程序HHBase主机SHDFS报告利用率报告切换至经奥规划角iHueVImpalaYARN应用栏予v范图bOozemale个查询YAHN(MR2Inclirlen)见围)ksey当论置为te时.如果未指动态资源池配置Scheduler将会使用用户名作为Gateway会SEark2称。
当设置为fdse时,所有应月ucbhlistorySever静态服务池温YARN(MR2Inclut个名为defaut的其享池中运行v类别ClouderaManagementService每页c|ouderaMANAGER群集够断·审楼图表理文持·admn边态资潺池配置(大数分平台)YARNImpalaAdmission(antro源池计划模式放置规贝阳广限制可以嵌,它的每一个级别都可以支持不同的计划程序,如日FC或Farscheduler。
每个池都可以配置为仅允许某些用户和组集访问该池已为3个正在运行的NedeMenacer总共配置72个vcre640当宇节内存。
直看动态责源池钛添创建资需也默认设置访间控制没置最小资源数最大资数虚内板虚拟内核正在运行的应用程序最大量计划策略1500%150.%7.1资源池(资源分配界面)。
主要配置项权重(%):动态权重,资源不是静态的,去其他池相关的资源共享最大最小CPU、内存正在运行的应用程序最大数量●计划策略创建资源池,资源池名称为deV创建资源池资源池名称d口父池Resourcelimits计划策略抢占提交访问控制管理访问控制4与其他池相关的资源共享资源数虚拟内核吉字节:内存Theminumnumberofvirtualcoresandmemoryavailabletothispool.Thistakespriorityovertheweightbasedshare(optional)最大资源数虚拟内核吉字:内存Themaximunnumberofvirtualcoresandmemoryavailabletothispool.Thistakespriorityovertheweightbasedshare(optional)正在运行的应用程序最大池中同时运行的应用程序数量限制。
数量取消创建7.2配置计划策略(对dev资源池控制)编辑资源池ResourceLimits计划策略抢占提交访问控制管理访问控制DRF:Dominantresourcefairness。
根据c門U和内存公平调度资源。
(建议)○FAR仅根据内存公平调度资源FIFC:拥有子池的池不能是FFO。
取消保存7.3提交访问控制(对dev资源池控制)编辑资源池Resourcelimits计划策略抢占提交访问控制管理访问控制此功能仅在“启用ResourceManagerACL"设置为te且“管理ACL"未设置为*时相关。
(请参见顶级页面中的“访问控制设置"。
)Fairscheduler访问控制列表可以控制向池提交应用程序的用户。
对于子池,有杈限提交父池旳用户自动继承子池的相同功能。
○允许任何用尸向该池提交允许这些用户和组向该池提交用户组bi_dev,bi_dev_vipl取消保存7.4管理访问控制(对dev资源池控制)编辑资源池Resourcelimits计划策略抢占提交访问控制管理访问控制此功能仅在"启用ResourceManagerACL"设置为true且“管理ACL未设置为*时相关。
(请参见顶级页面中的"访问控制设置"。
)FairScheduler访问控制列表可以控制可以管理池的用户。
对于子池,有权限管理父池的用户自动继承子池的相同功能○允许任何用户管理该池⊙允许这些用户和组管理该池用户arm组bi_cev,bi_dev_vip保存7.5验证资源池访问控制●新建o用户:yan.yo用户组:Wms为该用户初始化wordcount数据,具体操作见步骤3在执行hadoop命令內加入资源池控制,如下图yan.yhi-bca?-ue-201-]sgroups新的用户组Lyan.jyabi-bcao-ue-001*]5hadoopjar/usr/local/cloud0:56:08INFOinputFileInputFormatTotalinpt18/03/0810:56:08INFDmapreduceJobSubmitter:nuberofsplits8/03/0810:56:09INFOmapreduce,JobSubmitter:Submittingtokensforjob:job_152041指定资源池dev9c23.8/03/0810:56:09INFDmapreduce.Jobsubmitter:Cleaningupthestagingarea/user/ya18/03/0810:56:09WARNsecurity.UserGroupInformation:PriviledgedActionExceptionasauth:SIMPLE)couse:javcioICException:org.apache,hadoop,yarn.exceptions.YarnExceptiFatledtosbitapplication1520413797733_0023tDYARNnstoqueuerootcevvotoIDExceticn:org.apachehadoopyarn.exceptions.YarnExceptian:Failedtosubmitapplication_1520413797733-0023toYARN:UseryanJycamotsubmitapplicaticnstoqueueroanner.java:300)atjavasecurityAccesscontroller.doPrivleged(NativeMethod)tiondoAs(UserGroupInfonmaticnjava:1920)Cob,java:1325)atsunreflectNativeMethodAccessorIpLinvoke(NativeNethodAccessorImpLjava:bZnreflect.DelegatingMethodAccesJava,lcngrefLectanDescription.invoke(ProgramDriver71)Java:74)utsun,I'eeLLNutive:Lhu.Imul,niwuAee(NuLiveveceexyodecessorImpl.java:43)atsunreflectNativeMethodAccesso-ImpLivoke(NativeNetatorg.apache,hadoop,util.RunJar,matnCRunar.java:136Causedby:org.apachehadoopyorn.exceptions.YarnException:Failedtosubmitapplication-1520413797733_0023toYARN:UseryariycarnotsubnitapplicationstoqueLeroot.devatorg.apache,hadoopyarn.clientapiimol,YarndlientInpl,subcation(YarnCLientImpL,java:2570saurccMgrDelcgate.java:290)atorg.apache,hadoopmapredYARNRunnersubritJob(YARNRunne8.计划模式(资源池配置集)可以根据不同时段使用不同的资源池配置。
动态资源池配置(大数据分析平台YaRNMalaArm?Control池计划模式故置规则用广制要确定特定设置问时应处于活动状态,请指定计划规则及规则的评估顷序创速计划则重新持列十划模式顾序每天重复,从早上8点0O分到晚上1点0C分CSD,从2018-02-07开。
2每天重复,从凌属12点00分到早上8点0C分CsT,从20180307开ETLIE编|3在所有其他规则不活用时运行配置了计划模式,资源池会有多套配置,如下图clouderamanager·主机,·审孩图,备份·管理适持warm动态资源池配置(大数据分析平台)YARNImpalaAdmissionControl资源池计划横式款置规则用户限制池可以嵌,它的郎一个级别都可以支排不同的计划程序,如FFO或Farscheduler。
都个池都可以配置为允许某些用户和组集法间该池已为3个正在运行的NodeManager总共配置72个Vcore和640吉字节内存,直看动态资源池状态创建资歇认设置访问控制设置配置集ET时段default资源数最大资原数月户活跃时段名称虛拟内核内存正在运仁的立月程序最大数量计划筑暗ETL时段users116%wonhigh-bl4667计划规则主要控制配置有效时间段,创建计划规则如下图创建计划规则配置集◎新建用户活跃时段default可以将此配置集配置为包含不同的每泡CPU和内存设置。
○使用现有项重复每天全天介于早上8点00分CST:晚上11点0分CsT取消创建9.放置规则主要作用:控制任务(Job、Task)使用资源池规则,即任务会根据以下规则放到对应资源池执行。
clouderaMANAGeR:主机,说图表·音份理搜索dmin动念资源池配置(大数据分析平台)ARNImpalaAdmissionConrol负源池计划模式故置规则用产限制配置YARN如呵确定将在哪个池中运行应月程序创键放置规‖重新列放置观则放规则仅想已在适得时走存在时使用该池编相2仪当root.users.username存在司使用该消编辐|3使用rootdefault此规始终满正。
不会使用后续现则。
10.用户限制主要作用:控制单个用户最大应用程序并发度。
动态资源池配置(大数分析平台)YARNImpalaAdmissionControl密源浊计划模式放置规Q用户见制用户可以同时捉交的最大应用程序数量创建用广阳制默认设置止在行的应用序量大数量操作bide1编辑|动态资源池到这里基本配置完成。
具体配置方案,要根据项目实际情况。
建议:保证默认资源池可以使用,不影响正常使用的情况下配置动态资源池。

由于集群资源有限，可能多个应⽤用同时使⽤用Hadoop集群，防⽌止系统资源被单个应⽤用占⽤用过多影响整体集群使⽤用情况，引⼊入资源池管理理集群资源。
unde允许未声明的池OYARN(MR2Included)(服务范围)cyarnschedulerfair.allow-undeclaredpools默认情况下,"A|owUndeclaredpools"可选项是选中的,需要关闭。
否则如果用户指定一个尚未声明的资源池时,比如prod,YARN将会自动生成一个prod资源池。
配置文件修改后需要重新启动YARN服务,重新部署客户端配置。
6.配置“若用户提交任务不指定特定的queue,就使用default资源池”FairScheduerUserAsDefaultQueue使用默认队列时的FairSchedulerOResourceManagerDefaultGroupC当设置为true时,如果未指定池名称,Fair用户Scheduler将会使用用户名作为默认的池名yarnscheduler.fairuser-as-default尔当没为1s时,所有应用程序都在名为default的共享池中运行7.进去动态资源池配置页面clouderamanager群集核图表·倍份●ARN(MR2Include大数据分听平台t50状态宴例配置命令应用程序HHBase主机SHDFS报告利用率报告切换至经奥规划角iHueVImpalaYARN应用栏予v范图bOozemale个查询YAHN(MR2Inclirlen)见围)ksey当论置为te时.如果未指动态资源池配置Scheduler将会使用用户名作为Gateway会SEark2称。
当设置为fdse时,所有应月ucbhlistorySever静态服务池温YARN(MR2Inclut个名为defaut的其享池中运行v类别ClouderaManagementService每页c|ouderaMANAGER群集够断·审楼图表理文持·admn边态资潺池配置(大数分平台)YARNImpalaAdmission(antro源池计划模式放置规贝阳广限制可以嵌,它的每一个级别都可以支持不同的计划程序,如日FC或Farscheduler。
每个池都可以配置为仅允许某些用户和组集访问该池已为3个正在运行的NedeMenacer总共配置72个vcre640当宇节内存。
直看动态责源池钛添创建资需也默认设置访间控制没置最小资源数最大资数虚内板虚拟内核正在运行的应用程序最大量计划策略1500%150.%7.1资源池(资源分配界面)。
主要配置项权重(%):动态权重,资源不是静态的,去其他池相关的资源共享最大最小CPU、内存正在运行的应用程序最大数量●计划策略创建资源池,资源池名称为deV创建资源池资源池名称d口父池Resourcelimits计划策略抢占提交访问控制管理访问控制4与其他池相关的资源共享资源数虚拟内核吉字节:内存Theminumnumberofvirtualcoresandmemoryavailabletothispool.Thistakespriorityovertheweightbasedshare(optional)最大资源数虚拟内核吉字:内存Themaximunnumberofvirtualcoresandmemoryavailabletothispool.Thistakespriorityovertheweightbasedshare(optional)正在运行的应用程序最大池中同时运行的应用程序数量限制。
数量取消创建7.2配置计划策略(对dev资源池控制)编辑资源池ResourceLimits计划策略抢占提交访问控制管理访问控制DRF:Dominantresourcefairness。
根据c門U和内存公平调度资源。
(建议)○FAR仅根据内存公平调度资源FIFC:拥有子池的池不能是FFO。
取消保存7.3提交访问控制(对dev资源池控制)编辑资源池Resourcelimits计划策略抢占提交访问控制管理访问控制此功能仅在“启用ResourceManagerACL"设置为te且“管理ACL"未设置为*时相关。
(请参见顶级页面中的“访问控制设置"。
)Fairscheduler访问控制列表可以控制向池提交应用程序的用户。
对于子池,有杈限提交父池旳用户自动继承子池的相同功能。
○允许任何用尸向该池提交允许这些用户和组向该池提交用户组bi_dev,bi_dev_vipl取消保存7.4管理访问控制(对dev资源池控制)编辑资源池Resourcelimits计划策略抢占提交访问控制管理访问控制此功能仅在"启用ResourceManagerACL"设置为true且“管理ACL未设置为*时相关。
(请参见顶级页面中的"访问控制设置"。
)FairScheduler访问控制列表可以控制可以管理池的用户。
对于子池,有权限管理父池的用户自动继承子池的相同功能○允许任何用户管理该池⊙允许这些用户和组管理该池用户arm组bi_cev,bi_dev_vip保存7.5验证资源池访问控制●新建o用户:yan.yo用户组:Wms为该用户初始化wordcount数据,具体操作见步骤3在执行hadoop命令內加入资源池控制,如下图yan.yhi-bca?-ue-201-]sgroups新的用户组Lyan.jyabi-bcao-ue-001*]5hadoopjar/usr/local/cloud0:56:08INFOinputFileInputFormatTotalinpt18/03/0810:56:08INFDmapreduceJobSubmitter:nuberofsplits8/03/0810:56:09INFOmapreduce,JobSubmitter:Submittingtokensforjob:job_152041指定资源池dev9c23.8/03/0810:56:09INFDmapreduce.Jobsubmitter:Cleaningupthestagingarea/user/ya18/03/0810:56:09WARNsecurity.UserGroupInformation:PriviledgedActionExceptionasauth:SIMPLE)couse:javcioICException:org.apache,hadoop,yarn.exceptions.YarnExceptiFatledtosbitapplication1520413797733_0023tDYARNnstoqueuerootcevvotoIDExceticn:org.apachehadoopyarn.exceptions.YarnExceptian:Failedtosubmitapplication_1520413797733-0023toYARN:UseryanJycamotsubmitapplicaticnstoqueueroanner.java:300)atjavasecurityAccesscontroller.doPrivleged(NativeMethod)tiondoAs(UserGroupInfonmaticnjava:1920)Cob,java:1325)atsunreflectNativeMethodAccessorIpLinvoke(NativeNethodAccessorImpLjava:bZnreflect.DelegatingMethodAccesJava,lcngrefLectanDescription.invoke(ProgramDriver71)Java:74)utsun,I'eeLLNutive:Lhu.Imul,niwuAee(NuLiveveceexyodecessorImpl.java:43)atsunreflectNativeMethodAccesso-ImpLivoke(NativeNetatorg.apache,hadoop,util.RunJar,matnCRunar.java:136Causedby:org.apachehadoopyorn.exceptions.YarnException:Failedtosubmitapplication-1520413797733_0023toYARN:UseryariycarnotsubnitapplicationstoqueLeroot.devatorg.apache,hadoopyarn.clientapiimol,YarndlientInpl,subcation(YarnCLientImpL,java:2570saurccMgrDelcgate.java:290)atorg.apache,hadoopmapredYARNRunnersubritJob(YARNRunne8.计划模式(资源池配置集)可以根据不同时段使用不同的资源池配置。
动态资源池配置(大数据分析平台YaRNMalaArm?Control池计划模式故置规则用广制要确定特定设置问时应处于活动状态,请指定计划规则及规则的评估顷序创速计划则重新持列十划模式顾序每天重复,从早上8点0O分到晚上1点0C分CSD,从2018-02-07开。
2每天重复,从凌属12点00分到早上8点0C分CsT,从20180307开ETLIE编|3在所有其他规则不活用时运行配置了计划模式,资源池会有多套配置,如下图clouderamanager·主机,·审孩图,备份·管理适持warm动态资源池配置(大数据分析平台)YARNImpalaAdmissionControl资源池计划横式款置规则用户限制池可以嵌,它的郎一个级别都可以支排不同的计划程序,如FFO或Farscheduler。
都个池都可以配置为允许某些用户和组集法间该池已为3个正在运行的NodeManager总共配置72个Vcore和640吉字节内存,直看动态资源池状态创建资歇认设置访问控制设置配置集ET时段default资源数最大资原数月户活跃时段名称虛拟内核内存正在运仁的立月程序最大数量计划筑暗ETL时段users116%wonhigh-bl4667计划规则主要控制配置有效时间段,创建计划规则如下图创建计划规则配置集◎新建用户活跃时段default可以将此配置集配置为包含不同的每泡CPU和内存设置。
○使用现有项重复每天全天介于早上8点00分CST:晚上11点0分CsT取消创建9.放置规则主要作用:控制任务(Job、Task)使用资源池规则,即任务会根据以下规则放到对应资源池执行。
clouderaMANAGeR:主机,说图表·音份理搜索dmin动念资源池配置(大数据分析平台)ARNImpalaAdmissionConrol负源池计划模式故置规则用产限制配置YARN如呵确定将在哪个池中运行应月程序创键放置规‖重新列放置观则放规则仅想已在适得时走存在时使用该池编相2仪当root.users.username存在司使用该消编辐|3使用rootdefault此规始终满正。
不会使用后续现则。
10.用户限制主要作用:控制单个用户最大应用程序并发度。
动态资源池配置(大数分析平台)YARNImpalaAdmissionControl密源浊计划模式放置规Q用户见制用户可以同时捉交的最大应用程序数量创建用广阳制默认设置止在行的应用序量大数量操作bide1编辑|动态资源池到这里基本配置完成。
具体配置方案,要根据项目实际情况。
建议:保证默认资源池可以使用,不影响正常使用的情况下配置动态资源池。

这本书很好，适合于初学者。
里面精讲了很多的案例，非常的有用。
目录雷蒙序简介Linux文档工程小组“公告”译者序第一部分Linux内核前言第1章硬件基础与软件基础61.1硬件基础61.1.1CPU71.1.2存储器81.1.3总线81.1.4控制器和外设81.1.5地址空间91.1.6时钟91.2软件基础91.2.1计算机语言91.2.2什么是操作系统111.2.3内核数据结构13第2章内存管理152.1虚拟内存抽象模型152.1.1请求调页172.1.2交换172.1.3共享虚拟内存182.1.4物理寻址模式和虚拟寻址模式182.1.5访问控制182.2高速缓存192.3Linux页表202.4页分配和回收212.4.1页分配222.4.2页回收222.5内存映射222.6请求调页232.7Linux页缓存242.8页换出和淘汰252.8.1减少缓冲区和页缓存大小252.8.2换出SystemV共享内存页262.8.3换出和淘汰页272.9交换缓存272.10页换入28第3章进程293.1Linux进程293.2标识符313.3调度323.4文件343.5虚拟内存353.6创建进程363.7时间和定时器373.8执行程序383.8.1ELF393.8.2脚本文件40第4章进程间通信机制414.1信号机制414.2管道424.3套接字444.3.1SystemV的进程间通信机制444.3.2消息队列444.3.3信号量454.3.4共享存储区47第5章PCI495.1PCI的地址空间495.2PCI配置头505.3PCI的I/O和存储地址空间515.4PCI-ISA桥515.5PCI-PCI桥515.5.1PCI-PCI桥：PCII/O和存储地址空间的窗口515.5.2PCI-PCI桥：PCI配置周期和PCI总线编号525.6LinuxPCI初始化535.6.1Linux内核PCI数据结构535.6.2PCI设备驱动程序535.6.3PCI的BIOS函数565.6.4PCI修正过程57第6章中断处理与设备驱动程序606.1中断与中断处理606.1.1可编程中断控制器616.1.2初始化中断处理数据结构616.1.3中断处理626.2设备驱动程序636.2.1测试与中断646.2.2直接存储器访问(DMA)656.2.3存储器666.2.4设备驱动程序与内核的接口666.2.5硬盘696.2.6网络设备74第7章文件系统777.1第二个扩展文件系统EXT2787.1.1EXT2系统的inode节点797.1.2EXT2系统的超级块807.1.3EXT2系统的组描述符807.1.4EXT2系统的目录817.1.5在EXT2文件系统中查找文件817.1.6在EXT2文件系统中改变文件的大小827.2虚拟文件系统837.2.1VFS文件系统的超级块847.2.2VFS文件系统的inode节点847.2.3注册文件系统857.2.4装配文件系统857.2.5在虚拟文件系统中查找文件877.2.6卸载文件系统877.2.7VFS文件系统的inode缓存877.2.8目录缓存887.3缓冲区缓存887.3.1bdflush内核守护进程907.3.2update进程907.4/proc文件系统917.5特殊设备文件91第8章网络928.1TCP/IP网络概述928.2Linux中的TCP/IP网络层次结构958.3BSD套

CISP-PTE认证教程讲义001-linux操作系统安全V2.0002-windows操作系统安全V2.0003-数据库安全004-Web安全基础0005-Web安全基础1-HTTP协议006-Web安全基础2-注入漏洞007-Web安全基础3-XSS漏洞008-Web安全基础4-请求伪造漏洞009-Web安全基础5-文件处理漏洞010-Web安全基础6-访问控制漏洞011-Web安全基础7-会话管理漏洞012-Web安全基础8-实战练习013-Apache-finished014-IIS015-jboss016-tomcat017-weblogic(2)018-web使用服务器安全加固

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。