现在我们回到LDA的原理上,我们在第一节说讲到了LDA希望投影后希望同一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大,但是这只是一个感官的度量。
现在我们首先从比较简单的二类LDA入手,严谨的分析LDA的原理。
    假设我们的数据集D={(x1,y1),(x2,y2),...,((xm,ym))}D={(x1,y1),(x2,y2),...,((xm,ym))},其中任意样本xixi为n维向量,yi∈{0,1}yi∈{0,1}。
我们定义Nj(j=0,1)Nj(j=0,1)为第j类样本的个数,Xj(j=0,1)Xj(j=0,1)为第j类样本的集合,而μj(j=0,1)μj(j=0,1)为第j类样本的均值向量,定义Σj(j=0,1)Σj(j=0,1)为第j类样本的协方差矩阵(严格说是缺少分母部分的协方差矩阵)。
    μjμj的表达式为:μj=1Nj∑x∈Xjx(j=0,1)μj=1Nj∑x∈Xjx(j=0,1)    ΣjΣj的表达式为:Σj=∑x∈Xj(x−μj)(x−μj)T(j=0,1)Σj=∑x∈Xj(x−μj)(x−μj)T(j=0,1)    由于是两类数据,因此我们只需要将数据投影到一条直线上即可。
假设我们的投影直线是向量ww,则对任意一个样本本xixi,它在直线ww的投影为wTxiwTxi,对于我们的两个类别的中心点μ0,μ1μ0,μ1,在在直线ww的投影为wTμ0wTμ0和wTμ1wTμ1。
由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大,也就是我们要最大化||wTμ0−wTμ1||22||wTμ0−wTμ1||22,同时我们希望同一种类别数据的投影点尽可能的接近,也就是要同类样本投影点的协方差wTΣ0wwTΣ0w和wTΣ1wwTΣ1w尽可能的小,即最小化wTΣ0w+wTΣ1wwTΣ0w+wTΣ1w。
综上所述,我们的优化目标为:argmaxwJ(w)=||wTμ0−wTμ1||22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)wargmax⏟wJ(w)=||wTμ0−wTμ1||22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)w    我们一般定义类内散度矩阵SwSw为:Sw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)TSw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)T    同时定义类间散度矩阵SbSb为:Sb=(μ0−μ1)(μ0−μ1)TSb=(μ0−μ1)(μ0−μ1)T    这样我们的优化目标重写为:argmaxwJ(w)=wTSbwwTSwwargmax⏟wJ(w)=wTSbwwTSww    仔细一看上式,这不就是我们的广义瑞利商嘛!这就简单了,利用我们第二节讲到的广义瑞利商的性质,我们知道我们的J(w)J(w)最大值为矩阵S−12wSbS−12wSw−12SbSw−12的最大特征值,而对应的ww为S−12wSbS−12wSw−12SbSw−12的最大特征值对应的特征向量!而S−1wSbSw−1Sb的特征值和S−12wSbS−12wSw−12SbSw−12的特征值相同,S−1wSbSw−1Sb的特征向量w′w′和S−12wSbS−12wSw−12SbSw−12的特征向量ww满足w′=S−12www′=Sw−12w的关系!    注意到对于二类的时候,SbwSbw的方向恒为μ0−μ1μ0−μ1,不妨令Sbw=λ(μ0−μ1)Sbw=λ(μ0−μ1),将其带入:(S−1wSb)w=λw(Sw−1Sb)w=λw,可以得到w=S−1w(μ0−μ1)w=Sw−1(μ0−μ1),也就是说我们只要求出原始二类样本的均值和方差就可以确定最佳的投影方向ww了。
2024/7/30 21:57:26 3KB MATLAB 人脸识别 LDA knn
1
支持一键导入Excel测试数据,自动设置为变量,打开测试数据文件,后期可以优化
2024/7/30 17:16:16 3.65MB Jmeter 插件
1
可以在vs2013或vs2015上运行,非线性约束优化数值库Nlopt
2024/7/29 17:30:08 5.81MB Nlopt c、c++
1
遗传算法优化支持向量机算法,从而更好的提高识别率和预测率
2024/7/29 6:21:42 1.59MB GA SVM
1
C语言程序设计:现代方法(第2版)是C语言的经典之作,被誉为“近10年来的一部C语言著作”。
本书主要的一个目的就是通过一种“现代方法”来介绍C语言,书中强调标准C,强调软件工程,不再强调“手工优化”。
这一版中紧密结合了C99标准,并与C89标准进行对照,补充了C99中的全新特性。
本书分为C语言的基础特性、C语言的高级特性、C语言标准库和参考资料4个部分。
每章末尾都有一个“问与答”小节给出一系列与该章内容相关的问题及答案,此外还包含适量的习题。
C语言程序设计:现代方法(第2版)是为大学本科阶段的C语言课程编写的教材,同时也非常适合作为其他课程的辅助用书。
2024/7/28 14:14:32 448.74MB C语言 程序设计 现代方法 (第2版)
1
BCGControlBar22.1最新版,百度网盘下载正式支持Windows8.1和VisualStudio2013。
经过2个月的用户检验,BCG团队发布了修复和优化上一个版本的v22.1。
2024/7/28 13:07:40 31B VC界面库 BCGControl Bar
1
分析了熔体提拉法生长Ho∶Tm∶YLF晶体过程中熔体表面漂浮物的产生原因,以及晶体中散射颗粒、孪晶和开裂的成因。
通过精心设计对称性温场,并调整温场、优化生长工艺参数,有效消除了晶体中的散射颗粒,克服了晶体开裂。
采取在生长气氛中加入一定量CF4等工艺措施有效减少了熔体表面上的氟氧化物漂浮物,克服了漂浮物对生长晶体的影响,生长出了尺寸为(25~30)mm×(100~120)mm的高品质HoTmYLF晶体。
HoTmYLF晶体激光性能测试表明,在LD双端抽运条件下获得了超过10W的2.05μm激光输出,激光斜率效率达到41.2%,光光转换效率达到36.4%。
2024/7/28 8:05:22 1.55MB 材料 激光晶体 HoTmYLF晶 晶体生长
1
C++MFC大作业,全班最高分个人日程管理系统实现开机启动定时提醒定期提醒备忘录固定节日提醒个人日记选择提醒音乐等功能优化UI界面
1
提出了一种用于全局优化的混合差分进化算法。
在新算法中,混沌系统的随机性被用来在搜索空间中尽可能多地散布个体,模式搜索方法被用来加速局部开发,而DE算子被用来跳到一个更好的点。
证明了全局收敛。
详细研究了三种典型的混沌系统。
在包含13个高维函数的基准示例上的数值实验表明,该新方法以较少的计算量实现了更高的成功率和最终解决方案。
2024/7/27 13:07:01 215KB differential evolutionary algorithm; global
1
为研究不同激光喷丸(LSP)工艺参数对强化效果的影响,以ISIGHT软件为平台,结合数值模拟软件ANSYS建立了激光喷丸参数化文件。
采用多岛遗传算法对激光工艺参数进行优化,获得一组最佳参数组合。
探讨了不同峰值压力及光斑半径对残余应力场及塑性变形的影响,结合实验对优化后激光参数下的塑性变形结果进行了验证。
结果表明:模拟结果和实验结果一致性较好,所设计的优化方法可行,对今后的研究具有指导意义。
1
共 1000 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡