BAT机器学习面试1000题系列1前言1BAT机器学习面试1000题系列21归一化为什么能提高梯度下降法求解最优解的速度？222归一化有可能提高精度223归一化的类型231）线性归一化232）标准差标准化233）非线性归一化2335.什么是熵。
机器学习ML基础易27熵的引入273.1无偏原则2956.什么是卷积。
深度学习DL基础易38池化，简言之，即取区域平均或最大，如下图所示（图引自cs231n）40随机梯度下降46批量梯度下降47随机梯度下降48具体步骤：50引言721.深度有监督学习在计算机视觉领域的进展731.1图像分类（ImageClassification）731.2图像检测（ImageDection）731.3图像分割（SemanticSegmentation）741.4图像标注–看图说话（ImageCaptioning）751.5图像生成–文字转图像（ImageGenerator）762.强化学习（ReinforcementLearning）773深度无监督学习（DeepUnsupervisedLearning）–预测学习783.1条件生成对抗网络（ConditionalGenerativeAdversarialNets，CGAN）793.2视频预测824总结845参考文献84一、从单层网络谈起96二、经典的RNN结构（NvsN）97三、NVS1100四、1VSN100五、NvsM102RecurrentNeuralNetworks105长期依赖（Long-TermDependencies）问题106LSTM网络106LSTM的核心思想107逐步理解LSTM108LSTM的变体109结论110196.L1与L2范数。
机器学习ML基础易163218.梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？深度学习DL基础中178@李振华，https://www.zhihu.com/question/68109802/answer/262143638179219.请比较下EM算法、HMM、CRF。
机器学习ML模型中179223.Boosting和Bagging181224.逻辑回归相关问题182225.用贝叶斯机率说明Dropout的原理183227.什么是共线性,跟过拟合有什么关联?184共线性：多变量线性回归中，变量之间由于存在高度相关关系而使回归估计不准确。
184共线性会造成冗余，导致过拟合。
184解决方法：排除变量的相关性／加入权重正则。
184勘误记216后记219

三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解

马尔科夫链matlab程序包。
马尔科夫链定义本身比较简单，它假设某一时刻状态转移的概率只依赖于它的前一个状态。
举个形象的比喻，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。
当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。
　　　　如果用精确的数学定义来描述，则假设我们的序列状态是...Xt−2,Xt−1,Xt,Xt+1,......Xt−2,Xt−1,Xt,Xt+1,...，那么我们的在时刻Xt+1Xt+1的状态的条件概率仅仅依赖于时刻XtXt，即：P(Xt+1|...Xt−2,Xt−1,Xt)=P(Xt+1|Xt)P(Xt+1|...Xt−2,Xt−1,Xt)=P(Xt+1|Xt)　　　　既然某一时刻状态转移的概率只依赖于它的前一个状态，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了。
我们来看看下图这个马尔科夫链模型的具体的例子。

本例使用tensorflow框架实现深度学习模型，包括CNN、RNN、GAN等，有源码和数据

PythonDeepLearningProjects:9projectsdemystifyingneuralnetworkanddeeplearningmodelsforbuildingintelligentsystemsBy作者:MatthewLamons–RahulKumar–AbhishekNagarajaISBN-10书号:1788997093ISBN-13书号:9781788997096出版日期:2018-10-31pages页数:(670)Deeplearninghasbeengraduallyrevolutionizingeveryfieldofartificialintelligence,makingapplicationdevelopmenteasier.PythonDeepLearningProjectsimpartsalltheknowledgeneededtoimplementcomplexdeeplearningprojectsinthefieldofcomputationallinguisticsandcomputervision.Eachoftheseprojectsisunique,helpingyouprogressivelymasterthesubject.You’lllearnhowtoimplementatextclassifiersystemusingarecurrentneuralnetwork(RNN)modelandoptimizeittounderstandtheshortcomingsyoumightexperiencewhileimplementingasimpledeeplearningsystem.Similarly,you’lldiscoverhowtodevelopvariousprojects,includingwordvectorrepresentation,opendomainquestionanswering,andbuildingchatbotsusingseq-to-seqmodelsandlanguagemodeling.Inadditiontothis,you’llcoveradvancedconcepts,suchasregularization,gradientclipping,gradientnormalization,andbidirectionalRNNs,throughaseriesofengagingprojects.Bytheendofthisbook,youwillhavegainedknowledgetodevelopyourowndeeplearningsystemsinastraightforwardwayandinanefficientwayContents1:BUILDINGDEEPLEARNINGENVIRONMENTS2:TRAININGNNFORPREDICTIONUSINGREGRESSION3:WORDREPRESENTATIONUSINGWORD2VEC4:BUILDINGANNLPPIPELINEFORBUILDINGCHATBOTS5:SEQUENCE-TO-SEQUENCEMODELSFORBUILDINGCHATBOTS6:GENERATIVELANGUAGEMODELFORCONTENTCREATION7:BUILDINGSPEECHRECOGNITIONWITHDEEPSPEECH28:HANDWRITTENDIGITSCLASSIFICATIONUSINGCONVNETS9:OBJECTDETECTIONUSINGOPENCVANDTENSORFLOW10:BUILDINGFACERECOGNITIONUSINGFACENET11:AUTOMATEDIMAGECAPTIONING12:POSEESTIMATIONON3DMODELSUSINGCONVNETS13:IMAGETRANSLATIONUSINGGANSFORSTYLETRANSFER

本例包含reddit论坛数据集，使用rnn对论坛留言进行情感分类。
是rnn入门的简单易学教程。

目的：使用CNN卷积神经网络实现语音识别步骤：（1）预处理。
首尾端的静音切除，降低对后续步骤造成的干扰，然后进行声音分帧，把声音切开成帧，，各帧之间一般是有交叠。
（2）特征提取。
运用的算法为倒谱系数（MFCC），把每一帧波形变成一个包含声音信息的多维向量；
（3）RNN模型训练。
有了特征，就可以使用TensorFlow完成模型的建立和训练了。
（4）验证模型。
目标：对相应的声音数据进行分类，例如数据的是数数的数据，能够输出对应的数字。

反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大规模的应用。
全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神经网络(RNN)中都有它的实现版本。
算法从多元复合函数求导的链式法则导出，递推的计算神经网络每一层参数的梯度值。
算法名称中的“误差”是指损失函数对神经网络每一层临时输出值的梯度。
反向传播算法从神经网络的输出层开始，利用递推公式根据后一层的误差计算本层的误差，通过误差计算本层参数的梯度值，然后将差项传播到前一层

基于基本的RNN的Python代码，将其用Matlab实现了，且实验结果比较好

字符级语言Torch模型的多层递归神经网络(LSTM,GRU,RNN)

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。