ALTNT's Hexo Blog

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702d33f52e2643dd619264f31cb24dc6961145993749563e8e2da298c47cd92ab27118816d707a509f4d0ac6e42635fd04c89d7bf94e111a64b3288baa355661875f3f982eb56906f85164803a56f07c931b99e576a45100ee79cc397dba23c0ce4baec9b91e1a6014fd71bb7e4ccfdff8155fbb56bf391a737e5497cf4b5454ab55a12557f5acfda8a7855978ac8e3c485217e8ce06c9453a06dd4b9c8e14bd2175f5d3524f8eeb2f294ca4855b1201a28a8d79c06b3bac292359f41f11fda20d68b4725e59bc68a56a289b4a529ca37adf2a44b5aaf20f90ff9 ...

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702d6d8c8b3b093aa4ef60c8e37297dc41f605414a6bf910d15a2817ba2760fef3607cb3af037b7a5de2e071055563cc70649b22ec3ebbaa951945092aa6afb641c9c78a658608c556b77bf8c4b7750a0f3510027c041fd5b56ed8dfa6dc9ce5f8fb7442bc4885d1190f317b689bc6f978f14062131a56bf7e3c602b63ff88135f977437de568bccd0320c42d943009bfc58627ce4a00e7fce9cb9a541716c8719543d8e4b2e2da2402c9bbee28e5e0dcdabee6435d526f3f91f8dd12fe36c54abf349433a819b44f91600e7a9def65f4814cab758d6ffc0a4da1 ...

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702d72b131c2c3870672d82c14d0a5a0b23a522f2315d47626275c3104e1916f024d83632ba3791eed036aa40f60e9ba965a71e7c7566d3fd0b3f1b24d8b75b9925a6df506b9b60cdcb10afd816ac38d3e7466d4d19c9ab1d223ab095d02b90adf9a9bdfadbdac8ca17aebc77285e0d3e56585b44cbb7919980f7b9fcd11883cad7b6b785ac22cb576bda9d641a241d2c2c70b746bb93369ecf1f52e1e67c6903075acbaa4fb1b34bab23fed8592ff880d02dc736b8f44c1652acbfac88ee565b43e6c0390da3330707f4a5dd9959a4bff4b4212b8f4c6078a637 ...

854efd16088ec0a2949395f17c9b60f923e89fd7cecbceda8b2077e21db38c0e6c4a5fbe965798e5824a170b2e2db04bbd5017abdb15180e96d8ff877df19c2bc291dc168f8e16bc85da305284ce4506473559c318d2f90f37936f3f8f9acb47bc6b1e0d16a0b6df349fe59502560bd6129445f9e9248d8561f47140af464e20c72bb775e45f3b89950c3f4e1fc3af9df4d17461545d41270cb06bc9fa0ee5b49adbacd4b2f9208670d95e418bb2bf9c4c58bc992966b7c3124edc3402f0be8fafd83ea0be89b3941f0463dfcb4a6a7352bd1999cfcdc37a1bf272eee1d5d8b30cc5f770594d0165c605722eab9a9fb9753a6e25ed87f7c4f ...

机器学习分类 根据训练数据是否有标签，可以分为： 监督学习：所有训练数据均具有标签（典型的问题有回归：模型输出的是一个具体数值；分类：模型的输出是某一类别） 在监督学习中，常用的模型种类可以分为：线性模型 和 非线性模型。其中，非线性模型应用更加广泛，表达能力也更强，包括深度学习，支持向量机（SVM），决策树，K-NN算法等。 半监督学习：训练数据中，部分具有标签，另一部分没有标签（但是没有标签的数据，对于模型的学习也是有用处的）。 迁移学习：使用与当前任务无关的数据（可能有标签，可能没有标签）来促进当前模型的学习。 无监督学习：训练数据都没有标签。 无监督学习存在的原因是，现实世界中，为训练数据进行标注成本较高，当训练数据都没有标签时，如果我们想要为数据进行分类，只能根据数据的特征进行划分，比如聚类算法。 强化学习：训练数据没有标签，智能体从环境交互中进行学习，来更新自身的策略，根据最终环境的反馈（获得的奖励）来调整自身行为。 回归问题 机器学习笔记的第二篇博客，来介绍机器学习中最基础的回归任务，上一篇博客中有提到回归任务和分类任务的差别在于，回归任务中模型的输出是一个具体的数值， ...

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702dadd514e97fcd2e939475596757ca6c63ec9253e929b7a66e37a823d00af292789f3570f9ffc4fc2a12093147a5938afa8c7e042040cdb1c0a93eb0ee38fad88d7d8db342fc49684c0f25ebd250b3b2aea129aa019e4d407bac46660ab38deeec2fe691d7760091d37803810ee42b6802a9270dbf2083c5c0c2795a7752fc2a7de06885f45a8b0d36d114510cfbb1018be6cbd30439269bf96885c21df41e313bac8ed3358db8f568b1ed0a8f7379c2bb291919d86fb95deaeeb517ed458222396f3605406035af3ecdc668436a2143894b13d043d6fb81de6 ...

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702dadd514e97fcd2e939475596757ca6c63d4070c9663110c57954384e5dad46a0433614fdfd5c8b16f29164706ba5e3ddf098242913289720def00ac37bbe4bfc6532d517e6083ca26165a0d34e4c714d2362901f4b440d79bc398e4ea2aba52f1403998914f8f9b07e659f6578794864dac91c47454bce2f90a00c4d2022819acc3d30172a9fd2eda161937e241e21905675129d86c863386017c7d191e0fd7bc41a0f6639e8cce57fac0c7ad38df8acae5cd7eacfd21142cd49515da98999d1732aac0b4be22a34c2ac3fff4d260899e3f82146a874eb31f6 ...

探秘Transformer系列之（14）--- 残差网络和归一化 目录 探秘Transformer系列之（14）--- 残差网络和归一化 0x00 概述 0x01 残差连接 1.1 问题 1.2 相关知识 shortcut connections 恒等映射 1.3 网络结构 论文V1 论文V2 1.4 功用 梯度消失 缓解退化 层间修正 掩码 VS 残差 0x02 归一化 2.1 问题 2.2 定义 2.3 类型 0x03 BatchNorm 3.1 公式 3.2 作用 3.3 PyTorch使用 3.4 问题 0x04 layerNorm 4.1 解决方案 4.2 公式 4.3 作用 4.4 LN和BN的差异 作用对象 作用方向 业务选择 CV NLP 具体实现 4.5 Post-Norm VS Pre-Norm 概念 论文实现 Post-Norm 难以训练 需要热身 Pre-Norm 小结 0x05 扩展比对 5.1 Instance Norm 5.2 GroupNorm 5.3 比对 类比 细节 0x06 实现 6.1 L ...

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702dadd514e97fcd2e939475596757ca6c63d7ab51065309de76acee77ce2a4a53af3c430a118a81512183f2b73ec0960abfef1550786a113d3483d9b4d5275d6ffdf09d5630c2e016e0c3950a45b884daec3725c2195ee5bdfb18cf7253949dd150faef40f5bc3d3e161b157eee60768bcc4e0d2a84d5c3fcc1322254aa27dbac12b22198abc07327d6ba47c5812a9f0e70e51cf7a88bdd7121c8b96c2be3ab5ce8e278362b41eae2fe3ee8ccc600249da8d1e43fc61ca647c7dd422f60c62a1400b4e87a979d45a50c9939b697132a65c8ead1dcfa472072e65 ...

854efd16088ec0a2949395f17c9b60f9386aedb0ff5a819cd0390912c2b2702dadd514e97fcd2e939475596757ca6c63d7ab51065309de76acee77ce2a4a53af3c430a118a81512183f2b73ec0960abfef1550786a113d3483d9b4d5275d6ffdf09d5630c2e016e0c3950a45b884daec3725c2195ee5bdfb18cf7253949dd150faef40f5bc3d3e161b157eee60768bcc4e0d2a84d5c3fcc1322254aa27dbac12b22198abc07327d6ba47c5812a9f0e70e51cf7a88bdd7121c8b96c2be3ab5ce8e278362b41eae2fe3ee8ccc600249da8d1e43fc61ca647c7dd422f60c62a1400b4e87a979d45a50c9939b697132a65c8ead1dcfa472072e65 ...