avatar
Articles
165
Tags
34
Categories
0
Home
Archives
Tags
Categories
List
  • Music
  • Movie
Link
About
ALTNT's Hexo Blog
Home
Archives
Tags
Categories
List
  • Music
  • Movie
Link
About

大模型技术原理第四章

Created2025-02-12|Updated2025-02-25
|Post Views:
Author: ALTNT
Link: http://blog.705553939.xyz/2025/02/12/%E8%B5%84%E6%96%99/%E5%A4%A7%E6%A8%A1%E5%9E%8B/%E7%AC%AC%E5%9B%9B%E7%AB%A0/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.
资料大模型LLM
Previous
Boosting crop classification by hierarchically fusing satellite, rotational, and contextual data
Next
大模型技术原理第三章
Related Articles
2025-02-10
大模型技术原理第一章
2025-02-10
大模型技术原理第二章
2025-03-10
大模型技术原理第五章
2025-03-25
大模型技术原理第六章
2025-02-12
大模型技术原理第三章
2024-11-11
命令
avatar
ALTNT
Articles
165
Tags
34
Categories
0
Follow Me
Announcement
This is my Blog
Contents
  1. 1. 大模型技术原理第四章——参数高效微调
    1. 1.1. 参数高效微调简介
      1. 1.1.1. 监督微调
        1. 1.1.1.1. 全量监督微调的挑战
        2. 1.1.1.2. 解决挑战的办法——PEFT
          1. 1.1.1.2.1. 参数附加方法
          2. 1.1.1.2.2. 参数选择方法
          3. 1.1.1.2.3. 低秩适配方法
    2. 1.2. 参数附加方法
      1. 1.2.1. 加在输入
        1. 1.2.1.1. Prompt-tuning
          1. 1.2.1.1.1. 软提示
      2. 1.2.2. 加在模型
        1. 1.2.2.1. prefix-tuning
        2. 1.2.2.2. Adapter-tuning
      3. 1.2.3. 加在输出
        1. 1.2.3.1. 代理微调
    3. 1.3. 参数选择方法（在大模型上其实用的不多，见后面）
      1. 1.3.1. 基于规则的方法
        1. 1.3.1.1. （1）BitFit 方法
      2. 1.3.2. 基于学习的方法
        1. 1.3.2.1. Child-tuning
      3. 1.3.3. 参数选择方法优缺点
    4. 1.4. 低秩适配方法（LoRA）
      1. 1.4.1. lora 性能影响因素
        1. 1.4.1.1. 影响因素 1：权重初始化
        2. 1.4.1.2. 影响因素 2：秩的影响
        3. 1.4.1.3. 影响因素 3：施加位置影响
      2. 1.4.2. LoRA 参数效率分析
      3. 1.4.3. LoRA 相关变体
        1. 1.4.3.1. 变体 1： AdaLoRA
        2. 1.4.3.2. 变体 2： LoRAHub
        3. 1.4.3.3. 变体 3：QLoRA
        4. 1.4.3.4. 变体 4： S-LoRA
    5. 1.5. 参数微调的应用
      1. 1.5.1. 应用 1
      2. 1.5.2. 应用 2
      3. 1.5.3. 应用 3
      4. 1.5.4. 应用 4
      5. 1.5.5. 应用 5
Recent Post
周报2025年6月8日2025-06-09
The 20 m Africa rice distribution map of 20232025-06-04
DCM————DeepCropMapping: A multi-temporal deep learning approach with improved spatial generalizability for dynamic corn and soybean mapping2025-06-04
重新复现CACM记录2025-06-04
机器学习相关概念2025-05-26
©2020 - 2025 By ALTNT
Framework Hexo|Theme Butterfly