常用模型有哪些？|岩土工程勘察 - 领先的岩土技术社区，岩土领域的媒体、社区与应用平台！

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看楼主倒序阅读使用道具楼主发表于: 09-15

大家知道哪些模型？特别是岩土方面的模型，还有哪些分析方法在岩土工程上应用？

分享到 淘江湖新浪 QQ微博 QQ空间开心人人豆瓣网易微博百度鲜果白社会飞信

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 1楼发表于: 09-15

小波(Wavelet)这一术语，顾名思义，“小波”就是小的波形。所谓“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。
htt ps://baike.baidu.com/item/%E5%B0%8F%E6%B3%A2%E5%88%86%E6%9E%90/1504577
从对一个外行解释的角度，分析一下什么是小波分析？
htt ps://www.zhihu.com/question/19725983/answer/2543872297
ht tps://wenku.baidu.com/view/cac3b7360f1c59eef8c75fbfc77da26924c59615.html?
小波分析可以通俗理解为一台能自动变焦的“数学显微镜”，它能同时看清信号的“时间位置”和“频率细节”，完美解决了传统傅里叶变换只能看整体频谱、找不到局部突变点的痛点，是处理非平稳工程信号的核心工具。

用生活场景快速理解核心逻辑
你可以把它类比成用不同焦距的放大镜看一张工程图纸：

傅里叶变换相当于用固定倍数的老花镜，只能看清整张图纸的整体色调，完全找不到图纸上某一处突然出现的裂缝标记；
短时傅里叶变换相当于用固定大小的窗口扫图纸，窗口尺寸不能变，看细节时窗口太大、看整体时窗口太小；
小波分析则是自动变焦的显微镜：想看大图（低频慢变信号）就把镜头拉远，用宽窗口看清整体轮廓；想看局部细节（高频突变信号）就把镜头推近，用窄窗口精准定位到裂缝出现的具体位置，同时看清这个细节对应的频率特征。
它的核心操作就是拿一个“小波形”（母小波），通过“拉伸变胖”（控制频率）和“平移挪动”（控制时间），把原始工程信号拆解成不同尺度的细节层，每一层都对应不同频率范围的局部信息，既能bao留信号全貌，又不会漏掉任何一个瞬态突变点。

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 2楼发表于: 09-15

实际工程中的典型应用场景
🏗️ 土木工程：基坑与结构健康监测
在你关注的基坑施工场景中，小波分析可以处理支护结构的应力、位移监测信号：

把传感器采集到的带大量施工噪声的监测数据做小波分解，通过阈值过滤掉钻机、车辆带来的高频干扰，精准提取支护桩内力的真实变化趋势；
当基坑侧壁出现局部微小变形时，普通频谱分析根本找不到这个突变点，小波分析能直接定位到变形发生的具体时间点，提前预警支护结构的局部失稳风险，避免基坑坍塌事故。
在桥梁、高层建筑的长期健康监测中，它还能从海量振动数据里识别出结构的早期损伤特征，比传统方法早几个月发现混凝土内部的微裂缝扩展。
⚙️ 机械工程：设备故障早期诊断
工业电机、齿轮箱、轴承的早期故障，往往只表现为极微弱的短时冲击振动，完全被背景噪声掩盖：

普通FFT频谱分析只能看到整体频率分布，根本找不到冲击发生的时间点；
小波分析可以把振动信号拆解成不同频率层，直接定位到0.2s、0.5s这些具体时刻出现的高频冲击，精准识别出轴承滚道的早期剥落、齿轮的齿面磨损，在故障还没引发停机前就完成预警，大幅降低设备非计划停机损失。
🛢️ 石油勘探：地震波信号解析
小波分析最早就是法国石油工程师在处理地震勘探信号时发明的：

地下不同地层反射回来的地震波，既有低频的深部地层慢变信号，又有高频的薄储层反射尖峰；
用小波多尺度分解，可以同时精准解析出深部大地层的整体分布，又能定位到地下几米厚的薄油层位置，大幅提升石油勘探的储层识别精度，这也是小波分析最早落地的工程场景。
📸 工程测量：影像数据处理
在工程测绘、无人机航拍的地形测量中，小波分析可以：

对航拍影像做去噪处理，在不损失地形边缘细节的前提下去掉云雾、噪声干扰；
实现多源测绘影像的精准融合，把可见光影像和红外热成像的不同特征叠加，更清晰地识别出山体滑坡的潜在隐患区域。

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 3楼发表于: 09-15

小波分析在岩土工程中一个非常典型的应用场景，是对分布式光纤监测数据进行去噪与风险识别。岩土工程监测环境复杂，原始数据往往被各种噪声淹没，小波分析的多尺度分解能力正好能解决这个问题。
下面以一项隧洞光纤监测实际工程为例，逐步拆解其步骤和原理。
实际工程：隧洞分布式光纤形变监测预警
该工程在某隧洞沿线布设了千米级长度的分布式光纤，用于应变监测。原始监测数据中包含大量由温度变化、仪器振动、电磁干扰等引入的噪声。研究的目标是从这些海量数据中，提取出真实的岩土形变信号，并识别出潜在的风险点位。
逐步解读：小波分析的应用步骤
第一步：理解为什么小波分析适合岩土监测数据
岩土工程的监测信号（如应变、位移、雷达波）具有非平稳和突变性。传统的傅里叶变换只能告诉你“整个信号里有哪些频率”，但无法告诉你“某个频率的信号在什么时间/位置出现”。而小波分析像一个“数学显微镜”，能够同时在时间（空间）和频率两个维度上分析信号，特别擅长捕捉信号的局部突变点（如形变异常、结构损伤）。
第二步：选择合适的小波基并执行“小波分解”
首先需要选择一个小波基函数（类似于选择一把合适的“尺子”）。在岩土监测中，常用的有Daubechies（db系列）、Symlets（sym系列）等，因为它们与突变的岩土信号形状匹配度较好。
选定基函数后，对原始的一维监测信号（例如光纤沿线的应变序列）进行多尺度分解。例如，进行3层分解，将信号拆解为：
•    近似系数：代表信号的大体趋势（低频部分，通常是真实的形变趋势）。
•    细节系数：代表信号的细微变化和噪声（高频部分，往往是干扰）。
第三步：核心原理——阈值量化与去噪
这一步是小波去噪的关键。其原理是：真实岩土形变信号的能量通常集中在少数几个大的小波系数上，而噪声的能量则分散在大量小的小波系数中。
研究对比了四种阈值选择方法（通用阈值、无偏似然估计、启发式、极大极小）和四种阈值处理方式（硬阈值、软阈值、半软阈值、非负消减）。该工程案例发现，采用“无偏似然估计”选择阈值，并结合“非负消减”处理方式，去噪效果最佳。这意味着算法能自适应地确定一个“门槛”，把低于这个门槛的系数（视为噪声）压缩掉，而bao留高于门槛的系数（视为有效形变信号）。
第四步：重构信号与风险点识别
将处理后的系数进行小波逆变换，重新组合成一个干净的信号。这个重构后的信号去除了噪声干扰，真实的形变趋势和突变点变得清晰可见。
在该工程中，研究人员基于去噪后的数据确定了预警阈值。最终结果非常理想：
1.    准确性验证：人工现场排查发现的两处洞体破坏位置，与基于光纤数据分析获得的风险点位高度吻合。
2.    效果提升：该方法显著降低了无效预警（误报）发生的概率，让预警更加精准。结合其他监测手段，还发现了山体存在整体缓慢蠕变及局部突变的危险现象。
原理小结
这个工程案例之所以成功，是因为它抓住了小波分析的三个核心优势：
•    多分辨率：从粗到细地观察数据，既能看全局趋势，也能抓局部细节。
•    去相关性：让噪声和信号在小波域中“分道扬镳”，便于分离。
•    选基灵活性：可以根据岩土信号的特点选择最匹配的小波基，提高分析精度。
除了光纤监测，小波分析在隧道超前地质预报（探地雷达去噪）和岩石声发射信号处理中也有广泛应用，原理基本相通，都是利用小波变换从强干扰中提取弱有效信号

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 4楼发表于: 09-15

隐马尔科夫模型是‌关于时序的概率模型，描述由隐藏马尔可夫链生成不可观测状态序列，再由状态生成观测序列的过程‌ 。‌‌‌
核心要素：由初始状态概率向量𝜋π、状态转移概率矩阵𝐴A和观测概率矩阵𝐵
B三个要素决定。
基本假设：包含齐次马尔可夫性假设（状态只依赖前一时刻）和观测独立性假设（观测只依赖当前状态）。
典型应用：广泛用于语音识别、自然语言处理、生物信息学及故障诊断等领域
隐马尔可夫模型（HMM）的基本概念。隐马尔可夫模型是一种统计学习模型，它描述了一个由隐藏的马尔可夫链随机生成观测序列的过程。

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 5楼发表于: 09-15

马尔科夫链和隐马尔科夫模型（HMM）是描述状态随时间变化的数学工具。它们核心的区别在于：状态是直接可见的，还是隐藏的。
下面用通俗的例子来说明。
一、马尔科夫链：状态直接可见
核心思想
马尔科夫链的核心是“无记忆性”：下一个状态只取决于当前状态，与更早的历史无关。
用一句话概括就是：“未来只和现在有关，和过去无关。
通俗例子：天气预报
假设天气只有三种状态：晴天、阴天、雨天。

根据历史统计，我们得到这样的转移规律：

今天 \ 明天    晴天    阴天    雨天
晴天    0.7    0.2    0.1
阴天    0.3    0.4    0.3
雨天    0.2    0.3    0.5
意思是：
如果今天是晴天，明天有70%概率还是晴天，20%概率变阴天，10%概率下雨。
如果今天是阴天，明天有30%概率放晴，40%概率继续阴，30%概率下雨。
以此类推。
马尔科夫链要回答的问题是：
已知今天晴天，明天最可能是什么天气？后天呢？长期来看，晴天、阴天、雨天各占多大比例？
这里的关键是：“晴天”“阴天”“雨天”这些状态，你直接就能观察到。你抬头看天就知道今天是什么状态。
马尔科夫链的三要素
状态空间：所有可能的状态（晴、阴、雨）。
转移概率矩阵：从每个状态转到其他状态的概率。
初始状态：一开始处于什么状态。

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 6楼发表于: 09-15

二、隐马尔科夫模型：状态隐藏，只能看到“证据”
核心思想
隐马尔科夫模型中，真实状态你看不到，你能看到的只是由这个状态产生的某种观测值。真实状态本身按马尔科夫链的规律变化，但你只能通过观测值去推测真实状态是什么。
通俗例子：医生诊断
假设一个病人体内真实状态只有两种：健康和生病。
但医生不能直接看到病人是健康还是生病，只能看到病人表现出来的症状：正常、头晕、发烧。
真实状态（隐藏）按马尔科夫链变化：
今天 \ 明天    健康    生病
健康    0.8    0.2
生病    0.3    0.7
意思是：今天健康，明天80%仍健康，20%生病；今天生病，明天30%康复，70%继续生病。
但医生看不到这个状态。医生只能看到症状。而症状和真实状态之间有一个发射概率：
真实状态 \ 观测症状    正常    头晕    发烧
健康    0.7    0.2    0.1
生病    0.1    0.3    0.6
意思是：
•    如果病人实际是健康的，他有70%概率表现正常，20%概率头晕，10%概率发烧。
•    如果病人实际是生病的，他只有10%概率表现正常，30%概率头晕，60%概率发烧。
医生看到的是：病人第一天头晕，第二天发烧，第三天正常……
医生要回答的问题是：
根据这串症状，病人最可能的真实状态序列是什么？是“健康→生病→康复”还是“健康→健康→健康”？
这就是隐马尔科夫模型要解决的问题。
隐马尔科夫模型的三要素
1.    隐藏状态空间：真实状态（健康、生病），你看不到。
2.    观测状态空间：你能看到的东西（正常、头晕、发烧）。
3.    两组概率：
o    转移概率：隐藏状态之间怎么变（健康→生病）。
o    发射概率：每个隐藏状态产生某个观测值的概率（生病→发烧）。
________________________________________
三、核心区别对照
对比项    马尔科夫链    隐马尔科夫模型
状态是否可见    直接可见    隐藏，不可直接观测
你能观察到什么    状态本身    由状态产生的观测值
核心问题    下一个状态是什么？    根据观测序列，推测隐藏状态序列是什么？
概率参数    只有转移概率    转移概率 + 发射概率
典型例子    天气预报、股票涨跌    语音识别、医生诊断、词性标注
________________________________________
四、一句话总结
•    马尔科夫链：你看得见状态，只需要预测下一步。
•    隐马尔科夫：你看不见状态，只能看到状态留下的“痕迹”，需要根据痕迹反推状态。
隐马尔科夫可以理解为“双层马尔科夫”：底层是你看不见的真实状态在按马尔科夫链变化，上层是每个真实状态随机“发射”出一个你能看到的观测值。你站在上层，只能通过观测值去猜底层发生了什么。

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 7楼发表于: 09-15

隐马尔科夫模型的英文全称是 ‌Hidden Markov Model‌，缩写为 HMM
转移概率矩阵，说白了就是一张“从当前状态跳到下一个状态的概率表”。
它的核心作用是：把所有状态之间互相转换的可能性，整齐地放在一个表格里。
________________________________________
一、先理解“转移”和“概率”
•    状态：系统当前所处的某种情况。比如天气的晴、阴、雨。
•    转移：从当前状态变成下一个状态。比如今天晴，明天变阴，这就是一次转移。
•    概率：这件事发生的可能性有多大。比如今天晴，明天变阴的概率是20%。
把所有这些“从A到B的概率”排成一个表格，就是转移概率矩阵。
________________________________________
二、用天气预报的例子一步步建矩阵
假设天气只有三种状态：晴、阴、雨。
我们先统计历史规律：
如果今天是晴天：
•    明天还是晴的概率 = 0.7
•    明天变阴的概率 = 0.2
•    明天变雨的概率 = 0.1
注意：0.7 + 0.2 + 0.1 = 1，因为明天必然是这三种之一。
如果今天是阴天：
•    明天变晴的概率 = 0.3
•    明天还是阴的概率 = 0.4
•    明天变雨的概率 = 0.3
如果今天是雨天：
•    明天变晴的概率 = 0.2
•    明天变阴的概率 = 0.3
•    明天还是雨的概率 = 0.5
________________________________________
现在把这些数字排成矩阵。行代表“今天”，列代表“明天”：
今天 \ 明天    晴    阴    雨
晴    0.7    0.2    0.1
阴    0.3    0.4    0.3
雨    0.2    0.3    0.5
这个表格就是转移概率矩阵。
写成数学形式就是：
P=[0.70.20.10.30.40.30.20.30.5]P=0.70.30.20.20.40.30.10.30.5
________________________________________
三、怎么读这个矩阵？
读法：先看行，再看列。
•    第1行第2列 = 0.2 → 意思是：今天晴，明天阴的概率是0.2。
•    第3行第1列 = 0.2 → 意思是：今天雨，明天晴的概率是0.2。
•    第2行第2列 = 0.4 → 意思是：今天阴，明天还是阴的概率是0.4。
一句话：第 i 行第 j 列的数字，就是从状态 i 转移到状态 j 的概率。
________________________________________
四、这个矩阵有两个重要特点
特点1：每一行的和都等于1
因为从任何一个状态出发，下一步必然转到某个状态，不可能凭空消失。
比如第1行：0.7 + 0.2 + 0.1 = 1 ✓
特点2：矩阵不一定要对称
今天晴→明天阴的概率，和今天阴→明天晴的概率，可以不一样。
比如上面：晴→阴是0.2，阴→晴是0.3，不相等。
________________________________________
五、它有什么用？
有了这个矩阵，就可以做预测：
问题：已知今天晴，后天是雨的概率是多少？
今天晴 → 明天可能是晴、阴、雨，然后再从明天转到后天雨：
•    今天晴→明天晴→后天雨：0.7 × 0.1 = 0.07
•    今天晴→明天阴→后天雨：0.2 × 0.3 = 0.06
•    今天晴→明天雨→后天雨：0.1 × 0.5 = 0.05
加起来：0.07 + 0.06 + 0.05 = 0.18
所以今天晴，后天是雨的概率是18%。
这就是转移概率矩阵的威力：只要知道当前状态，就能一步步算出未来任意时刻各状态的概率。
________________________________________
六、一句话总结
转移概率矩阵 = 一张“从当前状态到下一状态”的概率查询表。
•    行 = 现在是什么状态
•    列 = 下一步变成什么状态
•    格子里 = 这个变化的概率
•    每行加起来 = 1
它是马尔科夫链的“发动机”，决定了系统如何一步步演化。

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 8楼发表于: 09-15

发射概率是隐马尔科夫模型里的一个核心概念。一句话概括：
发射概率 = 某个看不见的真实状态，产生出某个你能看到的观测值的概率。
“发射”这个词可以这样理解：隐藏状态像一台机器，它会“发射”出一个你能看到的信号，而发射概率就是这台机器发射出某种信号的可能性。
________________________________________
一、先回顾：什么是“隐藏”和“观测”
在隐马尔科夫模型中，有两层东西：
层级    能否直接看到    例子
隐藏状态    看不到    病人真实是健康还是生病
观测值    看得到    病人表现出的症状：正常、头晕、发烧
你只能看到观测值，看不到隐藏状态。而发射概率，就是连接这两层的桥梁——它告诉你：如果真实状态是A，那么表现出观测值B的概率有多大。
________________________________________
二、用医生诊断的例子来说明
假设病人真实状态只有两种：健康和生病。医生看不到这个真实状态。
病人表现出的症状有三种：正常、头晕、发烧。医生能看到这些。
现在，发射概率回答的问题是：
如果病人实际是健康的，他表现出“头晕”的概率是多少？
如果病人实际是生病的，他表现出“发烧”的概率是多少？
根据统计，得到这样一张表：
真实状态 \ 观测症状    正常    头晕    发烧
健康    0.7    0.2    0.1
生病    0.1    0.3    0.6
这张表就是发射概率表。
________________________________________
三、怎么读这张表？
读法：先看行（隐藏状态），再看列（观测值）。
•    第1行第2列 = 0.2 → 病人实际健康，但表现出头晕的概率是0.2。
•    第2行第3列 = 0.6 → 病人实际生病，表现出发烧的概率是0.6。
•    第1行第1列 = 0.7 → 病人实际健康，表现正常的概率是0.7。
•    第2行第1列 = 0.1 → 病人实际生病，却表现正常的概率是0.1。（比如早期疾病没症状）
一句话：第 i 行第 j 列的数字，就是隐藏状态 i 产生观测值 j 的概率。
________________________________________
四、它和转移概率的区别
这两个概率容易混淆，放在一起对比就清楚了：
对比项    转移概率    发射概率
连接的是什么    隐藏状态 → 隐藏状态    隐藏状态 → 观测值
回答的问题    今天健康，明天生病的概率？    生病了，表现出发烧的概率？
能不能看到两端    两端都看不到    一端看不到，一端看得到
例子    健康→生病 = 0.2    生病→发烧 = 0.6
用一个链条串起来：
健康（隐藏）--转移概率-->生病（隐藏）--发射概率-->发烧（观测）
•    转移概率管的是：隐藏状态之间怎么变。
•    发射概率管的是：每个隐藏状态会“吐出”什么观测值。
________________________________________
五、发射概率的两个重要特点
特点1：每一行的和都等于1
因为一个隐藏状态必然会产生某个观测值，不可能什么都不产生。
比如健康那行：0.7 + 0.2 + 0.1 = 1 ✓
生病那行：0.1 + 0.3 + 0.6 = 1 ✓
特点2：同一观测值可以由不同隐藏状态产生
比如“头晕”这个症状：
•    健康的人也可能头晕（0.2）
•    生病的人也可能头晕（0.3）
正因为如此，医生看到“头晕”时不能100%确定病人是健康还是生病，只能推测。这就是隐马尔科夫模型要解决的难题。
________________________________________
六、它有什么用？
有了发射概率，就能反过来推测隐藏状态。
问题：病人表现出“发烧”，他最可能是什么状态？
查发射概率表：
•    健康→发烧 = 0.1
•    生病→发烧 = 0.6
显然，生病→发烧的概率更大，所以如果病人发烧，更可能是生病了。
但如果是“头晕”呢？
•    健康→头晕 = 0.2
•    生病→头晕 = 0.3
两者差不多，这时就不能只看发射概率，还要结合转移概率（病人之前的状态）一起判断。这正是隐马尔科夫模型的核心算法——根据一整串观测值，找出最可能的隐藏状态序列。
________________________________________
七、一句话总结
发射概率 = 看不见的真实状态，产生看得见的观测值的概率。
•    行 = 隐藏状态（看不到）
•    列 = 观测值（看得到）
•    格子里 = 这个隐藏状态产生这个观测值的概率
•    每行加起来 = 1
如果说转移概率是“隐藏状态之间怎么接力”，那发射概率就是“每个隐藏状态向外界发出什么信号”。两者合在一起，才构成了完整的隐马尔科夫模型。

离线cjz06

总工

发帖: 41630

土币: 3180

威望: 32065

原创币: 0

只看该作者 9楼发表于: 09-15

学习学习。

Welcome to beijing！

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 10楼发表于: 09-15

大模型是人工智能领域基于深度学习构建的、参数规模达10亿至万亿级别的预训练神经网络模型，核心特征是拥有海量训练数据、超强泛化能力，可在无需针对单一任务重新训练的前提下，灵活适配文本生成、问答、图像理解等各类复杂场景。
核心构成要素
1. 内部架构组件
嵌入层：将文本、图像等输入转换为计算机可处理的固定维度向量，是数据进入模型的起始环节。
Transformer核心层：由大量Transformer Block堆叠而成，包含自注意力机制（捕捉序列中不同位置的关联依赖）和前馈神经网络（完成非线性特征提取），是大模型实现复杂语义理解的核心计算模块。
输出层：将模型内部的高维向量转化为最终结果，比如文本概率分布、分类标签等。
KV Cache上下文管理：推理阶段缓存计算过的键值对，避免重复运算，大幅提升内容生成速度。
2. 底层支撑三大核心要素
高质量多源数据：涵盖文本、图像、代码等异构数据，经过清洗、标注后作为训练原料，是决定模型性能上限的基石。
大规模算力集群：依赖GPU/NPU组成的分布式训练集群，支撑海量参数的并行运算，是大模型从理论落地的硬件基础。
算法与优化体系：包含预训练、LoRA微调、RLHF人类反馈强化学习等策略，决定模型的能力边界和输出内容与人类需求的对齐程度。
人工智能大模型（简称“大模型”）是指由人工神经网络构建的一类具有大量参数的人工智能模型。
ht tps://baike.baidu.com/item/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%A4%A7%E6%A8%A1%E5%9E%8B/63800799
大模型（Large Model），全称人工智能预训练大模型（Pre-trained Large Model），是指包含超大规模参数（通常在十亿个以上）的神经网络模型，通过在海量数据上进行预训练，能够学习到通用的特征表示，并展现出强大的涌现能力和泛化能力。
“泛化”是一个多义词，核心意思是“从具体扩展到一般”或“对类似事物产生相同反应”，在不同领域有具体解释。
人工神经是对生物天然神经的人工模拟技术，目前主要分为两大应用方向：一类是用于临床神经修复、脑机接口的实体仿生神经器件，另一类是人工智能领域人工神经网络的基础计算单元，二者都因并非生物自然生成、由人工设计制造而得名。
词根是 mod-
model 的核心词根是 mod-，源自拉丁语，本意为“模式”或“尺度”。后缀 -el 表示指小名词，合起来意为“小的模式”或“按比例缩小的样式”。
GPU 和 NPU 的核心区别在于设计定位：GPU 是通用并行计算专家，擅长图形渲染和 AI 训练；NPU 是专用 AI 加速器，专注于低功耗下的神经网络推理。两者在架构、能效和应用场景上存在显著差异，通常协作而非互相替代
CPU（中央处理器，Central Processing Unit）GPU（图形处理器，Graphics Processing Unit）NPU（神经网络处理器，Neural Network Processing Unit）

离线cdddd

总工

发帖: 62889

土币: 436179

威望: 5216

原创币: 0

只看该作者 11楼发表于: 09-15

都知道CPU、GPU，那NPU、DPU、TPU、IPU又是个啥？
htt ps://baijiahao.baidu.com/s?id=1823230019434053553&wfr=spider&for=pc
预训练和后训练是大模型训练的两个关键阶段，预训练让模型学会通用语言知识，后训练让模型学会按人类意图完成任务。根据 Cornell University 和 IBM 的技术文档，这两个阶段共同构成了大语言模型从"有知识"到"有用"的完整训练流程。
什么是预训练和后训练
预训练（Pre-training）：在模型开发早期，用海量无标注数据（如网页、书籍、代码）训练模型学习通用语言规律，核心目标是预测下一个词是什么。
本质：让模型"有知识"，像学生上通识课打基础。
方法：自监督学习，通过掩码语言建模或因果语言建模任务。
产出：基础模型（Base Model），具备语言能力但不会听指令。
后训练（Post-training）：在预训练完成后，针对特定任务或人类偏好进行额外训练，核心目标是让模型学会按人类意图完成任务。
本质：让模型"会做人"，像学生上专业课加素质课。
方法：包括监督微调（SFT）、基于人类反馈的强化学习（RLHF）等。
Transformer由前缀trans-（转移、跨越）、词根form（形式、形状）和后缀-er（表人或物）构成，整体指“改变形式的人或物”。
Transformer block 是 Transformer 模型的基本计算单元，可以把它理解为一个可重复堆叠的“标准积木”。多个 block 堆叠后就构成了完整的 Encoder 或 Decoder，广泛应用于 GPT、BERT、ViT 等主流模型中。
高维向量指维度（分量数量）较多的向量，通常用于表示具有多个属性或特征的复杂数据。在数学上，它是有 n 个分量的有序数组，对应高维空间中的点或方向。
本质特征：高维向量是数学定义的抽象对象，不依赖物理空间扩展，维度越高描述信息的特征越丰富。
常见应用：广泛应用于人工智能领域，如推荐系统中编码电影属性、自然语言处理中的词嵌入（Embedding）及向量数据库的相似性搜索。
数据表示：在机器学习中，一张照片或一条文本记录常被转换为成百上千维的向量，以便计算机进行计算和相似度衡量
LoRA 微调全称低秩适应（Low-Rank Adaptation），是一种用于大模型的高效参数微调技术，通过冻结预训练模型权重，仅训练少量新增的低秩矩阵参数来实现模型适配
adaptation - 适应 adaptation 的核心词根是 apt，表示“适应、恰当”，加上前缀 ad-（朝向、加强）和名词后缀 -ation 构成，意思是“适应；改编本”。
rank 作为词根意为“排列、顺序”，常用于记忆与等级、队列相关的单词。
词根含义：在英语词根词缀学习体系中，rank 本身视作词根，表示“排列、顺序”，衍生出等级、军衔等含义。

帖子

[热点探讨]常用模型有哪些？ [复制链接]


	https://bbs.yantuchina.com 访问内容超出本站范围，不能确定是否安全