不懂就问，关于推理和训练

psps3

经常看网上说关于AI的应用，哪些是推理，哪些是训练？或者说该怎么分类？对硬件性能的要求有哪些区别？
大语言模型是训练么？

xy.

你这个问题问 LLM 正好

psps3

xy. 发表于 2024-2-24 14:08
你这个问题问 LLM 正好

没用过

fe铁

让计算机解傅里叶变换是推理，因为模型（函数）已经是固定的了。让计算机从大量经验里自己总结出傅里叶变换的模型（函数）叫做训练。

psps3

fe铁 发表于 2024-2-24 14:21
让计算机解傅里叶变换是推理，因为模型（函数）已经是固定的了。让计算机从大量经验里自己总结出傅里叶变换 ...

推理一般有哪些应用？

yoloh

让计算机理解它自己未知的东西，叫推理。
让计算机从自己已知的数据库里总结出各种经验，叫训练。

voodoo2022

粗浅的理解。
一般训练是在大型集群里进行的，训练出来的结果在小型设备上部署使用（推理）。
特斯拉在总部用全球数据在巨型机器上进行自动驾驶训练；训练的阶段性成果，安装到每部车里，进行使用（推理）。

LocaVoiD

1，3，5，7，9，11，（？）
理解的过程是训练，回答的过程是推理

芝士雪豹

相信你高中的时候学过最小二乘法求线性回归方程y=ax+b。 当你有一组样本，需要求回归方程的参数a和b，叫做训练。当你有一个x，需要求y的时候，叫做推理，此时你已通过训练得知了a和b

gzpony

训练是从数据里得到模型的过程；
而推理是其他输入数据利用这个得到的模型得到结果的过程。

训练一般需要更强大的硬件性能。推理的要求低很多。

Superdoll

训练就是用已知结果的数据来跑模型,逐渐生成模型参数.
出来的模型跑在新数据上,出结果就是推理.

pdvc

举个例子，训练相当于三观的行成和知识的掌握，推理相当于之后的具体接人处事。

orc

全世界都在进行生成式AI训练和学习，老黄赢麻了

我輩樹である

最简单的方式说一下：

ax + b = y，已知x和y，解算出a和b的过程是训练。a和b我们称为参数，这个过程也叫参数估计。
ax + b = y，已知a，b，x是输入，也是已知，解算出y的过程是推理。

上面是线性模型，一种极简的情况，如果你的模型是复杂的神经网络模型，那么进行参数估计就比较困难，需要大量的数据（有高质量的x和y）“冲刷”模型，计算出计算值和实际值之间的误差，然后“反向传播”修正参数，这是一个高度迭代的过程，所以训练需要大量的算力。

推理往往是单通的（single pass），输入只需要从头到尾导通模型一次，就能得到y值。

raiya

你高考就考几张纸，为了这几张纸你要看多少书做多少题目。

dubai

对计算机而言
我认为不存在推理和训练一说。
应该发明一个新名词。
这两个词是对人而言的。

qiu95

简单来说训练任务是正向 + loss + 反向 + 优化器， 推理任务是 正向 + 后处理，本质上没有什么区别，训练任务要算反向，所以要保存activation加上优化器参数，对显存要求更高，所以一般会分布式训练，同时对数据的传输有要求。推理任务的话，更重要的要看吞吐和延迟，面对的点不一样。介于两者之间的还有基于基础模型进行的finetune任务

PolyMorph

dlss就是推理

powerduke

都是矩阵运算，训练模型需要迭代运算很多很多次，推理只需要在训练好的模型上算一次。

lmbh

我是外行，我的理解是
先训练，假设要挑金发美女，那就给不断给计算机喂照片，你负责把金发美女图像挑出来，然后计算机总结了你挑出来的金发美女的特证。
然后推理，你随机给计算机照片，它根据金发美女的特证，把金发美女的图像挑出来。

binne

神农尝百草是“训练”，然后大家按照《本草纲目》开药方是 推理。普通用户 不写 本草纲目，只是照着 医书 抓药吃。