不懂就问，关于推理和训练
经常看网上说关于AI的应用，哪些是推理，哪些是训练？或者说该怎么分类？对硬件性能的要求有哪些区别？大语言模型是训练么？ 你这个问题问 LLM 正好 xy. 发表于 2024-2-24 14:08
你这个问题问 LLM 正好
没用过 让计算机解傅里叶变换是推理，因为模型（函数）已经是固定的了。让计算机从大量经验里自己总结出傅里叶变换的模型（函数）叫做训练。 fe铁 发表于 2024-2-24 14:21
让计算机解傅里叶变换是推理，因为模型（函数）已经是固定的了。让计算机从大量经验里自己总结出傅里叶变换 ...
推理一般有哪些应用？ 让计算机理解它自己未知的东西，叫推理。
让计算机从自己已知的数据库里总结出各种经验，叫训练。 粗浅的理解。
一般训练是在大型集群里进行的，训练出来的结果在小型设备上部署使用（推理）。
特斯拉在总部用全球数据在巨型机器上进行自动驾驶训练；训练的阶段性成果，安装到每部车里，进行使用（推理）。 本帖最后由 LocaVoiD 于 2024-2-24 14:35 编辑
1，3，5，7，9，11，（？）
理解的过程是训练，回答的过程是推理 相信你高中的时候学过最小二乘法求线性回归方程y=ax+b。 当你有一组样本，需要求回归方程的参数a和b，叫做训练。当你有一个x，需要求y的时候，叫做推理，此时你已通过训练得知了a和b
训练是从数据里得到模型的过程；
而推理是其他输入数据利用这个得到的模型得到结果的过程。
训练一般需要更强大的硬件性能。推理的要求低很多。 训练就是用已知结果的数据来跑模型,逐渐生成模型参数.
出来的模型跑在新数据上,出结果就是推理. 举个例子，训练相当于三观的行成和知识的掌握，推理相当于之后的具体接人处事。 全世界都在进行生成式AI训练和学习，老黄赢麻了 本帖最后由 我輩樹である 于 2024-2-24 14:57 编辑
最简单的方式说一下：
ax + b = y，已知x和y，解算出a和b的过程是训练。a和b我们称为参数，这个过程也叫参数估计。
ax + b = y，已知a，b，x是输入，也是已知，解算出y的过程是推理。
上面是线性模型，一种极简的情况，如果你的模型是复杂的神经网络模型，那么进行参数估计就比较困难，需要大量的数据（有高质量的x和y）“冲刷”模型，计算出计算值和实际值之间的误差，然后“反向传播”修正参数，这是一个高度迭代的过程，所以训练需要大量的算力。
推理往往是单通的（single pass），输入只需要从头到尾导通模型一次，就能得到y值。 你高考就考几张纸，为了这几张纸你要看多少书做多少题目。 对计算机而言
我认为不存在推理和训练一说。
应该发明一个新名词。
这两个词是对人而言的。 简单来说训练任务是正向 + loss + 反向 + 优化器， 推理任务是 正向 + 后处理，本质上没有什么区别，训练任务要算反向，所以要保存activation加上优化器参数，对显存要求更高，所以一般会分布式训练，同时对数据的传输有要求。推理任务的话，更重要的要看吞吐和延迟，面对的点不一样。介于两者之间的还有基于基础模型进行的finetune任务 dlss就是推理 都是矩阵运算，训练模型需要迭代运算很多很多次，推理只需要在训练好的模型上算一次。 我是外行，我的理解是
先训练，假设要挑金发美女，那就给不断给计算机喂照片，你负责把金发美女图像挑出来，然后计算机总结了你挑出来的金发美女的特证。
然后推理，你随机给计算机照片，它根据金发美女的特证，把金发美女的图像挑出来。 神农尝百草是“训练”，然后大家按照《本草纲目》开药方是 推理。普通用户 不写 本草纲目，只是照着 医书 抓药吃。
页:
[1]