在上一篇关于提示工程（prompt engineering）的文章中，我们讨论了提示的概念。提示通过改变语言模型（llm）的输入来影响其输出，提示对词汇的分布极为敏感，即使是微小的变化也可能导致显著的差异。虽然通过提示可以调整模型在词汇上的分布，但当我们需要将一个在特定领域训练的模型应用到全新领域时，仅靠提示是不够的。与此相反，训练过程则涉及到直接修改模型的参数。简单来说，训练过程是通过向模型提供输入，让模型预测输出，并根据预测结果调整参数，使模型的下一次输出更接近正确答案。

模型训练是改变词汇分布的关键方法。从零开始训练一个模型需要巨大的成本，对于大多数用户来说这几乎是不可能的任务。因此，用户通常会选择一个在大规模数据上预训练的模型进行进一步的训练。这些预训练模型通常是在通用任务或数据集上训练的，具备学习一般特征和模式的能力。常见的训练类型包括Fine-tuning（微调）、Parameter-Efficient Fine-Tuning（参数高效微调）、Soft Prompting（软提示）以及Continue Pre-training（持续预训练）等。

• Fine-tuning（微调）：使用预训练模型（如BERT）和带标签的数据集对模型的所有参数进行调整，这是经典的机器学习训练方法。
• Parameter-Efficient Fine-Tuning（参数高效微调）：通过隔离一小部分参数进行训练，或向模型中添加新参数，可以降低训练成本（例如，LORA）。
• Soft Prompting（软提示）：将参数添加到提示中，可以将其视为使用专门的引号将词汇添加到模型中，以执行特定任务。与传统提示不同，这些专门词汇的参数是在训练过程中随机初始化并迭代微调的。
• Continue Pre-training（持续预训练）：类似于微调，但不需要使用标签数据。在持续预训练期间，输入任何类型的数据，并要求模型不断预测下一个词汇。如果尝试将模型适应一个新的领域（例如，从一般文本到专门的科学领域），通过持续预训练，预测来自该专业科学领域的数百万句中的下一个词汇可以非常有效。

模型训练需要消耗大量的硬件资源，下面是基于OCI（Oracle Cloud Infrastructure）的不同训练方法的硬件成本示例：

通过以上方法和成本分析，用户可以根据自己的需求和预算选择最合适的训练策略。

# oracle  # ai  # continue  # bert  # prompt  # 是在  # 自己的  # 这是  # 将其  # 与此  # 即使是  # 涉及到  # 可以根据  # 在上  # 但不 

相关文章： X 上线基于 Grok 模型的“AI 图片编辑”功能  SQLiteStudio 3.4.19 发布  AI 正在迫使我们编写优质代码  成者会议星发布会预热海报剧透AI会议机器人，企业提效再进一步  Intel下代酷睿Ultra 7 270K Plus跑分曝光：与旗舰285K平起平坐！  星际战甲新手开局完全指南：从零开始的星际之旅  全系列年销量逆势增长 15.2%，OPPO Reno15星星粉今日开售  深度学习模型可预测细胞每分钟发育变化  小米 MiMo 模型 API 公测限免时间延长 20 天，国内定价公布  天钡发布首款Mini-ITX MoDT主板！9955HX3D+双万兆接口  12月realme UI 7.0升级计划出炉 含真我GT8等12款机型  CES 2026拉斯维加斯强势回归！透明显示器与长寿科技多种亮点抢先看  荣耀Power2搭载旗舰同款鸿燕六翼天线 超越友商旗舰  迪奥又搞事，“眯眯眼”成品牌流量密码？  超越星巴克？瑞幸的品牌人设立「新」了  耐用折叠屏手机推荐：三星GalaxyZ TriFold让创新形态经得起时间考验  别笑你也过不了第二关！ 如龙工作室发布抽象宣传短片  哈迪斯入门双流派全解 通关加点技巧分享  Spring Shell 4.0.0 GA  为何苹果折叠屏会选择5.3英寸超小外屏？有何策略？  调查称半数玩家为女性 不愿发声只是怕被骚扰  传荣耀Magic8 mini线下盲订已开启 天玑9500加持？  Groq 与英伟达达成非独家推理技术授权协议  老人2G手机突然没信号 客服回应：2G信号已开始退网 需更换4G手机  EPIC全球服务器崩溃！老板道歉：抱歉了家人们  Fish Shell 4.3 正式发布 — 更强脚本支持与交互体验提升  《尼尔》即将迎来九周年：有小惊喜但别期望太高  vivo Y500i发布 搭载骁龙4 Gen 2平台 512GB售1799元  明年3月发布！vivo X300 Ultra搭载2亿像素+35mm主摄  《别拽了！烤串师傅》烤不完，根本烤不完，急聘烤串主理人  220万跑分+10080mAh超大电池！荣耀Power 2配置曝光  微软澄清：没有使用 AI 和 Rust 重写 Windows 系统  元旦必备！鸿蒙版大众点评全面焕新，本地生活“全能选手”上线！  仙人巳月全招式解析灵动蛇影掌控战场  GStreamer 1.26.10 发布，开源多媒体框架  抖音能当微信公众号用：长图文功能上线，最多可发 8000 字，还能配乐  没有新内容！ 舅舅党称《天国：拯救》升级版将于2026年2月发布  洁耳护耳双专家，家里人人都好用——蜂鸟bebird专业耳朵护理仪重磅上市！  小米“Ultra”系列演进图谱：每代旗舰背后的核心突破  蒂法性感兔女郎手办欣赏 这也太性感了吧！  贝塔能量加点秘籍游戏角色培养进阶攻略  MediaTek 2025年度科研成果速报：20篇论文入选ISSCC，布局AI与6G未来  大的来了！国产《抵抗者》《仙剑四》重制版将发布实机预告  这文案，好水水水水水水水啊  三星Wide Fold与苹果iPhone Fold渲染图曝光  解锁法杖魔法的秘密提升你的冒险技能  《底特律：变人》玩家同时在线峰值创新高 拜史低促销所赐  《羊蹄山之魂》女主声优晒个人美照 混血神颜获盛赞  椰树总部“极繁式”外观，火了  什么是APP轻量化开发? 

相关栏目： 【 广告资讯37196 】 【 广告推广143353 】 【 广告优化89630 】