从特征工程到上下文推理：ML到LLM的检测范式演进

传统机器学习(ML)模型到大型语言模型(LLM)的演变：核心检测任务的技术对比与演进分析

1. 演变的核心逻辑：从“手工精雕”到“数据驱动”的范式迁移

传统ML与LLM的演变并非简单的线性替代，而是AI能力边界从“特定领域建模”向“通用语义理解”的拓展。其核心差异体现在数据处理方式、模型架构与任务适应性上。

这种演变的关键驱动力是Transformer架构的提出和海量无标注文本数据的可用性，使得模型能够通过自注意力机制捕捉长距离依赖关系，从而实现对复杂语言模式的通用理解。

2. 在核心检测任务中的技术对比与演进

以下通过三个典型检测场景，具体分析两种技术路线的做法、优势与局限。

2.1 异常检测

• 传统ML做法：将异常检测视为离群点识别问题。模型学习正常数据的分布（通常是数值或结构化特征），然后计算新数据点与该分布的偏离程度。

  • 技术示例：使用Isolation Forest或One-Class SVM。
  • 代码示例 (Python - Isolation Forest)：

    from sklearn.ensemble import IsolationForest import numpy as np # 假设X_train是正常数据的特征矩阵（结构化数据） X_train = np.array([[1.1], [1.2], [0.9], [1.0], [0.8]]) # 训练模型 clf = IsolationForest(contamination=0.1, random_state=42) clf.fit(X_train) # 检测新数据点 new_samples = np.array([[1.5], [0.85]]) predictions = clf.predict(new_samples) # 输出1表示正常，-1表示异常 print(predictions) # 例如: [-1, 1]

  • 优势：计算高效，对数值型异常（如突增、突降）敏感，结果可解释性强。
  • 局限：难以处理文本日志、代码等非结构化数据中的语义异常（如一句语法正确但逻辑矛盾的系统日志）。

• LLM做法：将异常检测视为上下文理解与推理问题。利用LLM对语言模式的深刻理解，判断给定文本序列是否“合理”或符合预期。

  • 技术示例：通过提示工程，让LLM扮演分析角色。
  • 应用场景：分析系统日志流、检测代码中的潜在Bug模式、识别聊天记录中的可疑话术。
  • 提示示例：

    你是一个系统安全分析师。请分析以下服务器日志片段，判断是否存在异常行为，并说明理由。 日志： [12:05:03] USER 'admin' LOGIN SUCCESS from IP 192.168.1.100 [12:05:04] FILE 'config_backup.zip' DOWNLOADED by 'admin' [12:05:05] USER 'admin' LOGIN FAILED from IP 192.168.1.200 [12:05:06] FILE 'config_backup.zip' DOWNLOADED by 'admin' 分析：

  • 优势：无需为特定日志格式定制规则，能理解语义和时序逻辑，适应新型、未知的异常模式。
  • 局限：计算成本高，可能存在“幻觉”（生成看似合理但错误的判断），决策过程是黑盒。

2.2 对象检测

• 传统ML做法：早期依赖“特征提取器 + 分类器”的两阶段管道。

  • 技术示例：HOG（方向梯度直方图）提取图像边缘和纹理特征，然后用SVM（支持向量机）进行分类，判断图像中是否包含特定对象。
  • 优势：在受限场景（如光照均匀、视角固定）下速度快、精度可接受。
  • 局限：特征表达能力有限，对物体形变、遮挡、背景复杂等情况鲁棒性差。

• LLM及相关技术做法：LLM本身并非为像素级定位而设计，但其技术范式催生了变革。

  1. 多模态LLM：如GPT-4V，可以直接接受图像输入，通过自然语言指令完成检测和描述。
     • 提示示例：“请描述这张图片中有哪些物体，并指出它们的大致位置。”
  2. 视觉-语言基础模型：如CLIP，将图像和文本映射到同一语义空间。虽然不直接输出边界框，但为“开放词汇检测”奠定了基础——无需预定义类别，通过文本提示即可检测任意物体。
  3. 基于Transformer的检测器：如DETR，将目标检测视为一个集合预测问题，直接用Transformer编码器-解码器架构输出物体类别和边界框。这代表了从CNN主干网络到纯Transformer架构的演进，受益于全局上下文建模能力。
  • 演进本质：从“手工设计特征+几何推理”到“端到端学习图像与语义的联合表示”。

2.3 欺诈检测

• 传统ML做法：视为结构化数据的二分类问题。

  • 技术示例：对交易记录（特征包括：金额、时间、地点、商户类型、用户历史行为统计值等）使用逻辑回归、随机森林或梯度提升树。
  • 代码示例 (Python - 特征工程思路)：

    import pandas as pd # 假设df是交易数据表 df['hour'] = pd.to_datetime(df['transaction_time']).dt.hour df['is_night'] = (df['hour'] < 6) | (df['hour'] > 22) # 聚合用户历史特征 user_stats = df.groupby('user_id')['amount'].agg(['mean', 'std', 'count']).reset_index() df = df.merge(user_stats, on='user_id', suffixes=('', '_hist')) # 然后使用处理后的特征训练分类模型

  • 优势：模型轻量，可解释性强（可分析特征重要性），易于在风控系统中实时部署。
  • 局限：难以整合交易描述、客服对话文本、邮件内容等非结构化信息；对新型、复杂的团伙欺诈模式发现能力有限。

• LLM做法：处理多源异构信息，进行叙事连贯性分析和风险推理。

  • 技术示例：
    1. 混合方法 (LLM + ML)：如DeepSeek-R1方案中，传统ML模型作为初级过滤器处理大量常规交易，LLM则作为“高级分析员”介入复杂、高风险的案例，综合用户画像、交易文本、历史行为序列进行深度推理，并生成可读的调查报告。
    2. 纯LLM分析：对申请材料、保险理赔描述、客户投诉信等进行语义分析，识别矛盾、夸大或伪造的痕迹。
  • 提示示例：

    你是一名金融反欺诈专家。请分析以下用户本次交易与历史行为的关联性，并评估欺诈风险。 用户历史画像：35岁，教师，常住北京。过去一年交易多为小额日常消费和线上购物。 本次交易：凌晨2点，在香港某珠宝店刷卡消费15万元人民币。 交易附言：”生日礼物“ 请给出风险评估（高/中/低）及主要疑点。

  • 优势：能处理文本信息，理解复杂上下文和意图，适应新型欺诈手法。
  • 局限：响应延迟高，运营成本大，需解决幻觉和偏见问题。

3. 演进趋势与协同关系

演变并非淘汰，而是走向分层协作与融合：

1. LLM依赖传统ML的基础设施：传统ML持续承担LLM管道中的数据清洗、预处理、结果后处理（如将LLM输出的文本结构化）等任务。
2. 混合智能系统成为主流：在工业级应用中，常见模式是“传统ML处理高频、规则明确的批量任务 + LLM处理低频、复杂、需要语义理解的个案”。例如，在欺诈检测中，先用规则引擎和梯度提升树模型过滤99%的交易，剩余的1%可疑案例交由LLM进行深度审核。
3. Prompt Engineering成为新的“特征工程”：在传统ML中，模型性能严重依赖特征工程；在LLM时代，提示词设计起到了类似的作用，通过精心构造的指令、上下文和示例，来“引导”LLM发挥出特定领域的最佳性能。两者目标一致（优化模型输入），但操作对象不同（一个是数值特征，一个是自然语言指令）。
4. LLM赋能传统ML管线：LLM可以自动生成特征描述、辅助标注数据、解释ML模型的预测结果，从而提升整个AI系统的自动化水平和可解释性。

结论：从传统ML到LLM的演变，是AI从解决“明确定义的狭义问题”向理解“开放世界的复杂语义”迈进的关键一步。在检测任务中，这一演变体现为：数据层面从结构化到非结构化，方法层面从统计分类到上下文推理，系统层面从独立模型到协同智能。未来，两者的边界将进一步模糊，形成以LLM为智能核心、传统ML为高效执行单元的下一代AI工程架构。

参考来源

• 人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
• LLM与传统机器学习
• DeepSeek掘金——DeepSeek-R1+ML混合欺诈检测
• 聊聊AI家族（人工智能AI、机器学习ML、深度学习DL、神经网络NN、LLM、Agent）的那些事儿
• AI的提示词专栏：Prompt 与传统机器学习特征工程的异同
• 【LLM】综述：大型模型在表格数据上的应用