数据挖掘不是数据从算法开始的。它从一堆脏数据开始。挖掘
我见过一个电商团队，程包花三个月搭好了推荐系统，数据上线第一天就崩了。挖掘原因不是程包模型不行，是数据他们拿来做训练的用户行为日志里，有40%的挖掘点击记录时间戳是错的——服务器时区没对齐，半夜的程包订单全跑到了第二天中午。清洗数据花了他们两周，数据比调参还久。挖掘这就是程包数据挖掘最真实的样子：你以为你在搞人工智能，其实大部分时间在跟Excel和SQL较劲。数据
整个过程通常从定义问题开始。挖掘但很多人跳过这步，程包直接问“能不能用深度学习”。这就像不问目的地就踩油门。一个零售客户曾要求“预测销量”，聊了两小时才发现，他们真正想解决的是“哪些门店该在周五补货”。问题定义错了，后面全歪。定义问题得具体到能写成一个可验证的假设，比如“过去三个月购买过A品类的用户，未来两周内购买B品类的概率是否高于20%”。
接下来是数据理解。这一步不是看数据长什么样，而是搞清楚数据怎么产生的。比如用户年龄字段有大量“0”，一查发现是注册时没填，系统默认填了0。还有一次，我发现某App的“停留时长”在凌晨两点有个峰值，后来知道是定时任务在跑，把服务器日志算进去了。这些坑不提前踩，模型再漂亮也是空中楼阁。
数据准备阶段最耗时间，也最没技术含量。缺失值怎么填？不是所有情况都适合均值。一个金融风控项目里，收入字段缺失的人，违约率反而更低——因为这些人往往是学生或退休老人，根本不需要贷款。你拿均值一填，信号就没了。还有异常值，不一定删掉。某次分析用户点击流，发现有个IP每秒点100次，以为是爬虫，结果是内部测试机。删了它，模型反而抓不住真实用户的偶发高频行为。
建模只是中间一小段。选什么算法，取决于数据量和解释性要求。银行喜欢逻辑回归，因为能解释“为什么拒贷”；互联网公司用XGBoost或神经网络，因为效果优先。但别迷信复杂模型。一个只有500条样本的医疗数据集，随机森林比深度学习准得多。我试过用BERT做小样本分类，效果不如TF-IDF加朴素贝叶斯。数据量不够时，简单模型更稳。
评估模型不能只看准确率。一个信用卡欺诈检测，正常交易占99.9%，你全猜“正常”也有99.9%准确率，但一个欺诈都抓不到。这时候得看召回率和AUC。更关键的是，离线指标好不代表上线好。推荐系统离线AUC 0.85，上线后点击率没涨，因为用户对推荐位视而不见——位置太靠下。所以评估得结合业务指标：转化率、留存、GMV。
部署之后才是真正的开始。模型会漂移。一个房价预测模型，训练时是2021年，2023年上线，利率变了，预测全偏高。监控数据分布变化比监控准确率更重要。还有反馈循环：你用模型决定给谁发优惠券，结果只有被发券的人才有购买记录，下一轮训练时模型只学到“发券的人会买”，陷入自嗨。
最后一步常被忽略：把结果讲清楚。不是给业务方看ROC曲线，而是说“下周优先补货这20家店，预计减少缺货率15%”。数据挖掘的终点不是模型文件，是决策。我见过最成功的项目，是一个运营拿着分析报告直接改了页面按钮位置，转化涨了8%。那个报告只有三页PPT，没有算法细节。
整个过程像做菜：定义问题是选菜系，数据理解是看食材新不新鲜，数据准备是洗切腌，建模是下锅炒，评估是尝咸淡，部署是端上桌，监控是看客人吃没吃完。炒菜那步最热闹，但前面备菜不好，后面全白搭。