ai测试工程师就是个坑
作者:热点 来源:焦点 浏览: 【大 中 小】 发布时间:2026-10-17 06:40:52 评论数:
我做了三年测试开发,测试面试过上百个号称“AI测试工程师”的工程候选人,最后发现这个岗位九成时间在干的测试事,跟AI半毛钱关系都没有。工程真正上手那天,测试leader扔给我一个训练好的工程模型,说“你测测”,测试我盯着那个黑盒子,工程连它输入什么格式都不知道。测试
所谓的工程AI测试,本质上是测试测一堆概率。传统测试有明确预期,工程输入1+1,测试输出必须等于2。工程模型不是测试,你给同一张图片加个噪点,它可能从“猫”变成“狗”。你没法写死断言,只能定阈值——准确率要过95%,召回率不能低于90%。可阈值谁定的?产品拍脑袋,算法工程师说“业界标准”,最后全成了扯皮素材。
我踩过最深的坑是数据测试。你以为在测模型,其实在测Excel。标注样本够不够?类别分布均不均匀?训练集和验证集有没有泄漏?有一次我们模型准确率突然从98%掉到70%,查了三天,发现是数据预处理脚本把RGB通道顺序搞反了。这活儿跟AI有关系吗?分明是传统软件测试的活,但背锅的是“AI测试工程师”。
更坑的是,模型迭代根本没法自动化回归。传统项目改个代码,跑一遍CI就知道挂没挂。模型换了个训练参数,你肉眼没法判断好坏——得人工抽看case。我见过最狠的团队,每周让测试妹子看两千张标注图,看到最后她跟我说“现在看谁都觉得像猫”。这岗位干一年,视力没下降算你基因好。
你以为懂点Python、调过几个开源框架就能混?面试官最爱问“你怎么评估一个推荐系统的好坏”,等你真进去了,发现线上A/B测试跑两周,数据波动大到连统计显著性都算不出来。你提议用t检验,算法说“业务方等不了”,产品说“老板要看涨跌”,最后结论是“感觉这个版本还行”。
转行做AI测试这一年半,我最大的收获是学会了写周报。怎么把“调了一天参”包装成“探索超参数对模型鲁棒性影响”,怎么把“看漏了十个坏case”描述成“发现边界样本分布偏移”。这技能倒是很AI——毕竟,连我的周报都开始用生成式模型写了。
