凌晨三点，互联杭州一家做女装电商的数据老板老陈还没睡。他盯着屏幕上跳动的平台数字——不是订单量，是互联退货率。一款连衣裙昨天卖了4000件，数据今天退回来1200件。平台他打开后台，互联调出用户画像：购买者集中在三线城市，数据年龄18-24岁，平台多数人同时买了三个尺码。互联老陈骂了一句，数据把数据甩给运营：“明天把推荐算法里‘猜你喜欢’的平台权重降一降，别老推同一款给同一批人。互联”

这就是数据互联网大数据平台在真实商业里的样子。它不聊概念，平台只解决具体问题：谁在买、为什么退、明天该给谁推什么。

数据不是石油，是自来水

很多人把数据比作石油，我觉得不对。石油挖出来得炼，炼完还得运。数据更像自来水——拧开龙头就有，但前提是你得铺好管道。互联网大数据平台干的就是铺管道的活。一个电商平台每天产生几亿条行为日志：点击、滑动、停留时长、加购、付款、退款。这些原始数据本身没意义，就像自来水厂刚抽上来的江水。平台要做的第一件事是“过滤”：把无效点击剔掉，把机器人流量识别出来，把用户ID和商品ID对齐。

我见过一个中型社交平台的技术负责人。他们早期用开源方案搭了一套日志收集系统，结果每天凌晨跑批处理时，集群直接崩。原因很蠢：用户上传的图片没有压缩，日志里存了缩略图的base64编码。一条日志2MB，一天两亿条。后来他们在采集端加了个过滤规则，只存图片URL和尺寸。集群负载降了70%。细节决定成败，这话在大数据领域特别真。

实时和离线，两条腿走路

互联网大数据平台通常有两套链路。离线链路跑T+1的报表，比如昨天的GMV、复购率、用户留存。实时链路处理秒级需求，比如风控拦截、个性化推荐、直播弹幕审核。

有个做本地生活的公司，一开始只搞离线。结果商家刷单，第二天才发现。后来上了实时风控，规则很简单：同一设备5分钟内下单超过3次，直接进人工审核池。误杀率不到0.3%，但刷单量降了九成。实时链路不一定非要Flink、Spark Streaming全套上，有时候一个Redis计数器加个规则引擎就够用。别为了技术而技术。

平台之上，长出来的是业务

我观察到一个现象：做得好的大数据平台，往往不是技术团队闭门造车搞出来的。某短视频公司的数据平台，最初是推荐算法团队为了调特征自己搭的。后来运营要用户分层，市场要渠道归因，风控要异常检测，都往这个平台上加需求。平台慢慢长出了元数据管理、数据血缘、任务调度、质量监控。反过来，那些一开始就规划“大一统数据中台”的公司，很多项目死在半路。因为没人用，或者用起来太别扭。

数据平台的价值不在技术多先进，在业务方愿不愿意用。一个运营同学想查“过去7天加购未付款的用户里，有多少人领过优惠券”，如果她得写SQL、等审批、跑半小时，她下次就不查了。如果她能在一个界面上点几下，30秒出结果，她每天都会来。平台就活了。

成本这件事，绕不开

聊大数据平台不提成本，等于耍流氓。存储要钱，计算要钱，带宽要钱。我见过一个公司，日志存了三年，冷数据占了80%的存储成本，访问频率却不到1%。后来他们做了生命周期策略：7天内热存，7-30天温存，30天以上转对象存储，一年以上直接删。省下来的钱够养两个数据团队。

还有个坑是“全量采集”。很多团队觉得数据越多越好，把用户每一次鼠标移动都记下来。结果呢？分析的时候根本用不上，还拖慢了整个管道。我的建议是：先想清楚要回答什么问题，再决定采集什么。问题驱动采集，不是采集驱动问题。

互联网大数据平台没什么神秘的。它是一堆管道、过滤器、计算引擎和存储系统的组合。做得好不好，不看架构图多漂亮，看老陈这样的老板能不能在凌晨三点拿到他想要的那个数字。能，就是好平台。不能，再多的技术名词也是白搭。

(责任编辑：焦点)