Presto

Presto 与 Doris 企业应用场景研究：一个「借灶炒菜」，一个「自建中央厨房」 同为 OLAP 赛道的明星项目，Presto 和 Doris 却代表了两种截然不同的企业数据架构路线。本文从真实企业场景出发，拆解两者的架构基因、适用边界与组合打法，给选型一个不模棱两可的答案。 一、先说结论：它们根本不是同一类物种 很多企业选型时的第一个错误，是把 Presto 和 Doris 放进同一张跑分表里比快慢。这就像拿「外卖平台」和「自建中央厨房」比出餐速度——它们解决的不是同一个问题。 一句话定性： Presto（含 Trino）是「查询引擎」：自己不存数据，靠 Connector 对接 Hive/S3/MySQL 等存储，强项是跨源联邦与即席分析。借灶炒菜，灶台是别人的。 Doris 是「实时数仓」：自带存储引擎（列存 + 索引），数据要导进来，换来的是高并发、低延迟、可更新的全套数仓能力。自建中央厨房，从采购到出餐全包。 这个「存不存数据」的分野，决定了后面所有场景的适配差异。 二、架构基因对照 维度 Presto/Trino Apache Doris 定位 联邦查询引擎（计算层） MPP 实时分析型数据库（存算一体，3.0 起支持存算分离模式） 数据形态 不存数据，Connector 现拉 数据导入自有存储（列存 + 排序键 + 倒排索引） 执行模型 内存流水线，失败整体重跑 MPP + Pipeline 向量化执行，支持落盘容错 写入能力 基本只读（INSERT 有限） 支持实时更新（Unique Key）、流批一体导入（Kafka/Flink/Routine Load） 并发能力 中低并发大查询 高并发短查询友好（数千 QPS 点查场景可扛） 生态协议 ANSI SQL + JDBC/BI 全兼容 MySQL 协议兼容，BI 工具直连 运维形态 无状态计算集群 + 外部存储 有状态集群，3.0 存算分离模式后亦云原生化 注意 Doris 3.0 这个变量：它也支持了存算分离（数据放对象存储、计算节点弹性伸缩、缓存加速），还强化了湖仓一体能力（直接查 Hudi/Iceberg/Paimon）。也就是说，Doris 正在往 Presto 的领地伸手——但底色依然是「有存储、有索引、可更新」的数仓。 ...

平衡的艺术：从美食风味到分布式数据库架构设计 世上没有单项满分的系统，也没有包揽百味的菜肴。无论是在厨房还是在机房，「平衡」永远是衡量顶尖水平的核心标准——区别只在于，厨师的取舍写在菜单上，架构师的取舍写进事故复盘里。 一、评委那句「味道不平衡」，和 CTO 那句「架构不对」是同一句话 看过美食竞技节目的人都熟悉这个场面：选手端上一道堆满昂贵食材的大菜，评委尝了一口，摇头：「技术没问题，但味道不平衡。」 选手往往不服：我用了最好的食材啊。 评委的反问一针见血：好食材的堆砌，什么时候等于好菜了？ 做了这么多年数据架构，我发现自己给系统做评审时，嘴里冒出来的话和美食评委几乎一字不差。团队兴冲冲地演示：「我们上了 Kafka、Flink、Spark、Hive、Presto、ClickHouse、Redis、Elasticsearch……全套大数据组件！」我尝了一口，摇头：技术选型都没问题，但这个架构不平衡。 烹饪与数据库架构设计，本质上是同一件事：在有限的约束条件下（预算、时间、物理定律），用一堆各有脾气的原料，为一群口味明确的食客，端出一道协调的菜。 约束永远存在。厨师逃不开「酸甜咸辣鲜」五味相生相克的化学规律，架构师逃不开 CAP 定理和物理硬件的性能边界。真正的功夫，不在于手里有多少好东西，而在于敢不敢为了整体的平衡，放弃局部的炫技。 下面，我们拿 PrestoDB 当主菜，一道道拆开看。 二、风味与性能：用咸提鲜，用酸解腻，用「放弃」换速度 厨房里的相生相克 中餐调味有句老话：「咸为骨，酸为魂。」做红烧肉，最后那一点点盐不是为了让菜变咸，而是把肉的鲜味「托」出来；做糖醋排骨，酸的作用不是刺激，而是解掉糖和油脂的腻。每一种味道的出场，都是为了成全另一种味道——这就是风味平衡的本质：没有一种味道是为自己而存在的。 机房里的 CAP 与 PACELC 分布式系统有个对应物。入门先学 CAP：一致性、可用性、分区容忍性三选二。但实战中更有用的是它的延伸——PACELC：即便没有分区（Partition），系统也必须在延迟（Latency）和一致性（Consistency）之间二选一。 翻译成人话：**天下没有又绝对一致、又绝对快的数据访问，正如没有又极酸又极甜还不腻的酱汁。**你总得决定，这一勺下去，主味是什么。 Presto 的调味方案 2012 年 Facebook 造 Presto 时，面对的食材是 Hive/MapReduce：每个计算阶段的中间结果必须落盘存档，任何机器挂了都能从磁盘恢复重来。这份容错像一大勺盐——在批处理的场景里它是骨架，必不可少；但在交互式查询里，它把「快」这个主味彻底压死了。 Presto 的做法是果断减盐：放弃 Task 级中间落盘与断点重试，换上全内存流水线——数据以「页」为单位在算子间直接流动，全程不落盘。代价写得明明白白：一个 Worker 挂掉，查询失败只能整体重跑。 顶级厨师知道哪一勺盐该省，顶级架构师知道哪一份容错该扔。Presto 省下的是落盘开销，托出来的是秒级响应的「鲜」。 这笔账 Presto 算得很清楚：交互式查询天然短平快，为 99% 的短查询付 100% 的容错成本，就像给每道快炒都上高汤慢煨的功夫——感动了自己，腻死了食客。 三、食材与模块：和牛配松露，为什么反而是灾难 昂贵食材的无脑堆砌 美食圈有个经典反面教材：和牛 + 松露 + 鱼子酱，三样顶配堆在一个盘子里。结果呢？和牛的脂香被松露的霸道盖住，鱼子酱的咸鲜又和前两者打架——三种顶级食材互相拆台，最后谁也没赢。 **好菜的秘诀从来不是食材多贵，而是互补与留白。**一碗开水白菜，汤是扫过三遍的清汤，菜是只取菜心的嫩叶，没有任何昂贵成分，却成了国宴名菜——因为它知道该放什么，更知道该留白什么。 大数据组件的「和牛松露综合征」 这个病症在机房里一样流行。我见过太多这样的架构：为了「先进」，给每个环节都上顶配——数据要实时入湖、计算要流批一体、查询要即席秒回、还要顺手上个向量检索。组件之间互相打架：实时管道抢占批处理资源，分析引擎和业务库抢 I/O，最后整个系统像那盘堆料大菜，每个组件单拎出来都很强，合在一起谁都不舒服。 Presto 是这道题的反向满分答案：它干脆不吃食材这碗饭。 作为查询引擎，Presto 做了一个当年看起来很「怂」的决定——自己不存任何数据。没有专用存储格式，没有私有数据布局，通过 Connector 插件对接外部存储：Hive/HDFS、S3、MySQL、Kafka、Cassandra……想吃哪块地里的菜，装个对应的插头就行。 精简的计算层 + 多变的存储层，像清汤配菜心：计算只管把味道吊出来，数据的风味保留在原产地。 ...

从 Hive 到 Presto：一个「快」字背后，是三次豪赌式的设计取舍 2012 年，Facebook 的工程师们受够了「跑个查询去喝杯咖啡」的日子。Presto 的诞生不是又一个 SQL 引擎的堆料，而是一连串清醒的放弃。本文用「舍与得」的视角，拆开 Presto 三项核心架构决策——以及它们各自的账单。 引言：大数据时代的「等待焦虑」 先讲一个老故事。 2012 年前后，任何在 Facebook 规模的数据仓库上工作过的人，都熟悉这种体验：你写了一段 SQL，想看看昨天某个功能的用户留存。提交给 Hive，底层翻译成 MapReduce，然后—— 等。 第一个 Map 阶段读数据、算完、写磁盘；第二个 Reduce 阶段再读磁盘、算完、再写磁盘；三五个阶段下来，一个「简单的问题」要等十分钟到一小时。磁盘 I/O 像一道钝刀子，把「交互式分析」切成了「批处理作业」。工程师们甚至形成了独特的应对文化：提交查询，然后去开会、喝咖啡、改别的 bug——因为等待是确定会发生的。 问题出在哪？不是 Hadoop 不行，而是 MapReduce 的设计目标本来就不是交互式查询。它为容错而生：每个阶段的中间结果必须落盘，任何一台机器挂了，从磁盘上的中间结果重跑就行。这份「保险」在批处理场景物有所值，但对「我想马上知道答案」的分析师来说，是在为用不到的容错付全价。 Presto 的研发初衷就一句话：为交互式 SQL 查询专门造一台引擎，PB 级数据，秒级响应。 注意「专门」这个词。Presto 没有试图做一个「又能批处理、又能交互、又能点查」的全能选手——它从一开始就决定，为了快，该扔的就扔。下面是三次关键的「舍」。 取舍一：内存流水线——扔掉容错，换速度 舍：Task 级中间落盘与断点重试 MapReduce 的哲学是「每一步都存档」。Presto 反其道而行：查询被切成多个 Stage，Stage 内的算子组成流水线（Pipeline），数据以「页」（Page）为单位在算子间流动，全程驻留内存，中间结果不落盘。 伪代码对比一下两种执行模型： # MapReduce 式：每个阶段落盘存档 for stage in stages: results = stage.run(input) write_to_disk(results) # ← 每一步都付磁盘 I/O 的钱 checkpoint(results) # ← 为容错买单 # 下一阶段再 read_from_disk() # Presto 式：内存流水线 pipeline = build_pipeline(scan, filter, agg, ...) for page in source_pages: # 一页一页流过去 yield pipeline.process(page) # 算子间直接传递，不落地 差别有多直观？MapReduce 的一次「阶段交接」= 一次序列化 + 一次磁盘写 + 一次磁盘读 + 一次反序列化。Presto 的阶段交接 = 一次内存中的数据页传递。磁盘 I/O 从执行路径里被整个删掉了，这正是秒级响应的物理基础。 ...

问题现象 普通 SQL 正常，stg 环境没发现异常。但生产环境用户反馈：超长 SQL（超过 1MB）会触发 400 报错。 恰好生产环境的用户有很多那种业务逻辑复杂、拼接出来的超长 SQL。 排查过程 第一步是对比。把报错的 SQL 和不报错的 SQL 摆在一起看，唯一的共同点就是——长。 短 SQL 跑得好好的，长到一定长度就 400。这不是 SQL 语法问题，是传输层的问题。 根因 查到最后，原因是这样的： 安全合规要求，把普通的 Statement 升级为 PreparedStatement。因为普通 Statement 有 SQL 注入风险，安全团队要求整改。 Presto 驱动版本太低，低版本的 Presto JDBC 驱动对 PreparedStatement 的支持不完善，特别是对超长 SQL 的处理有 bug。 服务端 Presto 没有同步升级。原因很简单——影响太大，涉及的下游服务和业务太多，不敢动。 所以就出现了一个尴尬的局面：客户端驱动升级了（为了安全），服务端没升级（为了稳定），两边版本不一致，超长 SQL 直接 400。 解决方案 还原升级。 把客户端驱动退回到兼容当前服务端的版本。安全问题用其他方式规避（比如在应用层做参数化查询、输入校验等）。 这不是最优解，但在"安全"和"可用"之间，先保可用。 避坑建议 1. 灰度环境重点覆盖验证 stg 环境为什么没发现？因为测试用的 SQL 都是短的。灰度环境应该重点覆盖边界场景： 超长 SQL（1MB+） 特殊字符 高并发场景 2. 客户端和服务端版本要对齐 升级驱动前，先确认服务端版本兼容性。不要客户端升了、服务端没升，两边版本不一致是定时炸弹。 3. 安全整改要评估影响面 ...