AI 工厂的台积电，Fireworks

TL;DR

Fireworks 是 2022 年由前 Meta（含 PyTorch 核心创始团队）/ Google 工程师创办、总部位于加州 San Mateo 的开源与自有模型「Specialized Intelligence（专用智能）」平台。

其业务从底向上为六个模块：Infrastructure（Cloud + Sovereign）→ Training → Fireworks Lab → Models（自研 / 开源库 / 客户权重）→ Inference → Model ensembling（Nexus + API）。

Fireworks 披露其日均处理的超 40 万亿（40T+）Tokens 中，超过 95% 并非直接调用公版开源权重，而是来自经过客户私有数据微调、强化学习（RL）或特定参数优化的专有模型。如果一家平台 90% 的流量都在跑公版 Llama 或 DeepSeek，那它只是一个“公共算力批发商”；但是当 95% 的产出都是替不同客户定制加工的专有模型时，它就真正具备了台积电（Foundry）的属性。

图 1. Series D 节点的 token 结构。公司披露，2026 年 7 月。

团队和发展

融资历史

Series C 节点（2025-10）：披露已经服务 10,000+ 公司；日处理 > 10T tokens；ARR > $280M。Series D 节点（2026-07）披露的最新数据已经日处理 > 40T tokens；ARR > $1B+；> 95% tokens 来自客户专有数据或特定场景优化后的模型。

创始团队和核心稳定团队

七位联合创始人 Lin Qiao、Dmytro Dzhulgakov、Benny Chen、Chenyu Zhao、Dmytro Ivchenko、James Reed、Pawel Garbacki，近半数是来自于原来的 PyTorch 团队。

Lin Qiao — Co-Founder, CEO

• 教育： 复旦大学计算机本科与硕士；加州大学圣塔芭芭拉分校（UCSB）计算机博士。
• 职业路径： 约 2003 年起 IBM（含 Almaden Research 的 BLU 分析查询引擎）；2011–2015 LinkedIn，Tech Lead / Manager，参与 Espresso 分布式数据平台、Gobblin 数据摄入与数据生命周期管理；2015-07 加入 Meta，先后任 Data Infrastructure 工程经理、2018-02 起 Senior Director of Engineering，至 2022-09。团队从约 5 人扩至 300+，覆盖 Caffe2、PyTorch 及 Meta 训练/推理生产栈。公开访谈口径：团队最终保留 PyTorch 前端并重建后端（含 TorchScript），原以为 6 个月的库迁移变成约 5 年的训推栈重建，峰值叙事为日均超 5 万亿次推理。

Dmytro “Dima” Dzhulgakov — Co-Founder, CTO

• 教育 / 出身： 哈尔科夫理工学院（NTU Kharkiv Polytechnic Institute）应用数学本科与硕士；乌克兰籍。早期创办面向青少年编程教育的 QBit，并在 NPF Informatica 做工控 IDE。曾实习于 Google Zurich 与 Facebook。本人 X bio 写「Ex-Pro Competitive Programmer」。
• Meta（约 2011-12 至 2022-09）： Ads 个性化与大规模事件预测；Caffe2 核心开发、Facebook 第一代全公司生产 AI 平台联合发起人；PyTorch core maintainer，推动研究（FAIR）与产品工具链合并；参与 ONNX；2019 年 Deep Learning Recommendation Model（DLRM）论文共同作者。第三方履历镜像称其 Tech Executive 阶段带 400+ 人工程组织（Med）。

Benny Chen（Benny Yufei Chen）— Co-Founder

• 教育 / 出身： 新西兰出生。Open Source CEO 访谈与 MindMakers 播客写 UCLA 计算机 / Computer Science and Engineering（约 2015）。
• Meta（约 8–9 年，实习起至 Principal）：为 Ads infrastructure lead。本人多次访谈：负责广告模型在 GPU 与 ASIC 上的推理（自述 2017 年起把 ads model 迁到 ASIC，当时还是 V100 世界）；后期对广告基础设施做容量规划，看到内部 GPU 需求「up and to the right」，成为离开 Meta 创业的直接信号。

Chenyu Zhao — Co-Founder（唯一 Google 出身）

• 教育： UC Berkeley Electrical Engineering and Computer Science 本科（Equilar）。
• Google（约十年）： 官方 /team 为 Google Vertex AI Lead。Slush 2026 讲者简介：Google Cloud AI 平台高级工程经理。第三方侧写：参与建立 Vertex AI，管理约 50 人 MLOps / AutoML 工程团队（Med）。本人在 AMD × Crusoe 公开对话中自报来自 GCP。

Dmytro Ivchenko — Co-Founder, Engineer

• 教育 / 出身： 乌克兰基辅理工学院（Igor Sikorsky Kyiv Polytechnic Institute）系统分析硕士；与 Dzhulgakov 同为媒体点名的两位乌克兰联创。
• 职业路径： Bloomberg、FatWire 软件开发；LinkedIn Senior Staff，主导 Galene 搜索引擎实现并参与 Recruiter 功能；2016 起 Meta，历任 Staff / Senior Staff / Principal。官方 /team：PyTorch for ranking lead。

James Reed（James K. Reed）— Co-Founder

• 教育： Virginia Tech 计算机工程学士，Summa Cum Laude。曾实习 Google、Qualcomm。
• Meta： PyTorch compiler。Staff Software Engineer，主导或深度参与 torch.fx、PiPPy（Pipeline Parallelism for PyTorch，后合入 PyTorch 核心）、TorchScript、ONNX。MLSys 2022 论文 torch.fx: Practical Program Capture and Transformation for Deep Learning in Python（与 Zach DeVito、Jason Ansel 等）。专利：predication in computational models（USPTO 10,553,207 等）。

Pawel Garbacki（Paweł Garbacki）— Co-Founder, Researcher

• 教育 / 出身： 华沙出生。华沙大学数学与计算机本科/硕士；阿姆斯特丹自由大学计算机硕士；代尔夫特理工 + VU Amsterdam 计算机博士（导师 Dick Epema，OpenReview 自报 2003–2008）。早期论文在 P2P / Tribler 系统方向。
• 职业路径： IBM T.J. Watson 研究实习；Google Staff / Tech Lead；2013–2016 Pinterest，Ads 组织创始成员；2016-10 至 2022-11 Meta Principal Engineer，News Feed Core Machine Learning。

核心产品线和商业模式

六个核心业务模块

公司自己的定位是不做封闭 Frontier Lab，做企业拥有的 Specialized Intelligence 操作系统——开源推理 + 微调/RL + 编排，成本与可控性对标封闭 API。

模块一：Infrastructure

基础算力基建不强绑定 Fireworks 自己的云算力。

• Fireworks Cloud（全球托管 GPU 池）：30+ regions、NVIDIA + AMD 最新卡、Foundry 一等公民可抵 Azure 承诺、ZDR / 区域驻留 / SOC 2 Type II / ISO 27001/42001
• Fireworks Sovereign（Fireworks on your cloud）：推理留在客户 K8s / 云 / 机房；同一 API 无代码改动；可向 Cloud 溢流。

Fireworks Cloud（全球托管 GPU 池）

跨 20+ 供应商租赁的 Virtual Cloud。训练 Available 的单区域只有 5 个（弗吉尼亚 / 俄亥俄 / 明尼苏达 / 马来西亚 / 台湾）。A100 仍在伊利诺伊；AMD 三区无公开小时价。算力来源 Microsoft Foundry（计入 Azure MACC）；AWS Marketplace / SageMaker / Bedrock AgentCore；Google Cloud Marketplace。

Fireworks Sovereign（Enterprise Private Preview）

在客户自有 / 已签约 GPU 上跑同一套推理引擎；客户保留架构与政策，Fireworks 负责资格审查、部署、升级、监控与事故响应。

Sovereign 等于托管 BYOC，另一种交付模式 Airgap 是更严的隔离 SKU。

模块二：Training

企业原本直接调 Claude Opus 或 GPT-5/6 这类巨型闭源通用模型，现在改用 Fireworks 把一个中等尺寸的开源模型（如 30B 的 Muse Glimmer 或 GLM 5.3 Flash）针对自家单一业务场景微调/RL 后上线，体积小了、专精度高了，推理成本断崖式下降，响应速度大幅提升。因为训练和推理在同一个平台（训完不用导出几百 GB 权重再去搭推理集群），原本几周的迭代缩短到几小时。

• Cursor（Federico Cassano）：点出 AI Native 公司的资源分配策略——顶尖算法工程师应该花精力去写代码沙箱环境（Environment）和奖励函数（Reward），而不是去写底层的 CUDA 推理算子和维护 GPU 集群。
• Vercel（Malte Ubl）：解释为什么要做 Compound AI（复合模型系统）——前端生成工具 v0 不是靠一个大模型包打天下，而是由路由模型 + 代码生成模型 + Auto-fix 快速修复小模型共同组成；基座模型每周都在换代，用 Fireworks 可以随时把训练配方（Recipe）迁移到最新 SOTA 开源基座上。
• Genspark（Kay Zhu）：强调 从租用 API 转向拥有自有权重（Own the weights） 只需 4 周即可跑通闭环。

任何训练（尤其是强化学习 RL）都包含两个动作——① Rollout / Sample（采样/跑轨迹：让模型像做题一样生成回答或调用工具） 和 ② Train（训练更新：根据打分算梯度，更新模型权重）。Fireworks 按照谁来写控制循环（Loop）以及 GPU 使用方式提供四种不同的训练路径。

训练成果

模块三：Fireworks Lab

Fireworks Lab 是高客单、低算力 COGS 的驻场服务，用来锁定大客户核心预算并沉淀评测器与训练 loop。GPU 仍按模块二 Training / 模块五 Inference 的公开 SKU 走，Lab 费是研究员时间。

项目制的交付方案：客户保留模型、eval harness、数据管线、训练 loop 和 recipes——换更强基座时，标准跟着走。高客单、低算力 COGS 的驻场服务，用来锁定大客户核心预算并沉淀评测器与训练 loop。

• 周期约 6–10 周，按目标日期倒排的 time-boxed build。（Genspark Deep Research、Heidi 临床 scribe）。
• 开场 diagnosis：能力、基线、成功标准、范围。
• 工作包（Training 页「We build with you」）：
  • Data readiness： 权利、体量、是否适合生产，先确认「能赢再花钱」。
  • Eval design： 与客户专家共写评测，拿自有模型和其他模型对照同一把尺。
  • Training strategy： 基座、方法、serving 经济学、随新 traces / 新基座重训。
• 与模块二 Training 共用同一训推栈；Lab 卖的是研究员时间与方法论，不是 GPU SKU。缺算法人力时，Lab 是 Managed / Training API 之上的服务层。

模块四：Models

模型侧供应分为三类：

• Fireworks models（自研）
• Model library（开源实验室）
• Your models（客户权重）

Fireworks models（自研）

Ember-1 基于 Kimi K3 的短推理轨迹专用模型。动机：K3 生成 token 里有时 >90% 是内部推理，多轮 agent 会把早期 reasoning 二次送回，上下文近似二次增长；把 K3 effort 调低会掉质量。团队用 Serverless Training 跑 50+ 训练实验、200+ 评测，未用客户数据。

对外口径：约少 40% tokens、质量接近 K3；五项行业基准距 Claude Opus 5 约 1 分、每任务成本约 1/5（营销 / 内部评测）。Doximity Bedside Bench（500 临床病例 / 10 专科）上自称相对 GPT-5.6 Sol、GPT-6 Astra、Claude Opus 5 处在 cost/task Pareto 前沿。

公开对照表（公司自测）

两家客户生产 coding A/B：约 -35% tokens / 任务、质量持平；其中一家已切生产。内部流量：开发者没注意到切换。内部表还给出 reasoning token -71.3%、output 49.3K → 29.9K、score 0.751 → 0.753。当前是 Research Preview：新研究模型先给两周 Serverless，再按社区需求转正。已开放 Ember-1 训练，客户可再特化。Serverless 与 Dedicated 均可。

Model library

开源模型的按场景推荐

闭源模型供应和开源替代对比

Your models（客户权重）

• 训练产出 100% 归属客户，受基座许可证约束；firectl model download 导出 Hugging Face PEFT；也可把外训兼容 adapter / 自定义权重上传上来。
• 单 LoRA 可 live-merge 进基座，推理速度接近基座；Multi-LoRA 约 100 个 addon 共享一次 Dedicated 部署。
• Specialized Model Inference（Public Preview，Forge 2026）： 把 LoRA 挂到共享 Serverless，按基座 token 价计、无空闲 GPU 费。当前仅 GLM 5.3 Flash（accounts/fireworks/models/glm-5p3-flash），每基座最多 3 个 adapter、rank ≤ 64；第四个返回 ResourceExhausted。流程：Train/import → Load < 5 分钟 → 首次请求 < 1 分钟把 LoRA 留在 cache → 后续接近基座延迟。需要 firectl ≥ 1.8.15。其它基座仍须 Dedicated。<a href="https://docs.fireworks.ai/serverless/specialized-model-inference/overview.md">https://docs.fireworks.ai/serverless/specialized-model-inference/overview.md</a>

定价方案

模块五：Inference

Fireworks 的推理产品按客户流量从小到大，分为 Serverless（按 Token 拼车） → Reserved Throughput（按分钟包消费额保 SLA） → Dedicated / GPU Reserve（按秒/包年租整卡包场） 三个台阶。

• Serverless：多租户共享池，无冷启动、无 GPU 选型。兼容 OpenAI 与 Anthropic 接口，按 Token 计费。
• Reserved Throughput（Serverless SLA）： 买 美元/分钟 的额度，按分钟 use-it-or-lose-it，不累积。定价页写 throughput SLA + 99.9% uptime terms（docs 只写 throughput SLA，赔偿条款全文未公开）。
• GPU Reserve / Reserved capacity： 企业典型 1 年；保证容量、更高配额、更低 GPU-小时、Pre-GA 区域/新硬件。

模块六：Model ensembling（Nexus + API）

覆盖两条面：人用的工具（Fireworks Nexus） 与 系统用的 API（Fireworks API）。产品页口径：保留 ChatGPT / Claude / 既有编码 harness；日常轮次走开源、最难轮次走闭源；宣称团队账单 -50%+；API 侧「改一行 base URL」兼容 OpenAI / Anthropic。Nexus FAQ 明确：它不是单纯 LLM router——CLI 连工具、Auto 按轮选模、Settings 卡预算，三件一起才构成「多模型组织」。

Nexus Auto

用 Nexus 实现“闭源+开源”协同：为了让开发者在 Claude Code、Cursor 或 OpenCode 里依然能用上 Claude Opus 和 GPT，Fireworks 在 Nexus（原 FireRouter） 中采用了 客户端/网关透传机制——你填入自己的 Anthropic/OpenAI Key，困难轮次直连 Anthropic/OpenAI 官方服务器，常规轮次路由到 Fireworks 自家机房的开源模型或 Ember-1 / Qwen Plus 上，既守住了算力直供商的合规底线，又帮客户省下了 50% 以上的闭源账单。

Fireworks API（系统面）

Fireworks API（系统面） 本质上就是指前面详细拆解过的 Serverless Inference API（以及与之配套的 Routers / 部署管理接口）。

对比 OpenRouter

表面上看，Fireworks Nexus 和 OpenRouter 都切入了「多模型统一接入与智能路由（Model Routing）」赛道，都能接入 Cursor、Claude Code、OpenCode 等终端工具；但两者的底层商业模式、路由算法逻辑以及在产业链中的生态位截然不同——甚至在算力供应链上，Fireworks 本身就是 OpenRouter 背后最重要的上游开源模型推理供应商之一。

• OpenRouter 是「中立的模型聚合集市（横向 B2D Marketplace）」：核心解决的是「跨供应商找模型、比价格、防宕机」，自己不养算力，靠做所有模型的统一网关赚取充值服务费或批发差价。
• Fireworks Nexus 是「绑定自有推理引擎的 Agent 降本外挂（纵向垂直整合漏斗）」：核心解决的是「在不改变研发人员使用 Claude Code / Cursor / OpenCode 习惯的前提下，按对话轮次（Per-Turn）把 70% 的常规任务从昂贵的闭源模型卸载到 Fireworks 自家的开源模型上」，本质是为了给自家高毛利的 Serverless/Dedicated 推理引擎导流。
  • 当开发者运行 nexus claude 或 nexus codex 时，工具依然保留开发者原本的 Claude 账号登录态或自带的 OpenAI/Anthropic API Key（密钥仅保存在本地钥匙串中，不上传服务器）
  • 这样一来，企业无需废弃已有的 Anthropic/OpenAI 协议或 ChatGPT/Claude 桌面端订阅，就能把原本 4 个月就会烧光的全年 AI 预算（如报道中提及的 Uber 工程团队痛点）延长 2 至 3 倍。

核心工程壁垒

早期开源模型云厂商普遍采用「租赁裸金属 GPU + 封装开源 vLLM/SGLang」模式，极易陷入同质化价格战。Fireworks 能够维持高毛利并锁定超 95% 的定制模型流量，核心在于解决了大模型工业化落地的三大底层断层：

1. 消除「训练与推理数值漂移（Train–Serve Skew）」断层： 在超大参数 MoE 模型（如 Kimi K3、DeepSeek V4.1）的后训练与强化学习中，传统方案用 Megatron/FSDP 在 BF16 精度下训练，再导出至 vLLM 在 FP8/FP4 下推理。由于算子实现差异、低精度舍入误差以及 MoE 门控路由器（Router）在微小数值波动下激活了不同专家（Expert），会导致「训练 Reward 曲线上升，但上线后生产推理准确率崩塌」。Fireworks 构建了训推同构内核栈（FireAttention），原生对齐 BF16、block FP8 与 NVIDIA 最新 NVFP4 格式，并独创 MoE Router Replay（专家路由重放） 机制，强制训练反向传播与采样阶段激活完全一致的专家路径，将服务端与训练端的 KL 散度严格压制在 KLD < 0.007（Token 拒绝率 < 3%）。
2. 消除「异步强化学习（Async RL）算力空转」断层： 2026 年企业定制模型的主流范式已从静态 SFT 转向 Agentic RL / RFT（强化微调）。在 RL 训练循环中，高达 70%–85% 的 GPU 算力消耗在 Rollout（让模型在代码或工具环境中采样生成海量轨迹 Trajectory）而非梯度更新上。若训练与推理集群分离，每次同步数百 GB 的全量 Checkpoint 会造成严重的 GPU 闲置等待。Fireworks 的 RL Rollouts 与 Serverless Training API 采用异步架构，通过 Delta-compressed Weight Updates（增量权重压缩） 每次仅传输约 2% 的权重变化量，结合后台流水线预下载与解码，实现亚分钟级（< 1 分钟）GPU 显存热切换，支撑 10,000+ GPU 规模的高并发 RL 训练。
3. 消除「多轮 Agent 长上下文成本失控」断层（Session Affinity + Nexus）： 针对多轮 Coding Agent 场景，单次任务往往跨越数十个 Turn、上下文迅速膨胀至 100K–1M tokens。Fireworks 在集群调度层实现了 Session Affinity（会话亲和性路由），将同一 Agent 会话的连续请求定向分发至已驻留该会话 KV Cache 的物理节点，实现最高 99.6% 的缓存命中率（无缓存写入费，读取默认半价或更低）。而在终端侧，Nexus 作为「任务难度与缓存感知路由器」，将占日常开发 70% 以上的文件检索、常规改写、单元测试生成自动卸载至 Fireworks 高速开源模型，仅将最复杂的架构推理透传给闭源模型 API，从而将团队编码 AI 账单削减 50%–72%。

Why Fireworks？

对比 TSMC

对比半导体行业从 IDM 垄断 走向 Fabless（无晶圆设计）+ Foundry（专业代工） 的历史演进。

• 半导体早期的 IDM 模式 ↔ 封闭 Frontier Lab（OpenAI / Anthropic）：半导体早期只有 Intel 这种 IDM 巨头，自己设计芯片架构、自己建晶圆厂生产、只对外卖打着 Intel 标的标准品。这对应今天的 OpenAI 和 Anthropic——自己预训练闭源通用大模型、自己在内部集群跑推理、只对外售卖黑盒 API。
• Fabless（设计商）的崛起 ↔ 10,000+ 拥有私有数据的垂直应用企业：在半导体界，Apple、NVIDIA、AMD、Qualcomm 之所以能百花齐放，是因为它们不需要自己砸几百亿美元建晶圆厂，只需专注于架构设计（画芯片图纸），然后交给台积电代工。在 AI 时代，Cursor、Harvey、Notion、Uber、Vercel 就是「AI 时代的 Fabless」——它们手里握着最核心的业务工作流、垂直领域私有数据和强化学习奖励函数（即“专用模型的图纸”），但它们既不想被 OpenAI 这种黑盒 API 锁死利润和延迟，也不可能自己养一支上百人的底层 CUDA 算子与万卡分布式系统团队去搭“Token 产线”。
• Foundry（纯代工厂）的诞生 ↔ Fireworks AI：Fireworks 扮演的正是承接这上万家企业“专用模型图纸”、将其转化为高吞吐、低成本生产级 Token 流的专业代工厂。

从技术工程上的对比

对比 vLLM，SGLang

如果只看单机环境下把一个开源模型跑起来、做动态批处理（Continuous Batching）和分页显存管理，那么 Fireworks 的推理引擎与 vLLM（主打 PagedAttention 与通用高吞吐）、SGLang（主打 RadixAttention 前缀树复用与结构化 JSON 约束解码） 解决的确实是同一类问题。

但 vLLM/SGLang 止步于纯推理，而 Fireworks 打通了训推同构与在线 RL。