创意树洞 · 项目档案

「几十亿条料号」是个口径问题:开源元器件数据库该做的只有一层唯一性

创意树洞 · 项目三 · 可行性分析 · 极客微栋 @GeekWaedon

极客微栋 @GeekWaedon · 2026-11-08

核心观点:这个项目里最贵的不是把几十亿条数据存下来,是让其中每一条都能被别人复核。SiliconExpert 官方 About 页写得很直白——10 亿+ 部件库由 500 多名电气、软件与数据工程师手工打造,API 数据每日更新。按公开云价折算,几百 GB 存储每月只要几美元,和几百人一年的成本差四到五个数量级。所以正确动作不是复刻一个「免费 SiliconExpert」,而是只做一层它最不可能开放、也最需要公共治理的东西:品牌 + 型号的唯一标识,以及这个判定背后的证据链。

数据核对日期 2026-11-08。官网直连返回 Akamai Access Denied,本档案依据官网公开页在搜索索引中的快照(About / FAQ / Pricing / 中文「设计权」页)、官方中文站文案、代理商公开材料与第三方 2026 年采购指南整理;凡属估计值,逐处标注。

项目代号 CUPI(Component URL & Provenance Index),工作代号,非正式产品名。立项日期 2026-11-08。

一、先把三个数字校准,不然预算从第一页就算错

用户提的三个判断里,有两个需要先改口径。下面只列能追到出处的说法,宣传数字与硬指标分开写。

原始说法可核对的公开口径(2026-11-08)判断
全球几万家芯片原厂官方 About 页:库里「over 15,000 companies」;中文代理商材料另称「20,000 个电子分销商和供应商」。1.5 万是公司总数,含被动件、连接器、机电与供应商,不是 1.5 万家芯片原厂;2 万是渠道网络口径,两者不能相加。
预计几十亿个品牌和型号官方硬指标「1 Billion+ Parts monitored for accuracy」;中文「设计权」页写「对 10 亿种电子元件进行参数化搜索」;代理商页另有「数十亿的电子元器件」表述。数量级是 10 亿级记录,不是几十亿个唯一料号。「数十亿」只见于宣传文案,不宜作为工程输入。
数据量大,所以成本很高官网 FAQ:核心工作是「centralize and normalize that data」;About:500+ 工程师「handcraft」这个库;Pricing:数据每日更新。成本在持续的人工规范化与溯源,不在字节数。见第五章的算式。

所以先别估服务器。真正该问的是:一条「品牌 + 型号」要花多少人力,才能被判定为唯一,并且三年后还能被别人复核一遍。

二、「10 亿+」不是 10 亿个型号

把 10 亿拆开看:同一颗芯片,会因为卷带 / 托盘 / 管装、无铅与 RoHS 版本、不同分销商 SKU、数据手册修订历史、停产前后状态各占记录;无源器件更夸张,一个片式电阻系列按阻值 × 精度 × 耐压 × 温度系数 × 封装 × 包装展开,本身就是笛卡尔积。

拿可核对的锚点比一下:DigiKey 官网自述「Over 18 million listed parts, with over a million available for immediate shipment」;Mouser 约 680 万 products、1,200+ 产线(第三方 2026 指南);而 SiliconExpert 是 10 亿+。目录分销商的 listing 已是千万级,商业情报库再高两个数量级,合理的解释是索引记录数——含多来源重复、包装变体、历史版本与参数化组合,而非 10 亿个彼此不同的可采购实体。

这恰好说明「数据量还是比较大」指对了方向,但指错了对象:大的不是唯一实体,是别名与变体的组合空间。「确定唯一性」要做的,是把这块组合空间折叠回一个稳定 ID,属于实体消歧问题,不是数据库容量问题。

结论很硬:以「存多少条」为目标,会掉进一个永远追不完的坑;以「能否判定两个字符串是不是同一个可采购实体」为目标,规模反而可控,而且这个能力别人抄不走。

三、对标:这个市场分三层,贵的那层不在检索

把中英文同类平台按「靠什么收钱」分层,比按功能罗列更能看清定价逻辑。

层次代表收入来源
交易层:库存、价格、下单DigiKey、Mouser、Arrow、立创商城、ICGOO货款与账期;目录免费开放换流量
发现层:跨渠道比价、参数检索Octopart / Nexar、Findchips、芯查查免费基础版 + API 调用计费;第三方 2026 指南估约 $600/年与约 $500 月 / 5 万次调用,均为估计值
决策层:生命周期、合规、替代、风险SiliconExpert、Z2Data、Supplyframe DSI、S&P Global Parts Intelligence按席位 / BOM 行数 / API 包年,官网一律询价

定价佐证:SiliconExpert 的 Pricing 页与 FAQ 都只给「customized quote」,不公开价格。第三方 2026 采购指南给 $5,000–9,000 每席位每年,另有报道称团队档 $10k–25k、API 约 $100k/年,Z2Data $12k–35k、Supplyframe DSI $7.5k–50k——区间跨度这么大,说明它根本不是标准品定价。用户说的「几万块」与国内代理的基础席位或单模块档位相符,但不能当官方价引用。

关键观察:三层里没有一层按「数据条数」收费。交易层赚履约,发现层赚调用量,决策层赚的是你敢不敢拿这条数据去做停产决策。年费买的是「出了事有出处」,不是「查得到」。

四、年费几万块,买到的到底是什么

官网 FAQ 里三句话可以直接当需求文档读:其一,「over 1 billion components, including cross references, lifecycle, parametric, obsolescence forecasts, regulation compliance and inventory data」;其二,「We centralize and normalize that data」;其三,「With over 500 data engineers ... Supporting source documentation is always provided」。

第三句最关键,它把产品性质说穿了:交付物不是参数表,是每一条断言背后的证据。合规场景里,一条 RoHS 状态写错,责任不在数据库厂商的服务器,在拿它签字的工程师身上——所以必须能一键回溯到原厂声明文件、版本与日期。中文站列出的字段清单也印证这一点:ECCN、REACH、SCIP、中国 RoHS、冲突矿产、材料申明、PCN、JEDEC 文档,几乎每一项都要挂原始凭证。

还有时效。Pricing 页写 API 数据「updated daily」。元器件数据的价值衰减极快:PCN、EOL、最后采购通知、料号尾缀变更、原厂并购后的品牌迁移,每周都在发生。一个不能持续更新的库,上线当天就是历史档案。

成本结构于是浮现:抓取与解析是一次性工程;规范化与消歧、证据链维护、合规字段判定三项都带持续人力,而且每一项都需要有人署名。前一项可以自动化,后三项就是那 500 多名工程师的日常。

再补一层拿不到的东西:SiliconExpert 是 Arrow Electronics 的子公司,能借助授权分销的交易数据训练停产年限预测。这类数据开源项目既拿不到,也不该假装拿得到;把它列进竞品功能表而不标数据前提,是这类 BP 最常见的自欺。

五、把成本算成可复核的账

下面全部是量级估算,不是报价。单价取公开云存储的常见档位,人力按官方自述的 500+ 工程师规模粗折,未计福利、管理与销售,只为比较数量级。

成本项算式与口径量级判断
索引记录存储10 亿条 × 约 200 B/条 ≈ 200 GB;按对象存储约 US$0.02 每 GB 每月每月几美元,可忽略
全量参数与附件1 亿唯一料号 × 2 KB ≈ 200 GB,加数据手册 PDF 与修订历史,按 TB 计每月几十到几百美元,仍不是主要成本
持续规范化与溯源500 人 × 全年,按行业薪酬粗估与存储相差四到五个数量级,绝对大头
权利与合规源站条款审阅、授权设计、数据库权与下架响应一次性法务加长期治理,不可省

如果有人拿「几十亿条数据」当预算理由,方向就反了:真正把价格推到几万块一年的,是每天都要有人判断「这两个料号到底是不是同一个东西」,并且把判断依据留档。存储只是这场成本里最便宜的一项。

反过来看,开源项目能省下的恰恰是最大的那块——不养几百人做全参数清洗,只把唯一性判定这一层做薄、做可复核,让原厂公告、分销商目录与社区贡献各自出证据,由规则而不是人力去合并。

六、法律边界:先划清不能搬什么

事实与表达要分开。料号字符串、标称阻值、封装尺寸这类事实通常不受著作权保护;但数据手册 PDF、参数表的编排与文字表述受保护。在欧盟,数据库还可能因「获取、核验或呈现内容的实质性投资」享有 15 年的 sui generis 数据库权(Directive 96/9/EC),可阻止对实质部分的抽取与再利用——元器件目录显然属于「有实质性投资」的那一类。

DSM 指令 (EU) 2019/790 第 3、4 条给了文本与数据挖掘例外,但第 4 条允许权利人用机器可读方式保留权利(robots.txt、TDM 保留协议等),且研究例外对主体有要求。商业开源项目不能默认自己适用,看见 robots.txt 就该停下,而不是绕开。

结论对架构是硬的:不要搬运别人清洗好的结果集,只从权利清晰的原始事实层取数——原厂公开料号页、PCN / EOL 公告、标准机构文档、明确以 CC0 / ODbL 或开放 API 条款发布的数据。每条记录只存「断言 + 来源 URL + 抓取时间 + 内容哈希 + 许可证」,不复制原文、不镜像 PDF。

自己产出的库建议用 ODbL 发布(OpenStreetMap 2012 年正是为对应数据库权,从 CC 迁到 ODbL),代码用 Apache-2.0 或 MIT,纯事实层可考虑 CC0;内容权利混杂时按 ODbL 的建议逐条标注。这一步必须在写第一行采集脚本之前定,否则后期无法追溯授权链,整个项目会被一次下架要求打回原点。

七、开源侧已经走到哪一步

这个方向并不空白,缺的东西反而很具体。下表只列能查到实现细节的项目。

项目已经解决没解决
KiCad 官方符号 / 封装库符号、封装、3D 模型与 KLC 规范,社区 PR 审核不处理 MPN 唯一性与生命周期
nawotech/partsIPN 内部料号 + CSV → SQLite → ODBC → KiCad 数据库库,全部变更在 Git 里可 diff面向单个团队,不是全球公开标识
LCSC / JLCPCB 生态(JLCPCB-KiCad-Library、KiCad-MCP-Server 的 SQLite、JLCSearch)以 LCSC C 码作主键,FTS5 检索并处理 MPN 连字符转义,封装映射与同类别替代建议C 码是平台内编号,跨目录不可移植
KiDex 一类「输入 MPN 拿可用件」工具用 DigiKey 解析厂商与规范名、交叉引用 LCSC C 码、指纹去重复用封装、导入幂等依赖第三方接口,是工具不是公共标识

四组放在一起,缺口非常清楚:缺一个不属于任何平台、可跨目录引用、带版本与证据、能被社区仲裁的公开标识。大家都在各自的主键里重复造轮子,而且都不敢宣称「这两个料号是同一个东西」有可复核的依据。

八、结论:只做唯一性这一层

项目代号 CUPI,产品定义压成一句话:不存全部参数,只存「谁、在什么时候、凭什么说这两个字符串指向同一个可采购实体」。

与商业库不是竞争,是分工。开源层负责标识、别名、品牌沿革与变更事件的公共品;商业平台继续在停产年限预测、合规文档、风险评分上收费。开源层越可信,商业库的规范化成本反而越低,二者并不互斥。

这也解释了为什么「几万块太贵」不能直接推出「做一个免费的」:用户真正付不起的是判断与责任,而判断需要持续的人力与制度。开源能替代的是「唯一性由一家说了算」这件事,不是「有人替你签字」。

可验证性是唯一护城河:每条断言可被任何人用来源 URL 与哈希重放,争议走公开 PR 与仲裁记录,错误可回滚但历史不可抹除。商业库给结论,开源层给复核结论的能力——这正好是本站做元器件内容时反复遇到的同一道题。

九、最小数据模型、ID 设计与分期

字段刻意压到七类:规范 ID、品牌命名空间、规范 MPN、别名集、生命周期事件(PCN / EOL / 最后采购,带日期与公告链接)、来源证据(URL + 时间 + 哈希 + 许可证)、置信度与仲裁记录。不收库存、不收价格、不收合规结论、不托管数据手册。

ID 借 purl(Package URL)的思路,形如 cupi:brand/mpn@rev?pkg=...&grade=...#variant:用命名空间消解品牌并购,旧品牌料号映射到新命名空间但保留原 ID;用限定符吸收包装与等级尾缀,避免把变体炸成主表行。规范里必须写死大小写、连字符、前导零与尾缀的处理规则——MPN 消歧翻车,八成翻在这些地方,而不是参数比对。

治理借 nawotech/parts 的 Git 流程:JSONL 入库、SQLite 构建、PR 评审、按品类设 maintainer;新增合并候选必须由两个独立来源支持,冲突进仲裁队列而不是自动合并。这和项目一「只产出候选、不自动归并」是同一条纪律——误合并的代价不可逆。

分期:0–12 周只做一个品类(建议先做无源器件,或某一类 MCU)、1 万个实体、3 个来源,配套公开校验器与 CI;第二阶段补品牌沿革与 PCN / EOL 事件订阅;第三阶段才谈社区治理与只读 API。任何阶段都不以条数为验收指标,以争议解决率与证据可重放率为准。

十、明确的放弃清单与三条止损线

  • 不做全参数库、不采分销商价格与库存、不提供停产年限预测——这三件正好是商业库的收费核心,也是责任最重的部分。
  • 不做「免费替代 SiliconExpert」的宣传。名字里只有「开源数据库」而没有「标识层」,第一天就会被拿来比条数,然后死在条数上。
  • 不收录来源不明或权利不清的数据。宁可只有 1 万条可复核记录,不要 1 亿条来路不明的行。
  • 不承诺工程可用性。文档首页必须写清:本层用于标识与溯源,不替代原厂数据手册,不构成替代料验证或合规结论。

止损线:其一,12 周内若 1 万个实体的争议仲裁平均耗时超过 14 天,说明治理模型不成立;其二,若上游出现机器可读的权利保留或正式函件要求停止采集,立即下线该来源而不是绕开;其三,若没有任何第三方工具愿意接入这个 ID(哪怕只是一个 KiCad 插件),说明这层没有公共品价值,停。

总结

回到最初那个问题:几十亿条数据,成本会不会很高?按字节算,一点都不高;按「每条都能被复核」算,高到一家公司要养 500 多名工程师,所以才卖几万块一年。

开源能改的不是这个价,是这个结构。把唯一性判定从一家公司的私有资产,变成有出处、可回滚、可仲裁的公共层;把需要人签字的高价值判断留在商业侧。这样既不用假装能免费复刻一个 SiliconExpert,也确实把最该开放的那一层开放了。

一句话收口:别建一个更大的库,建一层谁都能查的账。

返回 创意树洞 · 项目一 私谱 BP · 项目二 一键分发风险分析;相关实务见 元器件撮合服务。

2026-11-08 补记:上游正在把访问变成可计价商品(Pay Per Crawl → Pay Per Use / x402,可对页面、数据集、API 与 MCP 工具收费),Content Signals 也只是请求而非许可。原档案「不采分销商价格与库存、只收权利清晰的原始事实」的放弃清单由此更成立;第一单应先人工交付 BOM 消歧报告,见 准入围墙下的 5W1H 重排。

常见问题

SiliconExpert 年费到底多少钱?

官网不公开。Pricing 页与 FAQ 都只提供「customized quote」询价入口。第三方 2026 采购指南估计每席位每年 5,000–9,000 美元,另有报道给出团队档 1–2.5 万美元、API 约 10 万美元一年,Z2Data 约 1.2–3.5 万美元、Supplyframe DSI 7,500–5 万美元。跨度这么大说明是按模块、席位数与 BOM 行数组合报价,「年费几万块」符合国内代理的基础席位或单模块档位,但不是官方定价。

10 亿+ 是 10 亿个不同的料号吗?

不是唯一料号数。官方措辞是「1 Billion+ Parts monitored for accuracy」,FAQ 说明包含交叉参考、生命周期、参数、停产预测、合规与库存数据,且需要「centralize and normalize」。作为对照,DigiKey 官网自述约 1,800 万 listed parts、其中逾 100 万可即时发货。合理理解是索引记录数,含多来源重复、包装变体、历史版本与参数化组合。

全球真有几万家芯片原厂吗?

按官方 About 页口径是「over 15,000 companies」,指库内公司总数,包含被动件、连接器、机电与供应商,不等于 1.5 万家芯片原厂;中文代理商宣传的「20,000 个电子分销商和供应商」是渠道网络规模。两个数字口径不同,不能相加,也不宜用来推算唯一料号总量。

既然存储这么便宜,为什么开源数据库没做起来?

因为难的不是存,是持续判定与留证。每条断言要挂来源、版本、日期与原始凭证,PCN / EOL / 品牌迁移每周都在变;再加数据表版权、欧盟 sui generis 数据库权与服务条款,采集本身就有法律边界。已有的开源项目都只覆盖自己那一层(符号封装库、内部料号、平台内 C 码),没人愿意承担跨平台的唯一性仲裁责任。

那开源项目到底该做什么?

只做标识与证据链:一个跨平台、公开、带版本的 Component URL 规范,加上别名集、品牌沿革、生命周期事件和来源证据。不存全参数、库存、价格与合规结论。和项目一的纪律一样——只产出合并候选、不自动归并,争议走公开 PR 与仲裁,任何一条断言都能被第三方重放复核。

直接抓分销商和原厂网站做数据,会有法律风险吗?

有,且不能靠「事实不受版权保护」一笔带过。数据手册与参数表编排受著作权保护;欧盟 Directive 96/9/EC 给有实质性投资的数据库 15 年 sui generis 权利,可阻止对实质部分的抽取与再利用;DSM 指令 (EU) 2019/790 的 TDM 例外允许权利人用机器可读方式保留权利。稳妥做法是只取权利清晰的原始事实层,遵守 robots.txt,逐条记录许可证,并用 ODbL 发布自己产出的库。

出品人 · 极客微栋 @GeekWaedon
硬件玩家,AI 实践者。这个网站就是我和 AI 一起「手搓」出来的。
加入知识星球微信公众号搜索:极客微栋