[adaptv] filter criteria

[adaptv] filter

Adaptyv 之前几届比赛并不是“你 submit 了就都做实验”,而是先经过 computational filtering,再从里面挑一部分做 wet-lab validation。

而且他们几届比赛的 filter 还变过。你如果是在为明天开始的 Anthropic × Adaptyv competition 做准备,最值得参考的是下面这套演化。

2024 EGFR Competition — Round 1

第一轮比较简单,核心 selection metric 是 AlphaFold2 的 interface PAE(iPAE / PAE_interaction)。

流程大致是:

sequence → ColabFold/AF2 complex prediction → PAE_interaction → rank → Top designs 做实验

他们用 ColabFold,设置包括 2 models、5 recycles、no templates / no initial guess,然后根据预测 complex 的 interface PAE 来评价 binder–EGFR interface 的可信度。GitHub

简单理解就是:

interface PAE 越低 → AF2 越确信 binder 和 target 的相对位置 → 越容易进入实验。

但他们后来发现,单纯 iPAE 并不是特别好的 experimental hit predictor。


2024 EGFR Competition — Round 2:这个更值得参考

Round 2 明显升级了。他们没有只看一个 metric,而是把三个 metric 的 rank average 合起来:

Metric想筛什么
AF2 PAE_interaction / iPAE ↓interface 是否可信
AF2 ipTM ↑整个 complex/interface 是否可信
ESM2 log-likelihood / PLL ↑sequence 是否“protein-like”、更可能 expression

Adaptyv 明确解释过为什么加 ESM2:Round 1 发现 ESM2 likelihood 与 expression 有正相关,所以想避免挑出“结构预测很好,但蛋白根本表达不出来”的设计。LinkedIn

所以这里其实已经很接近一个:

binding confidence + complex confidence + developability/expression proxy

的组合 filter。

最后他们收到 >1000 个 designs,实际选择 400 个做实验:

Top 100:按照上述 computational ranking 直接选。

另外 300:不是纯 score,而是人工挑,每个 designer 选 1–5 个,主要根据 design method 的 quality + novelty/diversity。Adaptyv Bio

这一点很重要:不是只有 computational score 才能进去。


后来 Adaptyv 自己也发现这套 filter 有问题

他们后来总结两轮 EGFR competition 时承认:

computational metric 本身就是 protein design 里一个没有解决的问题。

尤其是 ESM2 PLL 有一个问题:unnormalized likelihood 会偏向 shorter proteins。Adaptyv Bio

因此后来的 Nipah binder competition 又换了:

Boltz-2 ipSAE

作为主要 computational filter。

具体是:

600 designs → 按 Boltz-2 ipSAE

另外:

200 → expert panel

200 → community vote

总共 1000 个进入实验。Adaptyv Bio

所以你现在如果问“Adaptyv 历史上最常用什么 filter”,可以概括成:

早期:AF2 iPAE → 后来:AF2 iPAE + ipTM + ESM2 PLL → 最近:Boltz-2 ipSAE + expert/manual selection


对你现在这个 Anthropic × Adaptyv 2026 competition 最重要的一点

这一次已经明确说不会照搬以前的 single-metric filter。

官方现在写的是:

Designs for wet-lab testing will be selected using a Claude-based workflow.

而且特别强调:

Selection will not rely on a single in silico metric.

并且 exact workflow 比赛结束后才公开。Proteinbase

这跟以前 “按 ipSAE 排前 600” 很不一样。

因此,如果是我帮你准备这次 submission,我不会只追一个 AF3 ipTM 或 ipSAE。根据 Adaptyv 过去比赛的经验,我会至少把 candidate filter 做成:

AF3/Boltz complex confidence → interface confidence → sequence/design quality → expression/developability → diversity/novelty → challenge-specific constraints

然后再从里面选最终 submission。

另外,这次官方还特意说:

鼓励 participant 详细描述 methods 和 design choices。Proteinbase

这很可能比以前更重要,因为 selection 本身就是 Claude-based workflow,而不是简单地 sort 一个 CSV column。

如果你愿意,我下一步可以直接根据 Adaptyv 前几届真实 wet-lab data,给你反推一套这次比赛可用的 BindCraft2 → AF3/Boltz2 → ipSAE → developability → final selection filter,包括每个 metric 建议设多少 cutoff。

​

claude based workflow

hint 其实挺明显的。官方没有公开 exact selection workflow,但从他们这次比赛 FAQ、Anthropic 最近的 protein-design campaign,以及 Adaptyv 自己公开的 Claude protein-design skills,大概能反推出这个 “Claude-based workflow” 不太可能只是让 Claude 看一眼 sequence,而更像一个 agentic multi-metric reviewer。

官方目前唯一明确说的是:wet-lab selection 会用 Claude-based workflow,不会依赖单一 in silico metric;而且要求参赛者自己先 review,并鼓励详细写清楚 methods 和 design choices。Exact workflow 要比赛结束后才公开。

我觉得最强的 hint 来自 Adaptyv 自己的 protein-design-skills repo。他们给 Claude 做了专门的 protein QC skill,里面直接写着:

  • individual metric predictive power 很弱,不能单独用;
  • 推荐 composite / multi-stage filtering;
  • structural:pLDDT、pTM、scRMSD;
  • binding/interface:ipSAE_min、ipTM、PAE_interaction、shape complementarity、interface ΔG、dSASA、BUNS;
  • expression/developability:instability index、GRAVY、pI、ESM2 PLL、folding ΔG;
  • sequence liabilities:odd cysteine、deamidation motifs、polybasic cluster、hydrophobic run 等。GitHub

更有意思的是,他们直接给了一些参考 threshold:

类别Adaptyv Claude skill 里的参考值
pLDDT>0.85;stringent >0.90
pTM>0.70
ipSAE_min>0.61;stringent >0.70
ipTM>0.50;stringent >0.60
interface PAE<12 Å;stringent <10 Å
Shape complementarity>0.50;stringent >0.62
interface ΔG<-10;stringent <-15
interface BUNS≤4;stringent ≤2
instability index<40
GRAVY<0.4
scRMSD<2 Å

这不等于“比赛一定按这些 cutoffs 筛”,但它是 Adaptyv 官方写给 Claude 用的 QC logic,所以我认为参考价值非常高。GitHub

“Claude-based” 可能是什么意思

我更倾向于它是下面这样的:

submission → Claude 阅读 challenge requirement + sequence + predicted structure + method description → 调用/读取多个 computational metrics → rule-based QC → reasoning about challenge-specific biology → diversity/novelty → 形成 testing shortlist

而不是:

ipSAE 排序 → top N。

Anthropic 自己最近的 binder campaign 就是这么做的:Claude 自己选择 epitope,调用多种 structure design、sequence design、co-folding tools,迭代优化,然后筛选 novel、diverse、likely to express、soluble、bind 的 designs。Anthropic

所以这里的 “Claude-based” 更接近:

Claude 是 selection agent / scientific reviewer,而不是 Claude 自己提供一个 score。


还有一个非常值得注意的 hint:他们为什么让你写 method description

如果最后只是拿 sequence 跑 Boltz2 → ipSAE,根本没必要强调:

describe their methods and design choices in detail.

但官方特意强调了。Proteinbase

这说明 textual submission information 很可能会进入 Claude 的判断 context。

所以假设两个 design:

Design A

  • ipSAE 0.73
  • 没解释为什么选这个 epitope
  • sequence 和另外 20 个高度相似

Design B

  • ipSAE 0.69
  • 明确说明:
    • intended epitope
    • 为什么这个 interface 能满足 challenge
    • species-conserved residues
    • AF3/Boltz cross-validation
    • no liabilities
    • independent seeds replicate binding pose

我不会假设 A 一定会排在 B 前面。


Adaptyv repo 还有一个更直接的 clue

他们的 QC skill 明确引用了一个 binder benchmark,里面推荐的 ranking strategy 是:

先做 quality prefilter,然后按 AF3 ipSAE_min 排。

例如:

SC > 0.62 + binder RMSD < 3.73 Å → survivors → rank by ipSAE_min

或者使用组合项:

ipSAE_min × interface ΔG/dSASA

以及:

LIS × shape complementarity。GitHub

也就是说他们的 philosophy 明显已经从:

“哪个 ipSAE 最大?”

变成:

“这个东西结构可信吗?interface 合理吗?sequence 能做出来吗?满足 challenge 吗?然后在这些里面谁 binding prediction 最强?”


对这次比赛我会怎么准备

如果你明天开始设计,我会把你的 funnel 做成:

① Hard requirement → challenge-specific requirement 全满足

② Structural sanity → pLDDT / scRMSD / fold consistency

③ Binding → AF3/Boltz ipSAE_min → ipTM / interface PAE

④ Physical interface → SC → ΔG/dSASA → BUNS → interface area / contacts

⑤ Developability → hydrophobic patch → GRAVY → instability → cysteine → NXS/T → deamidation motifs → aggregation liabilities

⑥ Robustness → multiple seeds → ideally AF3 + Boltz/Chai agreement → same binding pose repeatedly出现

⑦ Diversity → 不要最后 15 个都是同一个 backbone 换 3 个 amino acids

⑧ Claude-readable rationale → 每个 final design 写清: why this epitope / why this sequence / why expected to satisfy the challenge / what evidence supports it

然后选一组,而不是单纯取 ipSAE top 15。


对你特别重要的一点

这次五个问题包括 species cross-reactivity、pH sensitivity、peptide-MHC specificity、GPCR 等,Anthropic 已经公开说这些是 deliberately chosen frontier problems。Anthropic

所以我怀疑 Claude workflow challenge-specific reasoning 的权重会很高。

例如 pH-sensitive binder:

不是 ipSAE 最高就够了,而更可能看:

pH 7.4 vs pH 5 的 predicted interaction difference + interface His placement + His environment/pKa plausibility + binding pose robustness + basic developability。

这正是 Claude 比一个固定 scoring function 更有价值的地方。

所以如果你问我最值得提前做什么,我反而会建议:

不要只把精力放在把 ipSAE 从 0.72 卷到 0.76;把“为什么这个 design 真正满足 challenge”做成机器也能读懂的一整套 evidence。

而且现在 Adaptyv 公开的 protein-design-skills 几乎就是一份 “Claude 会怎么看你的 design” 的 cheat sheet。GitHub

如果你愿意,我可以下一步把这个 repo 里面所有 QC/filter metrics + thresholds 都扒出来,给你整理成一张我们比赛时直接用的 submission filter table,尤其可以把 BindCraft2 → AF3 → Boltz2 → PyRosetta → developability → final 15 的具体 cutoff 定下来。

Adaptv Repo

我刚把 Adaptyv Bio 的 GitHub organization 重新扫了一遍。它现在有大约 21 个 public repos,但对这次 Anthropic × Adaptyv competition 真正值得看的是这些:

比赛前一定要看

Repo对这次比赛的价值我会拿它干什么
protein-design-skills⭐⭐⭐⭐⭐最重要。反推 Claude-based workflow
competition_metrics⭐⭐⭐⭐⭐看他们过去到底怎么算 selection metrics
egfr_competition_1⭐⭐⭐⭐⭐把 computational score 和真实 wet-lab success 对起来
egfr_competition_2⭐⭐⭐⭐⭐更成熟的一轮 competition,尤其值得重新分析
nipah_ipsae_pipeline⭐⭐⭐⭐⭐非常重要:最近一届 Nipah competition 的 ipSAE pipeline