Journal of Chemical Information and Modeling 2024

SES-Adapter

面向蛋白质语言模型的简洁、高效、可扩展结构感知适配器——序列化结构、跨模态注意力，更快微调并获得更强下游精度。

Yang Tan, Mingchen Li, Bingxin Zhou, Bozitao Zhong, Lirong Zheng, Pan Tan, Ziyi Zhou, Huiqun Yu, Guisheng Fan, Liang Hong

论文 代码
SES-Adapter：结构序列化与 PLM 跨模态注意力
SES-Adapter 通过跨模态注意力将序列化结构 token 注入 PLM，无需重设骨干网络。

方法

纯序列 PLM 迁移能力已很强，但定位、功能、溶解度、注释等标签仍常受益于三维上下文。 完整结构感知预训练代价高；重型融合架构也难跨异构 PLM 家族扩展。

SES-Adapter 将结构视为轻量适配器：保留冻结（或轻度更新）的 PLM，把几何信息序列化为并行 token 流，并在微调阶段用跨模态注意力混合结构与序列嵌入。

  1. 序列化局部结构上下文为离散结构 token（兼容多种结构分词器，含仓库中的 ESM3 路径）。
  2. 用 PLM 得到残基嵌入。
  3. 在结构 token 与 PLM 状态间做跨模态注意力，使几何引导下游头表征。

结果

评测覆盖 9 个 PLM（含 ESM2、ProtBert、ProtT5、Ankh 等）× 9 个数据集 × 4 类任务：定位、功能、溶解度、注释。

相对普通 PLM 微调，SES-Adapter 下游性能最高提升 +11%（平均 +3%）， 训练加速最高 +1034%（平均 +362%），收敛约快 2×。

使用

tyang816/SES-Adapter 提供数据集配置、训练脚本与指标（accuracy、F1、MCC、AUROC、Spearman、多标签 f1_max）。 将 JSON/CSV 指向划分或 Hugging Face 数据集 id，选择骨干后运行 train.py。 硬件上 24 GB GPU（如 RTX 3090）为实用基线；显存主要随所选 PLM 规模变化。

引用

若使用 SES-Adapter，请引用：

@article{tan2024ses-adapter,
  title={Simple, Efficient, and Scalable Structure-Aware Adapter Boosts Protein Language Models},
  author={Tan, Yang and Li, Mingchen and Zhou, Bingxin and Zhong, Bozitao and Zheng, Lirong and Tan, Pan and Zhou, Ziyi and Yu, Huiqun and Fan, Guisheng and Hong, Liang},
  journal={Journal of Chemical Information and Modeling},
  volume={64},
  number={16},
  pages={6338-6349},
  year={2024},
  publisher={American Chemical Society},
  doi={10.1021/acs.jcim.4c00689}
}