论文笔记
生物信息
蛋白质模型、分子设计与生物医学 AI
语言与智能体
大语言模型、科学智能体与语言工具
计算机视觉
视频理解与多模态视觉语言模型
机器学习
表征学习、图学习与通用机器学习
软件工程
代码模型、摘要与程序分析
信息检索
搜索、推荐与神经索引
系统
分布式系统与机器学习系统
2014
2015
2016
2017
IJCNLP-2017 面向自动代码文档与代码生成的 Python 函数-文档字符串平行语料
2017-11-02 · code-generation, code-documentation
ICML-2017 模型无关元学习实现深度网络快速适配（MAML）
2017-07-18 · meta-learning
Bioinformatics-2017 DeepLoc：基于深度学习的蛋白质亚细胞定位预测
2017-07-07 · protein, subcellular localization
CVPR-2017 动作识别路在何方？新模型与 Kinetics 数据集
2017-05-22 · vision-language, video, action-recognition
AAAI-2017 SeqGAN：基于策略梯度的序列生成对抗网络
2017-02-04 · LLM, NLP
2018
OpenAI-2018 生成式预训练改进语言理解（GPT）
2018-11-21 · LLM, NLP
ACL-2018 改进文本摘要的抽象生成能力
2018-10-23 · NLP
ICLR-2019 Graph2Seq：基于注意力神经网络的图到序列学习
2018-09-28 · NLP, GNN
DeepMind-2018 基于对比预测编码的表示学习（CPC）
2018-07-10 · vision-language, contrastive-learning
ICPC-2018 深度代码注释生成
2018-05-28 · code-comment
ICSE-2018 深度代码搜索
2018-05-27 · code-search
CVPR-2018 基于非参数实例级判别的无监督特征学习
2018-05-01 · unsupervised-learning, contrastive-learning
CVPR-2018 非局部神经网络
2018-04-13 · convolutional-neural-network
CVPR-2018 深入审视动作识别中的时空卷积
2018-04-12 · video, action-recognition
AAAI-2018 用于生成式文本摘要的生成对抗网络
2018-02-02 · NLP
2019
NeurIPS-2019 GPipe：基于流水线并行的高效巨型神经网络训练
2019-12-06 · pipeline-parallelism
ICCV-2019 用于视频识别的 SlowFast 网络
2019-10-29 · vision-language, contrastive-learning
IJCAI-2019 面向源代码变更的提交信息生成
2019-08-10 · code-understanding
ACL-2019 多任务学习提升神经机器翻译鲁棒性
2019-08-01 · LLM, NLP
arXiv-2019 RoBERTa：稳健优化的 BERT 预训练方法
2019-07-26 · LLM, NLP
KDD-2019 MeLU：面向冷启动推荐的元学习用户偏好估计器
2019-07-25 · meta-learning, recommendation-system
OpenAI-2019 语言模型是无监督多任务学习者（GPT-2）
2019-07-06 · LLM, NLP
ICSE-2019 生成程序子例程自然语言摘要的神经模型
2019-05-25 · code-summarization
ICSE-2019 基于抽象语法树的新型神经源代码表示
2019-05-25 · GNN, code-summarization
arXiv-2019 面向自然语言理解与生成的统一语言模型预训练
2019-05-08 · LLM, NLP, transformer
CVPR-2019 基于不变性与分散性实例特征的无监督嵌入学习
2019-04-03 · unsupervised-learning
ICML-2019 NLP 的参数高效迁移学习
2019-02-02 · LLM, NLP
ACS Synthetic Biology-2019 机器学习预测微生物生长温度与酶催化最适条件
2019-01-21 · protein, PLM
NeurIPS-2019 用 TAPE 评估蛋白质迁移学习
2019-01-19 · protein, PLM, benchmark
2020
ECCV-2020 CMC：对比多视图编码
2020-12-18 · contrastive-learning
NeurIPS-2020 大型自监督模型是强大的半监督学习者
2020-12-06 · semi-supervised learning
NeurIPS-2020 自举潜在表示：自监督学习新方法（BYOL）
2020-12-06 · self-supervised learning
NeurIPS-2020 基于数据增强的图对比学习
2020-12-06 · contrastive-learning, GNN
NeurIPS-2020 通过对比簇分配的无监督视觉特征学习（SwAV）
2020-12-01 · unsupervised-learning, contrastive-learning
MSR-2020 利用文件上下文注意力改进子例程自动摘要
2020-11-18 · code-summarization
SC-2020 ZeRO：面向万亿参数模型训练的内存优化
2020-11-09 · distributed-dataflow
arXiv-2020 BYOL 无需批统计依然有效
2020-10-20 · vision-language, transformer, contrastive-learning
KDD-2020 GCC：图神经网络预训练的图对比编码
2020-08-20 · contrastive-learning, GNN
SIGIR-2020 如何重训推荐系统？一种序列元学习方法
2020-07-25 · meta-learning, recommendation-system
ACL-2020 对比代码表示学习
2020-07-25 · code-understanding, contrastive-learning
NeurIPS-2020 深度图对比表示学习
2020-07-13 · contrastive-learning, GNN
ICML-2020 基于图的、从诊断反馈中自监督学习的程序修复
2020-07-13 · program-repair, GNN
arXiv-2020 神经子图匹配
2020-07-03 · GNN
ICML-2020 视觉表示对比学习的简单框架（SimCLR）
2020-07-01 · contrastive-learning
ICML-2020 图上的对比多视图表示学习
2020-06-13 · contrastive-learning, GNN
ECCV-2020 基于 Transformer 的端到端目标检测（DETR）
2020-05-28 · transformer, object-detection
OpenAI-2020 语言模型是少样本学习者（GPT-3）
2020-05-14 · LLM, NLP
ACL-2020 基于 Transformer 的源代码摘要方法
2020-05-01 · code-summarization, transformer
ICLR-2020 DivideMix：将噪声标签学习视为半监督学习
2020-04-26 · noisy label, semi-supervised, GMM, MixMatch
Transactions on Neural Networks and Learning Systems-2020 图神经网络综合综述
2020-03-24 · GNN
CVPR-2020 用于无监督视觉表示学习的动量对比（MoCo）
2020-03-23 · vision-language, contrastive-learning
GTC-2020 Megatron-LM：基于模型并行训练百亿参数语言模型
2020-03-13 · model-parallelism
2021
Human Genetics-2021 蛋白质语言模型嵌入预测保守性与变异效应
2021-12-30 · protein, PLM, fitness-prediction
KDD-2021 基于大规模预训练语言模型的蛋白质建模
2021-12-07 · protein, PLM
NeurIPS-2021 VLMo：基于模态专家混合的统一视觉-语言预训练
2021-12-01 · vision-language, contrastive-learning, transformer
NeurIPS-2021 视觉 Transformer 的有趣特性
2021-11-25 · vision-language, transformer
NeurIPS-2021 语言模型实现突变对蛋白质功能影响的零样本预测
2021-11-10 · protein, PLM, fitness-prediction
NeurIPS-2021 先对齐后融合：基于动量蒸馏的视觉-语言表示学习（ALBEF）
2021-11-10 · vision-language
Bioinformatics Advances-2021 轻量注意力从生命语言中预测蛋白质定位
2021-11-09 · protein, localization, PLM
CVPR-2021 掩码自编码器是可扩展的视觉学习者（MAE）
2021-11-06 · vision-language, Transformer
EMNLP-2021 重新思考低资源神经机器翻译的数据增强：多任务学习方法
2021-11-01 · LLM, NLP
NeurIPS-2021 FLIP：蛋白质适应度景观推断基准任务
2021-10-11 · protein, benchmark
arXiv-2021 ActionCLIP：视频动作识别新范式
2021-09-17 · video, action-recognition, contrastive-learning
ICLR-2021 GraphCodeBERT：基于数据流的代码表示预训练
2021-09-13 · code-understanding, transformer, GNN
EMNLP-2021 CodeT5：标识符感知的代码理解与生成统一预训练编码器-解码器模型
2021-09-02 · code-understanding, transformer
bioRxiv-2021 面向蛋白质设计的更通用嵌入：融合序列与结构的联合表示
2021-09-01 · protein, PLM, fitness-prediction
ICCV-2021 Swin Transformer：基于移位窗口的层次化视觉 Transformer
2021-08-17 · vision-language, transformer
ACL-2021 学习序列与结构信息用于源代码摘要
2021-08-10 · Transformer, GNN
ICSME-2021 子例程神经源代码摘要的集成模型
2021-07-23 · code-summarization
IJCAI-2021 计算笔记本中图增强的代码摘要
2021-07-23 · code-summarization, GNN
Nature-2021 AlphaFold：高精度蛋白质结构预测
2021-07-15 · protein, PLM, structure prediction
OpenAI-2021 评估代码上训练的大语言模型（Codex）
2021-07-14 · LLM, code-generation
arXiv-2021 CLIP 能为视觉-语言任务带来多大收益
2021-07-06 · vision-language, contrastive-learning
IEEE Transactions on Pattern Analysis and Machine Intelligence-2021 ProtTrans：通过自监督学习破译生命密码的语言
2021-07-01 · protein, PLM, transformer, self-supervised
ICML-2021 Perceiver：基于迭代注意力的通用感知
2021-06-23 · vision-language
arXiv-2021 CLIP4Clip：CLIP 端到端视频片段检索的实证研究
2021-05-08 · Video, Contrastive Learning
Proceedings of the National Academy of Sciences-2021 无监督学习扩展至 2.5 亿条蛋白质序列涌现生物结构与功能
2021-04-05 · protein, PLM
ICCV-2021 自监督视觉 Transformer 训练的实证研究
2021-04-05 · vision-language
ICPC-2021 基于多模态 Transformer 的智能合约代码摘要方法
2021-03-12 · transformer, code-summarization
ICML-2021 从自然语言监督中学习可迁移视觉模型（CLIP）
2021-02-26 · vision-language, contrastive-learning
ICML-2021 E(n) 等变图神经网络
2021-02-19 · GNN
ICML-2021 MSA Transformer
2021-02-13 · protein, PLM
ICML-2021 ViLT：无卷积无区域监督的视觉-语言 Transformer
2021-02-05 · vision-language, contrastive-learning, transformer
Bioinformatics-2021 DNABERT：面向基因组 DNA 语言的预训练双向 Transformer 编码模型
2021-02-04 · DNA, genomics, PLM
ICML-2021 从数百万预测结构中学习逆折叠
2021-02-02 · protein, inverse folding, PLM, GNN
Automated Software Engineering-2021 自动化即时注释更新
2021-01-27 · code-summarization
GCPR-2021 AudioCLIP：将 CLIP 扩展至图像、文本与音频
2021-01-24 · vision-language, transformer, contrastive-learning
ICLR-2021 用几何向量感知机从蛋白质结构中学习
2021-01-13 · protein, GNN, inverse folding
ICLR-2021 预训练语言模型微调的有监督对比学习
2021-01-13 · LLM, NLP
ICLR-2021 一张图抵 16x16 个词：大规模图像识别的 Transformer（ViT）
2021-01-13 · vision-language, transformer
ICML-2021 时空注意力是视频理解所需的一切吗
2021-01-09 · video, vision-language, transformer
ACL-2021 基于结构诱导 Transformer 的代码摘要
2021-01-01 · code-summarization, transformer
2022
NeurIPS-2022 PEER：蛋白质序列理解的综合多任务基准
2022-12-01 · protein, benchmark, PLM
bioRxiv-2022 基于结构图嵌入的快速蛋白质结构搜索
2022-11-28 · protein, PLM, alignment
NeurIPS-2022 Transformer 记忆作为可微搜索索引
2022-11-28 · transformer
EMNLP-2021 HAConvGNN：基于层次注意力的卷积图神经网络用于 Jupyter 笔记本代码文档生成
2022-11-10 · code-documentation, GNN
arXiv-2022 语言模型的整体评估（HELM）
2022-11-09 · LLM, NLP
NeurIPS-2022 基于扩散生成模型的抗原特异性抗体设计与优化
2022-11-01 · protein, antibody, diffusion, GNN
NeurIPS-2022 用于文档检索的神经语料索引器
2022-11-01 · document-retrieval
PEDS-2022 用于蛋白质表示学习的掩码逆折叠与序列迁移
2022-10-26 · protein, PLM
ICPC-2022 HELoC：源代码表示的层次化对比学习
2022-10-20 · contrastive-learning, GNN
MM-2022 语言能理解深度吗
2022-10-10 · vision-language, contrastive-learning
OpenAI-2022 基于大规模弱监督的鲁棒语音识别（Whisper）
2022-10-06 · speech-recognition, transformer
Nature Biotechnology-2022 基于语言模型与深度学习的单序列蛋白质结构预测
2022-10-03 · protein, PLM, structure prediction
EMNLP-2020 CodeBERT：面向编程语言与自然语言的预训练模型
2022-09-18 · code-understanding, transformer
NeurIPS-2022 CoCa：对比字幕器即图像-文本基础模型
2022-08-27 · vision-language, contrastive-learning
NAACL-2022 MoEBERT：基于重要性引导适配从 BERT 到混合专家模型
2022-07-29 · LLM, NLP
SIGGRAPH-2022 CLIPasso：语义感知的目标素描
2022-07-22 · contrastive-learning
CVPR-2022 GroupViT：文本监督下涌现的语义分割
2022-07-18 · video, vision-language
ECCV-2022 CDS：对比深度监督
2022-07-12 · contrastive-learning
ICSE-2022 AST-trans：基于高效树结构注意力的代码摘要
2022-07-05 · code-summarization
ICSE-2022 基于少样本元学习的跨领域深度代码搜索
2022-07-05 · code-search, meta-learning
AAAI-2022 用于语法感知摘要的层次化异构图注意力网络
2022-06-28 · code-summarization, GNN
CVPR-2022 PointCLIP：用 CLIP 理解点云
2022-06-23 · vision-language, contrastive-learning
arXiv-2022 从小型本地数据集学习代码摘要
2022-06-08 · Transformer, GNN
arXiv-2022 GLIPv2：统一定位与视觉-语言理解
2022-06-05 · vision-language, contrastive-learning, object-detection
Journal of Systems and Software-2022 基于图注意力网络的自动源代码摘要
2022-06-01 · code-summarization, GNN
ICML-2022 Tranception：结合自回归 Transformer 与推理时检索的蛋白质适应度预测
2022-05-27 · protein, PLM, fitness-prediction
ICML-2016 用于源代码极致摘要的卷积注意力网络
2022-05-25 · convolutional-neural-network, code-summarization
ACL-2022 评估方法对代码摘要的影响
2022-05-20 · code-summarization
NAACL-2022 CODE-MVP：基于对比预训练的多视图源代码表示学习
2022-05-04 · code-summarization, transformer, contrastive-learning
arXiv-2022 结构代码理解的深度学习模型综述
2022-05-01 · code-understanding
NAR-2022 DeepLoc 2.0：基于蛋白质语言模型的多标签亚细胞定位预测
2022-04-30 · protein, localization, PLM
arXiv-2022 基于人类反馈强化学习训练有益且无害的助手
2022-04-16 · LLM, NLP, transformer
OpenAI-2022 基于 CLIP 潜在表示的层次化文本条件图像生成（DALL·E 2）
2022-04-13 · vision-language, contrastive-learning
MLSys-2022 Pathways：面向机器学习的异步分布式数据流
2022-03-23 · distributed-dataflow
Nature Machine Intelligence-2022 用语言模型学习蛋白质功能特性
2022-03-21 · protein, PLM, functional prediction
OpenAI-2022 基于人类反馈训练遵循指令的语言模型（InstructGPT）
2022-03-16 · LLM, NLP, transformer
DeepMind-2022 AlphaCode：竞赛级代码生成
2022-03-07 · code-generation
Stanford-2022 AI 指数报告
2022-03-02 · other
Frontiers in Microbiology-2022 iThermo：基于多特征融合策略的嗜热蛋白序列识别模型
2022-02-22 · protein
ICLR-2022 用于抗体序列-结构协同设计的迭代优化图神经网络
2022-01-29 · protein, antibody, GNN
ICLR-2022 OntoProtein：融合基因本体嵌入的蛋白质预训练
2022-01-29 · protein, PLM
ICLR-2022 LoRA：大语言模型的低秩适配
2022-01-29 · LLM, NLP
ICLR-2022 基于视觉-语言知识蒸馏的开放词汇目标检测
2022-01-29 · vision-language, contrastive-learning, object-detection
ICLR-2022 Perceiver IO：结构化输入输出的通用架构
2022-01-29 · vision-language
NeurIPS-2022 思维链提示激发大语言模型推理能力
2022-01-28 · LLM, NLP
ICML-2022 BLIP：自举语言-图像预训练实现统一视觉-语言理解与生成
2022-01-24 · vision-language, transformer, contrastive-learning
Nature Biotechnology-2022 从进化数据与实验标注数据中学习蛋白质适应度模型
2022-01-17 · protein, PLM, fitness-prediction
CVPR-2022 定位式语言-图像预训练（GLIP）
2022-01-17 · LLM, NLP, vision-language
Journal of Machine Learning Research-2022 Switch Transformer：以简单高效稀疏性扩展至万亿参数模型
2022-01-16 · LLM, NLP, transformer
ICLR-2022 语言驱动的语义分割
2022-01-10 · LLM, NLP, vision-language
ACM Computing Surveys-2022 推荐系统中的深度元学习综述
2022-01-09 · meta-learning, recommendation-system
2023
bioRxiv-2023 IgDesign：逆折叠实现多治疗抗原的体外验证抗体设计
2023-12-08 · protein, antibody, inverse folding, protein-design
bioRxiv-2023 用语言模型学习蛋白质序列、结构与功能表示
2023-11-26 · protein, PLM, function, MOE
Nature Biotechnology-2023 基于深度学习的蛋白质远程同源检测与结构比对
2023-11-07 · protein, homology
NeurIPS-2023 PoET：将蛋白质家族建模为序列之序列的生成模型
2023-11-01 · protein, PLM, fitness-prediction
EMNLP-2023 BioPlanner：自动评估 LLM 的生物学实验方案规划能力
2023-10-08 · Agent，LLM
NeurIPS-2023 ProteinGym：蛋白质设计与适应度预测的大规模基准
2023-09-30 · protein, PLM, benchmark
NeurIPS-2023 预测蛋白质在百万级突变下的稳定性
2023-09-22 · protein, fitness-prediction
bioRxiv-2023 进化扩散生成蛋白质：序列即一切
2023-09-11 · protein, PLM, protein-design
KDD-2023 面向抗原特异性计算抗体设计的抗体语言模型预训练
2023-08-04 · protein, antibody, GNN, PLM
ICML-2023 端到端全原子抗体设计
2023-06-15 · protein, antibody, GNN
Nature Machine Intelligence-2023 面向可泛化表示学习的结构诱导预训练
2023-06-01 · pre-training, PLM
Nature Biotechnology-2023 Foldseek：快速准确的蛋白质结构搜索
2023-05-08 · protein, alignment
Science-2023 语言模型实现进化尺度的原子级蛋白质结构预测
2023-03-16 · protein, PLM, structure prediction
Bioinformatics-2023 通过学习残基简洁局部环境实现准确高效的蛋白质序列设计
2023-03-14 · protein, protein-design, GNN, PLM
CVPR-2020 动量对比学习的改进基线（MoCo v2）
2023-03-09 · vision-language
ICLRw-2023 基于结构编码器与预训练增强蛋白质语言模型
2023-03-06 · PLM, GNN
ICML-2023 结构信息语言模型即蛋白质设计者
2023-02-09 · protein, PLM, protein-design
ICLR-2023 AIM：适配图像模型实现高效视频动作识别
2023-02-06 · video, action-recognition
ICLR-2023 基于 3D 等变图翻译的条件抗体设计
2023-02-02 · protein, antibody, GNN
International Journal of Molecular Sciences-2023 DeepTP：嗜热蛋白预测的深度学习模型
2023-01-22 · protein
bioRxiv-2023 Ankh：优化的蛋白质语言模型解锁通用建模
2023-01-16 · protein, PLM, language-model
CVPR-2023 图像即外语：BEiT 预训练统一视觉与视觉-语言任务
2023-01-15 · vision-language
WACV-2023 MixGen：新型多模态数据增强
2023-01-09 · vision-language, data-augmentation
bioRxiv-2023 当几何深度学习遇见预训练蛋白质语言模型
2023-01-05 · protein, PLM, GNN
2024
PLOS Computational Biology-2024 大规模配对抗体语言模型
2024-12-06 · protein, antibody, PLM
bioRxiv-2024 混合专家模型实现高效蛋白质理解与设计
2024-11-29 · protein, language-model
Bioinformatics-2024 专家引导的蛋白质语言模型实现准确且极速的适应度预测
2024-11-22 · protein, fitness-prediction, PLM
Nature Communications-2024 蛋白质序列-结构联合嵌入实现稳健的变异效应预测
2024-11-07 · protein, fitness-prediction, PLM
arXiv-2024 Movie Gen：媒体基础模型家族
2024-10-24 · video-generation
Nature Computational Science-2025 几何学习与预训练策略改进蛋白质突变稳定性预测
2024-10-03 · GNN, protein, fitness-prediction
NeurIPS-2024 面向蛋白质适应度预测的多尺度表示学习
2024-09-26 · GNN, protein, fitness-prediction
Nature Biotechnology-2024 基于 RoseTTAFold 序列空间扩散的多态与功能蛋白质设计
2024-09-25 · protein, diffusion, protein-design
ACL Demo-2024 LlamaFactory：100+ 语言模型的统一高效微调
2024-08-23 · LLM, NLP
ICML-2024 特征复用与扩展：理解蛋白质语言模型的迁移学习
2024-06-21 · protein, PLM, transfer learning
Nature Communications-2024 PLMSearch：蛋白质语言模型驱动准确快速的远程同源序列搜索
2024-03-30 · protein, PLM, alignment
Cell Systems-2024 卷积在蛋白质序列预训练中可与 Transformer 媲美
2024-03-20 · protein, PLM, CNN, transformer
eLife-2024 基于蛋白质语言模型局部位置嵌入比对的灵敏远程同源搜索
2024-03-15 · protein, homology, PLM
AAAI-2024 T2I-Adapter：学习适配器挖掘文生图扩散模型的可控能力
2024-02-20 · vision-language, diffusion
Journal of Chemical Information and Modeling-2024 TM-search：高效准确的蛋白质结构数据库搜索工具
2024-01-25 · protein, structure search
ICLR-2024 SaProt：结构感知词表的蛋白质语言建模
2024-01-16 · protein, PLM
Bioinformatics-2024 基于嵌入的比对：蛋白质语言模型结合动态规划检测暮光区结构相似性
2024-01-04 · protein, PLM, alignment
2025
arXiv-2025 评估大语言模型在科学发现中的能力
2025-12-17 · Agent, LLM, NLP
NeurIPS-2025 AI-Researcher：自主科学创新
2025-12-08 · Agent, NLP, LLM
EMNLP-2025 从自动化到自主：大语言模型在科学发现中的综述
2025-11-04 · Agent, NLP, LLM
Nature Biotechnology-2025 蛋白质语言模型训练、共享与协作的民主化
2025-10-24 · protein
ACEBench：谁赢得工具使用的赛点
2025-09-08 · Agent, LLM, NLP
Genome Biology-2025 评估预训练 DNA 语言模型在调控基因组学中的表示能力
2025-06-14 · DNA, genomics, PLM
ICMLw-2025 ProteinCrow：能设计蛋白质的语言模型智能体
2025-05-01 · protein, Agent
arXiv-2025 规模化解锁更广泛的蛋白质生成与更深入的功能理解
2025-04-15 · GNN, protein, protein-design, transformer
arXiv-2025 AI Scientist-v2：基于智能体树搜索的研讨会级自动科学发现
2025-04-10 · Agent, LLM, NLP
arXiv-2025 Prot42：面向靶点感知蛋白质结合体生成的新型蛋白质语言模型家族
2025-04-06 · GNN, protein, protein-design
COLING-2025 AutoProteinEngine：LLM 驱动的蛋白质工程多模态 AutoML 智能体框架
2025-01-24 · protein, Agent
Nature Computational Science-2025 SciToolAgent：知识图谱驱动的多工具集成科学智能体
2025-01-24 · Agent, LLM
ICLR-2025 Boltzmann 对齐逆折叠模型预测突变对蛋白质相互作用的影响
2025-01-23 · protein, fitness-prediction, PPI
ICLR-2025 检索增强扩散模型用于结构信息抗体设计与优化
2025-01-23 · GNN, antibody
ICLR-2025 ToolACE：赢得 LLM 函数调用的关键分
2025-01-23 · LLM, NLP, Agent
Science-2025 用语言模型模拟 5 亿年进化
2025-01-16 · protein, evolution, PLM, generative