论文笔记
分类 全部
期刊/会议 全部
年份 全部年份
生物信息
蛋白质模型、分子设计与生物医学 AI
语言与智能体
大语言模型、科学智能体与语言工具
计算机视觉
视频理解与多模态视觉语言模型
机器学习
表征学习、图学习与通用机器学习
软件工程
代码模型、摘要与程序分析
信息检索
搜索、推荐与神经索引
系统
分布式系统与机器学习系统
2017
2018
2019
NeurIPS-2019 GPipe:基于流水线并行的高效巨型神经网络训练
ICCV-2019 用于视频识别的 SlowFast 网络
IJCAI-2019 面向源代码变更的提交信息生成
ACL-2019 多任务学习提升神经机器翻译鲁棒性
arXiv-2019 RoBERTa:稳健优化的 BERT 预训练方法
KDD-2019 MeLU:面向冷启动推荐的元学习用户偏好估计器
OpenAI-2019 语言模型是无监督多任务学习者(GPT-2)
ICSE-2019 生成程序子例程自然语言摘要的神经模型
ICSE-2019 基于抽象语法树的新型神经源代码表示
arXiv-2019 面向自然语言理解与生成的统一语言模型预训练
CVPR-2019 基于不变性与分散性实例特征的无监督嵌入学习
ICML-2019 NLP 的参数高效迁移学习
ACS Synthetic Biology-2019 机器学习预测微生物生长温度与酶催化最适条件
NeurIPS-2019 用 TAPE 评估蛋白质迁移学习
2020
ECCV-2020 CMC:对比多视图编码
NeurIPS-2020 大型自监督模型是强大的半监督学习者
NeurIPS-2020 自举潜在表示:自监督学习新方法(BYOL)
NeurIPS-2020 基于数据增强的图对比学习
NeurIPS-2020 通过对比簇分配的无监督视觉特征学习(SwAV)
MSR-2020 利用文件上下文注意力改进子例程自动摘要
SC-2020 ZeRO:面向万亿参数模型训练的内存优化
arXiv-2020 BYOL 无需批统计依然有效
KDD-2020 GCC:图神经网络预训练的图对比编码
SIGIR-2020 如何重训推荐系统?一种序列元学习方法
ACL-2020 对比代码表示学习
NeurIPS-2020 深度图对比表示学习
ICML-2020 基于图的、从诊断反馈中自监督学习的程序修复
arXiv-2020 神经子图匹配
ICML-2020 视觉表示对比学习的简单框架(SimCLR)
ICML-2020 图上的对比多视图表示学习
ECCV-2020 基于 Transformer 的端到端目标检测(DETR)
OpenAI-2020 语言模型是少样本学习者(GPT-3)
ACL-2020 基于 Transformer 的源代码摘要方法
ICLR-2020 DivideMix:将噪声标签学习视为半监督学习
Transactions on Neural Networks and Learning Systems-2020 图神经网络综合综述
CVPR-2020 用于无监督视觉表示学习的动量对比(MoCo)
GTC-2020 Megatron-LM:基于模型并行训练百亿参数语言模型
2021
Human Genetics-2021 蛋白质语言模型嵌入预测保守性与变异效应
KDD-2021 基于大规模预训练语言模型的蛋白质建模
NeurIPS-2021 VLMo:基于模态专家混合的统一视觉-语言预训练
NeurIPS-2021 视觉 Transformer 的有趣特性
NeurIPS-2021 语言模型实现突变对蛋白质功能影响的零样本预测
NeurIPS-2021 先对齐后融合:基于动量蒸馏的视觉-语言表示学习(ALBEF)
Bioinformatics Advances-2021 轻量注意力从生命语言中预测蛋白质定位
CVPR-2021 掩码自编码器是可扩展的视觉学习者(MAE)
EMNLP-2021 重新思考低资源神经机器翻译的数据增强:多任务学习方法
NeurIPS-2021 FLIP:蛋白质适应度景观推断基准任务
arXiv-2021 ActionCLIP:视频动作识别新范式
ICLR-2021 GraphCodeBERT:基于数据流的代码表示预训练
EMNLP-2021 CodeT5:标识符感知的代码理解与生成统一预训练编码器-解码器模型
bioRxiv-2021 面向蛋白质设计的更通用嵌入:融合序列与结构的联合表示
ICCV-2021 Swin Transformer:基于移位窗口的层次化视觉 Transformer
ACL-2021 学习序列与结构信息用于源代码摘要
ICSME-2021 子例程神经源代码摘要的集成模型
IJCAI-2021 计算笔记本中图增强的代码摘要
Nature-2021 AlphaFold:高精度蛋白质结构预测
OpenAI-2021 评估代码上训练的大语言模型(Codex)
arXiv-2021 CLIP 能为视觉-语言任务带来多大收益
IEEE Transactions on Pattern Analysis and Machine Intelligence-2021 ProtTrans:通过自监督学习破译生命密码的语言
ICML-2021 Perceiver:基于迭代注意力的通用感知
arXiv-2021 CLIP4Clip:CLIP 端到端视频片段检索的实证研究
Proceedings of the National Academy of Sciences-2021 无监督学习扩展至 2.5 亿条蛋白质序列涌现生物结构与功能
ICCV-2021 自监督视觉 Transformer 训练的实证研究
ICPC-2021 基于多模态 Transformer 的智能合约代码摘要方法
ICML-2021 从自然语言监督中学习可迁移视觉模型(CLIP)
ICML-2021 E(n) 等变图神经网络
ICML-2021 MSA Transformer
ICML-2021 ViLT:无卷积无区域监督的视觉-语言 Transformer
Bioinformatics-2021 DNABERT:面向基因组 DNA 语言的预训练双向 Transformer 编码模型
ICML-2021 从数百万预测结构中学习逆折叠
Automated Software Engineering-2021 自动化即时注释更新
GCPR-2021 AudioCLIP:将 CLIP 扩展至图像、文本与音频
ICLR-2021 用几何向量感知机从蛋白质结构中学习
ICLR-2021 预训练语言模型微调的有监督对比学习
ICLR-2021 一张图抵 16x16 个词:大规模图像识别的 Transformer(ViT)
ICML-2021 时空注意力是视频理解所需的一切吗
ACL-2021 基于结构诱导 Transformer 的代码摘要
2022
NeurIPS-2022 PEER:蛋白质序列理解的综合多任务基准
bioRxiv-2022 基于结构图嵌入的快速蛋白质结构搜索
NeurIPS-2022 Transformer 记忆作为可微搜索索引
EMNLP-2021 HAConvGNN:基于层次注意力的卷积图神经网络用于 Jupyter 笔记本代码文档生成
arXiv-2022 语言模型的整体评估(HELM)
NeurIPS-2022 基于扩散生成模型的抗原特异性抗体设计与优化
NeurIPS-2022 用于文档检索的神经语料索引器
PEDS-2022 用于蛋白质表示学习的掩码逆折叠与序列迁移
ICPC-2022 HELoC:源代码表示的层次化对比学习
MM-2022 语言能理解深度吗
OpenAI-2022 基于大规模弱监督的鲁棒语音识别(Whisper)
Nature Biotechnology-2022 基于语言模型与深度学习的单序列蛋白质结构预测
EMNLP-2020 CodeBERT:面向编程语言与自然语言的预训练模型
NeurIPS-2022 CoCa:对比字幕器即图像-文本基础模型
NAACL-2022 MoEBERT:基于重要性引导适配从 BERT 到混合专家模型
SIGGRAPH-2022 CLIPasso:语义感知的目标素描
CVPR-2022 GroupViT:文本监督下涌现的语义分割
ECCV-2022 CDS:对比深度监督
ICSE-2022 AST-trans:基于高效树结构注意力的代码摘要
ICSE-2022 基于少样本元学习的跨领域深度代码搜索
AAAI-2022 用于语法感知摘要的层次化异构图注意力网络
CVPR-2022 PointCLIP:用 CLIP 理解点云
arXiv-2022 从小型本地数据集学习代码摘要
arXiv-2022 GLIPv2:统一定位与视觉-语言理解
Journal of Systems and Software-2022 基于图注意力网络的自动源代码摘要
ICML-2022 Tranception:结合自回归 Transformer 与推理时检索的蛋白质适应度预测
ICML-2016 用于源代码极致摘要的卷积注意力网络
ACL-2022 评估方法对代码摘要的影响
NAACL-2022 CODE-MVP:基于对比预训练的多视图源代码表示学习
arXiv-2022 结构代码理解的深度学习模型综述
NAR-2022 DeepLoc 2.0:基于蛋白质语言模型的多标签亚细胞定位预测
arXiv-2022 基于人类反馈强化学习训练有益且无害的助手
OpenAI-2022 基于 CLIP 潜在表示的层次化文本条件图像生成(DALL·E 2)
MLSys-2022 Pathways:面向机器学习的异步分布式数据流
Nature Machine Intelligence-2022 用语言模型学习蛋白质功能特性
OpenAI-2022 基于人类反馈训练遵循指令的语言模型(InstructGPT)
DeepMind-2022 AlphaCode:竞赛级代码生成
Stanford-2022 AI 指数报告
报告地址:AI Index Report,数据大多来源于paper with code 因为涉及图片太多了,这里就不一一截取了
Frontiers in Microbiology-2022 iThermo:基于多特征融合策略的嗜热蛋白序列识别模型
ICLR-2022 用于抗体序列-结构协同设计的迭代优化图神经网络
ICLR-2022 OntoProtein:融合基因本体嵌入的蛋白质预训练
ICLR-2022 LoRA:大语言模型的低秩适配
ICLR-2022 基于视觉-语言知识蒸馏的开放词汇目标检测
ICLR-2022 Perceiver IO:结构化输入输出的通用架构
NeurIPS-2022 思维链提示激发大语言模型推理能力
ICML-2022 BLIP:自举语言-图像预训练实现统一视觉-语言理解与生成
Nature Biotechnology-2022 从进化数据与实验标注数据中学习蛋白质适应度模型
CVPR-2022 定位式语言-图像预训练(GLIP)
Journal of Machine Learning Research-2022 Switch Transformer:以简单高效稀疏性扩展至万亿参数模型
ICLR-2022 语言驱动的语义分割
ACM Computing Surveys-2022 推荐系统中的深度元学习综述
2023
bioRxiv-2023 IgDesign:逆折叠实现多治疗抗原的体外验证抗体设计
bioRxiv-2023 用语言模型学习蛋白质序列、结构与功能表示
Nature Biotechnology-2023 基于深度学习的蛋白质远程同源检测与结构比对
NeurIPS-2023 PoET:将蛋白质家族建模为序列之序列的生成模型
EMNLP-2023 BioPlanner:自动评估 LLM 的生物学实验方案规划能力
NeurIPS-2023 ProteinGym:蛋白质设计与适应度预测的大规模基准
NeurIPS-2023 预测蛋白质在百万级突变下的稳定性
bioRxiv-2023 进化扩散生成蛋白质:序列即一切
KDD-2023 面向抗原特异性计算抗体设计的抗体语言模型预训练
ICML-2023 端到端全原子抗体设计
Nature Machine Intelligence-2023 面向可泛化表示学习的结构诱导预训练
Nature Biotechnology-2023 Foldseek:快速准确的蛋白质结构搜索
Science-2023 语言模型实现进化尺度的原子级蛋白质结构预测
Bioinformatics-2023 通过学习残基简洁局部环境实现准确高效的蛋白质序列设计
CVPR-2020 动量对比学习的改进基线(MoCo v2)
ICLRw-2023 基于结构编码器与预训练增强蛋白质语言模型
ICML-2023 结构信息语言模型即蛋白质设计者
ICLR-2023 AIM:适配图像模型实现高效视频动作识别
ICLR-2023 基于 3D 等变图翻译的条件抗体设计
International Journal of Molecular Sciences-2023 DeepTP:嗜热蛋白预测的深度学习模型
bioRxiv-2023 Ankh:优化的蛋白质语言模型解锁通用建模
CVPR-2023 图像即外语:BEiT 预训练统一视觉与视觉-语言任务
WACV-2023 MixGen:新型多模态数据增强
bioRxiv-2023 当几何深度学习遇见预训练蛋白质语言模型
2024
PLOS Computational Biology-2024 大规模配对抗体语言模型
bioRxiv-2024 混合专家模型实现高效蛋白质理解与设计
Bioinformatics-2024 专家引导的蛋白质语言模型实现准确且极速的适应度预测
Nature Communications-2024 蛋白质序列-结构联合嵌入实现稳健的变异效应预测
arXiv-2024 Movie Gen:媒体基础模型家族
Nature Computational Science-2025 几何学习与预训练策略改进蛋白质突变稳定性预测
NeurIPS-2024 面向蛋白质适应度预测的多尺度表示学习
Nature Biotechnology-2024 基于 RoseTTAFold 序列空间扩散的多态与功能蛋白质设计
ACL Demo-2024 LlamaFactory:100+ 语言模型的统一高效微调
ICML-2024 特征复用与扩展:理解蛋白质语言模型的迁移学习
Nature Communications-2024 PLMSearch:蛋白质语言模型驱动准确快速的远程同源序列搜索
Cell Systems-2024 卷积在蛋白质序列预训练中可与 Transformer 媲美
eLife-2024 基于蛋白质语言模型局部位置嵌入比对的灵敏远程同源搜索
AAAI-2024 T2I-Adapter:学习适配器挖掘文生图扩散模型的可控能力
Journal of Chemical Information and Modeling-2024 TM-search:高效准确的蛋白质结构数据库搜索工具
ICLR-2024 SaProt:结构感知词表的蛋白质语言建模
Bioinformatics-2024 基于嵌入的比对:蛋白质语言模型结合动态规划检测暮光区结构相似性
2025
arXiv-2025 评估大语言模型在科学发现中的能力
NeurIPS-2025 AI-Researcher:自主科学创新
EMNLP-2025 从自动化到自主:大语言模型在科学发现中的综述
Nature Biotechnology-2025 蛋白质语言模型训练、共享与协作的民主化
ACEBench:谁赢得工具使用的赛点
Genome Biology-2025 评估预训练 DNA 语言模型在调控基因组学中的表示能力
ICMLw-2025 ProteinCrow:能设计蛋白质的语言模型智能体
arXiv-2025 规模化解锁更广泛的蛋白质生成与更深入的功能理解
arXiv-2025 AI Scientist-v2:基于智能体树搜索的研讨会级自动科学发现
arXiv-2025 Prot42:面向靶点感知蛋白质结合体生成的新型蛋白质语言模型家族
COLING-2025 AutoProteinEngine:LLM 驱动的蛋白质工程多模态 AutoML 智能体框架
Nature Computational Science-2025 SciToolAgent:知识图谱驱动的多工具集成科学智能体
ICLR-2025 Boltzmann 对齐逆折叠模型预测突变对蛋白质相互作用的影响
ICLR-2025 检索增强扩散模型用于结构信息抗体设计与优化
ICLR-2025 ToolACE:赢得 LLM 函数调用的关键分