2025-03|高质量中文预训练模型集合
在自然语言处理领域中,预训练语言模型(Pretrained Language Models)已成为非常重要的基础技术,本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬),并将持续更新…
最新的模型汇总地址github: https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models
Expand Table of Contents
更新日志
基础大模型
对话大模型
多模态对话大模型
大模型评估基准
在线体验大模型
开源模型库平台
开源数据集库
开源中文指令数据集
Other-Awesome
NLU系列
BERT
RoBERTa
ALBERT
NEZHA
XLNET
MacBERT
WoBERT
ELECTRA
ZEN
ERNIE
ERNIE3
RoFormer
StructBERT
Lattice-BERT
Mengzi-BERT
ChineseBERT
TaCL
MC-BERT
二郎神
PERT
MobileBERT
GAU-α
DeBE ...
DART:通过梯度隔离解决Agentic RL中推理与工具使用的干扰问题
【速读】:本文揭示了Agentic RL中一个被长期忽视的核心问题——推理(Reasoning)与工具使用(Tool-use)能力在共享参数空间下的联合优化会产生严重的梯度冲突,导致"跷跷板"现象(提升一个能力会损害另一个)。作者提出LEAS(线性效应归因系统)定量验证了这一干扰的存在,并设计了DART框架:通过为两种能力分配独立的LoRA适配器,在token级别进行梯度隔离,从而在单模型内实现与双模型系统相当的性能,同时避免了多Agent系统的存储与推理开销。
【机构】:Renmin University of China(中国人民大学);Bytedance Inc.(字节跳动)
【开源】:未开源
1. 背景与核心洞察 (The Core Insight)
Agentic Reinforcement Learning(ARL)旨在训练能够交错执行复杂推理与外部工具调用的大语言模型。当前主流范式(如Search-R1、ToolRL等)普遍采用单一共享参数空间来联合优化这两种能力,其隐含的假设是:推理与工具使用可以和谐共存于同一参数子空间,且联合训练能够带来协同增益 ...
Arxiv今日论文 | 2026-02-17
本篇博文主要内容为 2026-02-17 从Arxiv.org论文网站获取的最新论文列表,自动更新,按照NLP、CV、ML、AI、IR、MA六个大方向区分。
说明:每日论文数据从Arxiv.org获取,每天早上12:30左右定时自动更新。
提示: 当天未及时更新,有可能是Arxiv当日未有新的论文发布,也有可能是脚本出错。尽可能会在当天修复。
目录
概览
自然语言处理CL
多智能体系统MA
信息检索IR
人机交互HC
人工智能AI
机器学习LG
计算机视觉CV
概览 (2026-02-17)
今日共更新998篇论文,其中:
自然语言处理共139篇(Computation and Language (cs.CL))
人工智能共363篇(Artificial Intelligence (cs.AI))
计算机视觉共187篇(Computer Vision and Pattern Recognition (cs.CV))
机器学习共294篇(Machine Learning (cs.LG))
多智能体系统共35篇(Multiagent Systems (cs.MA))
信息检索共3 ...
Arxiv今日论文 | 2026-02-16
本篇博文主要内容为 2026-02-16 从Arxiv.org论文网站获取的最新论文列表,自动更新,按照NLP、CV、ML、AI、IR、MA六个大方向区分。
说明:每日论文数据从Arxiv.org获取,每天早上12:30左右定时自动更新。
提示: 当天未及时更新,有可能是Arxiv当日未有新的论文发布,也有可能是脚本出错。尽可能会在当天修复。
目录
概览
自然语言处理CL
多智能体系统MA
信息检索IR
人机交互HC
人工智能AI
机器学习LG
计算机视觉CV
概览 (2026-02-16)
今日共更新495篇论文,其中:
自然语言处理共61篇(Computation and Language (cs.CL))
人工智能共126篇(Artificial Intelligence (cs.AI))
计算机视觉共93篇(Computer Vision and Pattern Recognition (cs.CV))
机器学习共154篇(Machine Learning (cs.LG))
多智能体系统共11篇(Multiagent Systems (cs.MA))
信息检索共20篇 ...
SRFT:基于熵感知的单阶段SFT-RL统一微调方法
【速读】:该论文试图解决SFT与RL在LLM推理任务中的最优整合问题。核心洞察是:SFT对策略分布进行粗粒度全局调整,而RL进行细粒度选择性优化;熵可作为训练有效性的关键指标。解决方案是SRFT——一种单阶段方法,通过熵感知权重机制统一SFT和RL,同时利用演示数据和自探索rollout直接优化LLM。
【机构】:中国科学院自动化研究所(Institute of Automation, Chinese Academy of Sciences);中国科学院大学人工智能学院(School of Artificial Intelligence, University of Chinese Academy of Sciences);美团(Meituan);上海交通大学(Shanghai Jiao Tong University)
【开源】:模型已开源至 https://huggingface.co/Yuqian-Fu/SRFT
1. 背景与核心洞察 (The Core Insight)
大语言模型在推理任务上的进展令人瞩目,但如何最优地整合监督微调(SFT)与强化学习(RL)仍是一个根本性的 ...
Yunque DeepResearch:层次化多智能体深度研究框架
【速读】:该论文试图解决深度研究(Deep Research)智能体在长程任务中面临的三大核心问题:(1) 上下文噪声累积导致的认知过载;(2) 执行脆弱性引发的级联错误;(3) 架构僵化带来的扩展性缺失。解决方案的核心在于构建一个层次化多智能体框架,通过子目标驱动的结构化记忆机制将上下文复杂度从 O(t)\mathcal{O}(t)O(t) 降至 O(n)\mathcal{O}(n)O(n),并引入 Supervisor 模块实现主动异常检测与上下文修剪,从而在 GAIA、BrowseComp、Humanity’s Last Exam 等基准上取得 SOTA 表现。
【机构】:腾讯 BAC(商业广告中心);清华大学;复旦大学
【开源】:https://github.com/Tencent-BAC/YunqueAgent
1. 背景与核心洞察 (The Core Insight)
深度研究(Deep Research)作为大语言模型向自主智能体演进的关键能力,旨在让模型能够主动发现、验证并综合来自动态真实环境的信息。OpenAI、Google、Kimi 等机构近期相继推出 Deep ...
Arxiv今日论文 | 2026-02-13
本篇博文主要内容为 2026-02-13 从Arxiv.org论文网站获取的最新论文列表,自动更新,按照NLP、CV、ML、AI、IR、MA六个大方向区分。
说明:每日论文数据从Arxiv.org获取,每天早上12:30左右定时自动更新。
提示: 当天未及时更新,有可能是Arxiv当日未有新的论文发布,也有可能是脚本出错。尽可能会在当天修复。
目录
概览
自然语言处理CL
多智能体系统MA
信息检索IR
人机交互HC
人工智能AI
机器学习LG
计算机视觉CV
概览 (2026-02-13)
今日共更新670篇论文,其中:
自然语言处理共119篇(Computation and Language (cs.CL))
人工智能共227篇(Artificial Intelligence (cs.AI))
计算机视觉共98篇(Computer Vision and Pattern Recognition (cs.CV))
机器学习共215篇(Machine Learning (cs.LG))
多智能体系统共11篇(Multiagent Systems (cs.MA))
信息检索共22 ...
SWE-Master:基于后训练的开源软件工程智能体框架
开源地址:https://github.com/RUCAIBox/SWE-Master
1. 背景与核心洞察 (The Core Insight)
软件工程智能体(SWE Agents)正从概念验证走向生产级应用,但开源社区面临一个根本性的工程瓶颈:缺乏透明且可复现的端到端训练流程。当前主流系统(如OpenAI的Codex、Anthropic的Claude Sonnet)的训练数据构造、强化学习策略及推理框架设计均处于黑盒状态,这导致学术界难以复现结果、验证假设或进行增量改进。
SWE-Master的核心洞察在于:通过系统性的后训练优化(Post-Training),即使从SWE能力极弱的开源基座模型(如Qwen2.5-Coder-32B在SWE-bench Verified上初始resolve rate低于10%)出发,也能通过精心设计的Data Curation → Long-Horizon SFT → RL with Real Execution → Test-Time Scaling流水线,激发出强大的长程软件工程任务解决能力。
该工作在AI技术栈中的定位是:首个完全开源、端 ...
Arxiv今日论文 | 2026-02-12
本篇博文主要内容为 2026-02-12 从Arxiv.org论文网站获取的最新论文列表,自动更新,按照NLP、CV、ML、AI、IR、MA六个大方向区分。
说明:每日论文数据从Arxiv.org获取,每天早上12:30左右定时自动更新。
提示: 当天未及时更新,有可能是Arxiv当日未有新的论文发布,也有可能是脚本出错。尽可能会在当天修复。
目录
概览
自然语言处理CL
多智能体系统MA
信息检索IR
人机交互HC
人工智能AI
机器学习LG
计算机视觉CV
概览 (2026-02-12)
今日共更新617篇论文,其中:
自然语言处理共86篇(Computation and Language (cs.CL))
人工智能共174篇(Artificial Intelligence (cs.AI))
计算机视觉共97篇(Computer Vision and Pattern Recognition (cs.CV))
机器学习共222篇(Machine Learning (cs.LG))
多智能体系统共11篇(Multiagent Systems (cs.MA))
信息检索共22篇 ...
Arxiv今日论文 | 2026-02-11
本篇博文主要内容为 2026-02-11 从Arxiv.org论文网站获取的最新论文列表,自动更新,按照NLP、CV、ML、AI、IR、MA六个大方向区分。
说明:每日论文数据从Arxiv.org获取,每天早上12:30左右定时自动更新。
提示: 当天未及时更新,有可能是Arxiv当日未有新的论文发布,也有可能是脚本出错。尽可能会在当天修复。
目录
概览
自然语言处理CL
多智能体系统MA
信息检索IR
人机交互HC
人工智能AI
机器学习LG
计算机视觉CV
概览 (2026-02-11)
今日共更新595篇论文,其中:
自然语言处理共84篇(Computation and Language (cs.CL))
人工智能共163篇(Artificial Intelligence (cs.AI))
计算机视觉共112篇(Computer Vision and Pattern Recognition (cs.CV))
机器学习共175篇(Machine Learning (cs.LG))
多智能体系统共9篇(Multiagent Systems (cs.MA))
信息检索共19篇 ...





