开头简单介绍一下你自己和你自己的技术背景项目你的GRPO 后训练项目中,每个任务采样的 8 条轨迹,是由同一个 prompt 并行 rollout 出来的吗?如果其中 6 条因为工具调用失败拿到极低奖励,剩下 2 条正常完成,这种极端分布下的优势计算会不会崩?如果工具调用失败不给极低奖励,那模型怎么学到正确的工具调用?你具体给失败轨迹赋了什么奖励值?这 8 条轨迹的 reward 方差一般有多大?奖励标准差控制在什么范围?如果方差过小,导致优势全接近 0,策略梯度怎么更新?除了离线清洗数据,你具体在训练代码里怎么处理这个数值稳定性问题?你用了序列级截断重要性采样(TIS)校正训练与推理分布不一致,序列级截断阈值具体设为多少?vLLM 推理和 verl 训练两端的 log-prob 重算误差大概在什么量级?importance ratio 被截断后,策略梯度的方差和偏差怎么权衡?你用 DocMind 解析文档后,具体怎么切分?按段落还是按字符数?chunk size 和 overlap 分别设为多少?对于包含大量公式和表格的文档,怎么处理切分边界,保证表格不被截断?遇到跨页的表格,Milvus 召回的是完整表格还是断裂片段?规划、检索、分析等六类 Agent 通过异步消息队列协作,具体用的什么消息队列组件?如果审查 Agent 打回报告,要求补充检索,这个反馈闭环的状态机怎么设计?怎么避免两个 Agent 互相触发死循环?防死循环机制是硬编码最大重试次数,还是基于状态标记进行拦截?你根据多次采样的奖励水平及组内差异分流 SFT 和 RL 数据,具体的分流阈值怎么定?“奖励差距比较大”的具体衡量指标是什么,标准差大于多少?实际案例里,最终划给 SFT 的有多少条?SFT 数据里的 assistant-only loss mask 是怎么设置的?用正则匹配,还是依赖 tokenizer 的特殊 token 边界,来划定 assistant 回复的起止位置?当工具调用的 JSON 参数跨多个 token 时,怎么精确切分 mask?工具参数和自然语言回复部分的 token 都参与 loss 计算吗?有没有出现漏掉 JSON 括号或引号,导致生成格式崩坏的情况?你联合了 Bocha 搜索、网页正文提取和本地 Milvus 知识库,这三路召回结果怎么做融合排序?用了 RRF,还是训练了 Cross-Encoder 重排模型?用 vLLM 部署 Qwen3-8B 时,tensor parallel 开到几?显存占用多少?针对包含大量工具调用 schema 的长上下文场景,用的什么 attention 机制?chunked prefill 开了没有?开启 continuous batching 后,P99 延迟和吞吐量的具体数值是多少?五维奖励具体是哪五个维度?每个维度的打分规则是离散的还是连续的,封顶值分别是多少?越权、虚假承诺、证据不足这三个惩罚项,和结果、政策、证据、效率、沟通这五个维度怎么映射?为什么对越权、虚假承诺等行为采用奖励封顶,而不是直接给一个极大的负数惩罚?从策略梯度的角度,解释一下这两种做法对 KL 散度约束的影响。LoRA 微调 Qwen3-8B 时,rank 和 alpha 分别设为多少?target_modules 配置了哪些层?Query 改写用的是 HyDE、LLM 重写,还是子问题拆解?在专业术语密集的场景下,用什么指标评估改写后的召回率比原始 query 更高?Agent 工具体系封装了 31 个业务工具,写操作采用业务幂等键,超时后先查状态再重试。如果查状态接口本身也超时了,或者返回的是中间态,Agent 怎么决定继续重试,还是直接挂起转人工?重试三次是写死的硬编码,还是基于指数退避?如果这三次重试期间,业务状态已经被其他并发请求改变了,幂等键怎么保证不会产生脏写?DPO 和 GRPO 在优化目标上的本质区别是什么?为什么售后 Agent 场景选择了 GRPO,而不是 DPO?
开头
项目