LATEST / 2026-10-21 · 01:20 PDT · RL SPECIALIST
四指和弦 RL 策略:A 和弦四根目标弦同时按实,3/3 个 case 通过主口径。 配对评测通过 · 单和弦、冻臂
Wuji Hand 2 + G1 全身链,MuJoCo Warp 2048 个并行世界,全部真物理接触。左臂由 IK 摆位后冻结,PPO 只学 20 维手指残差;本轮不用前馈按压先验 ,从零训练 21 次更新(run:fingers4-noprior,旧名 MF4s→MF4d2)。reset 为立指手型(指尖在目标品丝后、拇指贴颈、等初始力矩沉降)。右手仅支撑,没有拨弦。
配对评测 · 均值动作,每 case 1 个世界,精细求解器 case 手指 按窗内全部按实 最长连续按实 主口径 次口径 立指角 θ
A_005450 4 指 50% 134 ms ✓ ✓ 20.6°
Db1_004534 3 指 80% 344 ms ✓ ✓ 24.2°
Db1_004612 3 指 76% 162 ms ✓ ✓ 25.1°
"按实" = 每根目标弦同时满足手对弦力 ≥ 2 N 且弦对品丝力 ≥ 1 N。主口径:按实持续 ≥ 50 ms 且相邻弦受力 < 1 N;次口径:相邻弦 < 0.02 N。θ 为远节指骨轴与指板法线夹角,越小越"立"。
训练曲线与边界 四根目标弦同时按实的训练占比 0.7 → 1.7 → 2.2 → 3.2 → 4.7 → 5.8 → 9.3%(最后 7 次更新把"全部按实"奖励从 0.3 提到 1.0,并换 CG200/1e-5 训练求解器);无名指弦 4.3 → 14%。
边界:四指持续时间(134 ms)明显短于三指(300 ms 级);琴只靠右大腿托着,按压窗内有毫米级漂移;只验证了单个和弦、固定 reset,没有换把、没有扰动、没有右手拨弦。带前馈先验与退火的对照版本仍在训练。
初始策略(左)vs 学到的策略(右)· 固定四视角 · 0.2× 三个 case 依次播放:A_005450(四指)、Db1_004534、Db1_004612(三指)。每帧是一个保存的 50 ms 物理状态的运动学回放,只用于观看;判据全部来自保存的物理量。
弦近景 · 两个固定机位(斜视与正上方)· 学到 vs 初始 看指尖落点、是否碰邻弦、以及弦被压到品丝的过程;力取每个控制 tick 末的采样。
方法、代码与下一步 策略:状态/谱双编码器(128 + 128)→ 3×256 MLP → 手残差头;观测只有本体(关节角、角速度、上一步指令)、琴位姿、指尖几何参考点、谱事件和指法提示,不给接触力。奖励按压段截断 credit,相邻弦 1 N 容差,"全部目标弦同时按实"奖励 1.0。训练物理为粗化弦模型(与精细模型三张表 ≤ 0.4 mm 一致),评测用精细求解器。代码与评测在 sub-agent/review_1018/stageZ_mf2/(RESULTS.md §6)。
先验退火 + reset 横向抖动的统一 10-case 版本(4090)和固定先验四指版本(3090)正在训练,用同一配对评测对比。 加初态扰动与 DR,测鲁棒性;然后做换把/换和弦过渡。 右手拨弦与完整曲子另验。
RESEARCH IN PROGRESS SIMULATION FIRST
Teach a hand to fret.Bring two hands to music.
用两只灵巧手弹吉他。
从人手 MoCap 出发,让机器人在真实接触动力学中按弦、拨弦与协调时序。先在仿真里建立可靠证据,再走向 Wuji Hand 2 + Unitree G1。
历史回归片段 05 人工接触候选 · 非全数据集
历史冻结回归 20/20 5 段 × 4 种测试条件
动作数据来源 50 CSV Pei Xu dataset · 尚未全部处理
最终系统目标 02 hands 左手按弦 + 右手拨弦 · 未完成
2026-10-09 / USER-APPROVED POSTURE
G1 坐姿基准已确认。
用户目检:认可。 “这个姿态非常好。”后续围绕这一琴位和双臂总体外观整合演奏。G1 EDU 29 DoF + Wuji Hand 2;下图为实际物理执行的第 7.99 秒。
姿态认可 ≠ 按弦、拨弦已经通过。
保留这个姿态,继续整合演奏。 琴底由大腿托住,只有腿部使用防滑垫代理。 琴面后倾约 10°,琴头微翘;琴身上侧背缘靠胸,整块琴背不贴胸。 左手正常握颈辅助支撑,右臂允许自然轻靠。 吉他保持自由体,不固定;运动由有限电机和真实接触产生。 已完成: 右臂避碰到位与 30 秒延长保持。末 5 秒琴面后倾 9.33° 、琴头上翘 0.99° ,拨片尖位置偏差均值 0.53 mm 。
尚未完成: 当前 G1 坐姿下的真实按弦+拨弦。这组场景没有物理弦,视频不能当作演奏成功。材料、3 kg 琴重和腿部摩擦代理仍待硬件标定。
右手到位 · 8 秒实际物理回放 1× 原速,无音频。从此前 60 秒物理托琴的末态继续;视频中的 t=0 是该检查点,不是重新从空中释放吉他。右手用电机走到拨片目标,左手保持握颈。
固定六视角:同一次实际执行,1× 原速 沿用 guitar-six-v5 固定镜头,琴面已补光;本片无物理弦。
30 秒延长测试:支撑、接触与尚存限制 末 5 秒腿向上支撑约 25.04 N、胸口约 0.37 N、左手净约 4.04 N,共同平衡约 29.43 N 琴重。胸口接触仍在上背缘附近;腿和颈背持续接触,胸口力超过 0.01 N 的时间占 99.625%,存在短暂卸载。0.01 N 仅用于接触统计,不是按实标准。
前 8 秒右臂未碰琴身;延长后右前臂轻靠琴身,末段平均法向力约 0.59 N,最大软接触压入约 0.00038 mm。左手没有品丝支撑,末 5 秒琴 COM 漂移约 0.69 mm。100 Hz 电机回放未发现饱和或关节越界,不保证采样间峰值。
此前初始落座的 0.69 mm 短暂接触压入尚未解决;本次从物理检查点出发不消除该历史问题。静态可达、支撑稳定与实际演奏分别验证。
下载本次证据摘要 JSON ↗
10月10日:双臂跟琴,0.5秒按C保持改善 · 演奏尚未打通 已完成的范围: 自由吉他、真实电机接触执行;短桩开发弦模型,从已摆好的C手型保持0.5秒。加载后0.15–0.5秒三处目标品丝连续接触,左手误弦为0。不是连续按下、拨弦或长期robust通过。
末50ms目标品丝均力:食指5弦1品 1.77 N ,中指3弦2品 2.71 N ,无名指2弦3品 1.41 N 。后倾约8.30° ;右拨片相对琴偏移约2.95 mm ,原固定右臂参考对照约28.3mm。
控制变化:右臂参考跟随吉他、前臂支撑前馈、拨片位置反馈,全部通过原力矩上限内的电机实现。未固定吉他。仍有慢漂移:琴枕世界位移约9.85mm;最大软接触压入0.085mm,不能称数学上的零穿透。
模型限制: 短桩弦只在按弦区和拨弦区有离散节点/碰撞,中间间隔无弦碰撞;遗漏动态质量刚性集中到琴体。此结果不能替代原精细模型验收。
精细弦复核已完成: 相同控制器保持0.5秒,末50ms三处品丝均力1.85/2.54/1.44 N,加载后连续接触、误弦0,右拨片相对偏移2.95 mm。连续接近尚未通过: 首轮在接近中发生跨弦错位,正检查腕跟踪和手指入场路径;通过后再测拨弦释放。视频/画面好看不作为完成判据。
完整接触与支撑审计 JSON · 下方保留此前失败对照。
新增:真实弦已接入短时测试,C 演奏整合仍未通过 先用真实电机让指尖退开,保留约 9.30° 后倾、0.99° 琴头上翘。实际末态装入未变形弦后,无初始弦接触重叠;修正前直接装弦会有约 1.85 mm 重叠,失败已保留。
正常重力下完成 0.1 秒 接入检查:无数值报警、无手指触弦,琴 COM 移动约 0.014 mm。旧弦节点的重力补偿已单独做对照并关闭。这只是接入检查,时长不足以证明稳定,更不是弹奏成功。 手—弦接触参数另行恢复,尚未用此短测验证接触行为。
C 迁移仍有问题:固定世界腕路径会让琴头下垂;同时考虑托颈接触的候选保持琴头约 +1.08°,但胸口接触几乎消失,四指相对原 C 指尖目标仍差约 2.4–5.9 mm。原 C 指关节 PD/前馈已迁入,并修复位置指令提前截断前馈的问题;但真实 G1 手臂与原虚拟腕控制不同,不能只复制关节角就声称旧按弦能力已复现。
历史对照:延长到0.5秒,完整保持仍未通过 三根目标弦保持贴品丝,但约0.3秒后食指又碰到旁边的4弦,整段非目标弦力峰值0.60N ;琴面后倾变为约6.49° ,偏离认可姿态。末100毫秒目标品丝力为1.91 / 2.79 / 1.52N,无采样关节越界,但不能因为目标弦有力就判通过。
承重仍主要来自腿约23.21N、胸约4.32N;右臂向上净支撑约0.82N,法向接触力不能直接当作承重。当前重点是保持过程的腕部偏移与托琴耦合;连续按下和拨弦均未通过。
0.5秒延长审计 JSON ↗ G1 左手 C:接触控制对照 同一真实质量弦模型上,四组各 200 毫秒的独立冷初始化 对照:原位置接口、修正指关节力矩接口、随琴腕参考、增加腕部位置/朝向反馈。最后一组在加载后的末 50 毫秒保持三处目标品丝接触,均值为 1.99 / 2.63 / 1.47 N (食指5弦1品、中指3弦2品、无名指2弦3品;弦号从粗到细)。整段左手非目标弦接触力为0,500Hz回放未发现关节越界或电机饱和。
边界: 这是从已摆好的C初态出发的短时诊断,未证明连续按下、长时保持、扰动稳健性或右手拨弦。腕误差仍约3.29mm,后倾约7.88°,右前臂法向力约19.56N;受力与原无弦姿态不同。初期最大软接触压入0.082mm,不能称数学上的零穿透。前面三组失败及限位问题均保留。
C诊断全身快照 ↗ · 固定六视角 ↗ · 四组接触审计 JSON ↗ 上面的0.5秒延长已否定整体保持通过;200毫秒结果保留作定位问题的对照。公开页面不作为任务仍在后台运行的依据。
接入检查与失败摘要 JSON ↗ · 固定六视角快照 ↗ 下一步: 先修复保持时的腕部偏移、邻弦接触和琴位变化;再验证连续按下,最后测试右手单次拨弦。当前未启动训练。
C→D 连续双手:v4 有限扰动 milestone 通过 2026-10-08 · 一次 reset,C 拨 5→3→2;1.5 秒完成松手、换位和 D 落指,再拨 5→4→3→2。总物理时长 5.37 秒,默认原速播放;C→D 完整转换为 1.5 秒。四视角,无音频。
429.6 万物理步:七次拨弦均接触并释放;C 保持、松手、腾空换位、D 四指保持检查通过。误拨邻弦、移位触弦、自碰、手与刚体碰撞均为零。换位腕 RMS 0.516 mm,关节 RMS 0.882°。
查看 2 倍慢放:转换播放时长 3 秒,便于观察接触细节 范围: 基准及两组冻结双腕偏差(y ±0.3 mm、z ±0.1 mm)已完成:三组共 21 次拨弦接触和释放通过,过渡保持无断触、无误碰。三组视频均已完整解码及抽查关键帧;仅验证这两个小定位偏差,不称广泛 robust。相较 v2,局部弦网格细化并补回左手关节参考速度;相同接触阈值,失败记录保留。0.02 N 是连续接触事件门槛,不是音质或真机按实证明。
完整冻结测试 · 每组 5.37 秒 / 429.6 万物理步 运行 转换腕 RMS 关节 RMS 7 次拨弦 / 释放 基准 0.516 mm 0.882° 通过 正偏差 0.565 mm 0.885° 通过 负偏差 0.622 mm 0.883° 通过
跟踪误差相对原始基准参考计算,含有意加入的偏差;接触每个物理步检查,跟踪统计为 120 Hz 保存状态。媒体文件完整性及关键帧审查已完成;不代表真人解剖映射获得验证。
查看两组固定小偏差 · 四视角原速视频 正偏差:双腕横向 +0.3 mm,高度 +0.1 mm 负偏差:双腕横向 −0.3 mm,高度 −0.1 mm 左手来自 dataset 姿态端点与规划过渡,右手为程序拨弦轨迹,使用刚性拨片支架和虚拟腕驱动。不是连续真人 MoCap,也不是声学或硬件验证。训练未启动。
保留 v2 失败证据及首轮视频 C→D 连续双手:v2 调试视频 · 整体未通过 2026-10-08 · 一次 reset,C 拨 5→3→2;1.5 秒完成松手、换位和 D 落指,再拨 5→4→3→2。总物理时长 5.37 秒,四视角、2 倍慢放,无音频。
改善: 补回腕部参考速度后,换位腕 RMS 从 4.269 降至 0.523 mm;关节 RMS 1.830°。7 次拨弦接触与释放通过,D 四指保持检查通过,未观察到误拨邻弦或移位触弦。
仍未通过: C 食指在释放前有 4 个物理步的目标品接触不足,累计 5 微秒;另有约 1.43 kN 的瞬时刚体接触力。局部同控制重放定位到约 2.095 秒左拇指中节碰琴颈背面。低频曲线和视频未捕捉到这个短事件,不能仅凭视觉算通过。固定参数扰动复测尚未启动。
当前诊断:食指弦网格敏感性、拇指动态跟踪与碰撞。左手为 dataset 姿态端点加规划过渡,右手为程序任务轨迹与刚性拨片支架;不是连续真人 MoCap,不代表声学、硬件或 robust 验证。训练未启动。
保留首轮 v1 失败视频:换位腕 RMS 4.269 mm,缺少完整过渡审计
长窗口 retarget · 首次映射诊断 固定相机 guitar-six-v5: 上排=左手近景垂直俯视/左手指腹/右手拨弦;下排=左拇指背面/沿弦左手/沿弦右手。角度、距离、格子顺序固定,左手只按参考沿琴颈平移取景;本预览没有右手模型,对应格子保留占位。1×原速。
2026-10-08 · C 600–1320、D 480–1200、E 960–1680,各6秒连续原始MoCap,新时间窗口但来自已用录制。19个左手marker完整。固定参数首次运行,未按片段重调。
以下是几何 IK + 真人 marker 叠加,不是物理执行。 映射3段完成,1kHz插值检查未发现刚体/自碰穿透;弦接触、按实、释放尚未验证,不能称3/3物理成功或retarget全面robust。使用现有无接触标注的腕指mapper及tapered anchor,不是多指接触约束版的验收结果。
片段 校准目标RMS raw marker RMS 插值最小间隙 C 3.21mm 6.58mm 1.29mm D 5.27mm 7.33mm 1.46mm E 4.62mm 6.86mm 0.88mm
误差不是电机跟踪误差;机器人诊断site与真人marker尚非精确解剖对应。D拇指IP在121/121规划帧接近上限,E也频繁顶限位;C食指PIP有41/121帧接近限位,需核对手型。有限采样无穿透不能证明动态接触安全。下一步:核对多阶段候选弦/品/按压时段,再进行物理接触验收。
ChordC · 6秒原速 · 固定六视角映射与marker(非物理) ChordD · 6秒原速 · 固定六视角映射与marker(非物理) ChordE · 6秒原速 · 固定六视角映射与marker(非物理)
Lab TODO · 硬件测量清单
状态:全部待测。 2026-10-08 更新;用户计划明后天有空时进行。今天继续仿真与训练准备,不启动训练。训练方案先与 PhD 讨论。这份清单先做少量、可复查的测量,不要求采整首演奏或新 MoCap。
弦号统一从粗到细:1=低音 E,2=A,3=D,4=G,5=B,6=高音 E 。每组保留原始照片/视频/读数,记录日期、工具分辨率、方法和重复测量;没有测到就填“未知”,不要填仿真默认值。
第一优先级 · 第一次到 lab 先完成
□ HW-M01 · 确认实际硬件与安装方式 做什么: 记录 Wuji Hand 2 的 Beta 版本、左右手型号;吉他型号/类型、弦组品牌与六根弦线径、当前调弦、拨片材料/厚度/露出长度。确认是否能用刚性拨片支架,吉他准备如何固定在 G1 附近。
带回: 型号文字、手指与拨片近照、吉他正面/侧面照片。公开网站只记型号和去标识化结果,不上传完整序列号、账号或含其他人的照片。用途: 确定仿真对应的是哪套真实设备。
□ HW-M02 · 测吉他几何与弦高 工具: 尺、卡尺;有塞尺更好。调好音后测有效弦长(琴枕到琴桥支点);第1、3、5、6品附近的弦中心间距与指板宽度;六根弦在第1、5、12品的弦底到品丝顶间隙。标清量的是弦底、弦顶还是中心。
记录: 位置/弦号、读数mm、测量工具分辨率;关键读数重复3次。若尺精度不足,不估报0.1mm。用途: 修正按弦行程、相邻弦间隙和琴颈几何。
□ HW-M03 · 确认手的控制接口和已有标定 先向 lab 查已有记录: 可用命令模式、实际控制频率、时间戳、可读关节角/速度/电流、驱动限流/限矩、允许温度及已有 kp/kd 标定。确认是否有力或触觉传感器。SDK 的 torque 字段若实际是电流,保留单位A,不转成未经标定的Nm。
若已有获准的小幅无接触运动记录: 保存带时间戳的目标与实际关节状态,用来估计延迟/跟踪误差;没有就先记录“待测”,不用为这份清单新做极限载荷或堵转测试。用途: 确定策略真实可用观测与执行接口。
第二优先级 · 有合适测力工具时做
□ HW-M04 · 单指按弦:力–位移与是否按实 起点: 5弦1品、3弦2品、2弦3品(当前C候选接触)。每个点明确沿弦位置:在目标品丝朝琴枕一侧,记录离品丝距离。使用已知形状的圆滑压头和可测法向力的传感器;拍侧面带尺度视频,缓慢加载到弦被品丝截住,再释放,每点重复3次。
记录: 法向力N、压头位移mm、沿弦位置mm、压头尺寸/材料、加载/卸载方向;按住时轻拨一次,记录清晰/打品/闷音及音频。没有位移台时分级静态读数即可,不伪造连续曲线。若用电子秤,必须能把加载路径中的法向力单独测出并去皮;不把整把琴的重量变化直接当指尖力。
用途: 核对所需按压力与刚度,区分“接触了”和“按实了”。不预设所有弦都必须达到统一2N或1N;不要为满足仿真数字继续过压。
□ HW-M05 · 拨片释放与邻弦干扰 起点: 5、3、2弦各单独拨3次,使用准备部署的拨片与固定方式,记录拨弦位置、露出长度、方向、入弦深度和速度;用带尺度的侧面/俯视视频,条件允许时拍慢动作。首次保持同一条件,再只改变一个因素。
记录: 是否自然脱离、是否卡弦/二次误拨/碰邻弦、拨开位移和释放后的轨迹;有动态测力工具再记录峰力/冲量与采样率,没有就明确“无力数据”。普通低速电子秤不能测毫秒级冲击峰值。用途: 核对拨片形状、接触与释放,而非只试听音高。
后续补充 · 不阻塞今天的仿真准备
□ HW-M06 · 声音、手指表面与 G1 集成 可顺手录六根空弦及已按实音符的音频,固定录音方式、记录是否有自动增益/降噪;录音用于音高与发声诊断,不能仅凭手机响度反推接触力或精确衰减。补手指软垫材质/厚度/尺寸、已有摩擦与温升记录。G1后续另查双臂可达性、手与琴体安装/支撑;不把当前虚拟腕结果当实机验证。
最小交付: 硬件/弦组清单 + 几何读数 + 驱动接口信息。有测力条件再加按弦和拨片两组实验。数据统一存项目 analysis/hardware_measurements/,建议字段:trial_id、日期、设备、弦号/品号、位置、工具/分辨率、力N、位移mm、速度、声音/释放观察、文件名、备注。首次带回后再一起判断是否足够,不急着追加大规模采集。
训练草案与条件预算 ↑ · 已验证的仿真基线 ↑
训练草案 v1 · 待讨论,未开训 接触 milestone 已完成:同一条 C→D 在基准和两个固定小偏差下通过。下一步学习的目标是减少未见定位、时序与动力学误差下的手调,不能把这三组开发结果当泛化测试。
建议:先受限残差控制 保留已验证参考和限力伺服,先比较确定性反馈与小型残差 PPO。Actor 使用关节、相对腕位姿、短历史、当前/未来目标;真实接触状态可给特权 critic,不把真机没有的精确品丝力偷偷给 actor。
先左手20关节+双腕残差,右手手型固定;有必要再开放右手关节。奖励要求真实按弦保持、拨弦冲量及释放,并惩罚误弦、异常力、超时和饱和。所有位移仍由物理驱动。
原论文值得借鉴,不能照搬 Pei Xu 论文 及官方代码已核对:先单手再同步,PPO+模仿,GRU编码;参考只用scale/strum短片段。其几何按弦/拨弦奖励不能替代我们的真实弦接触。公开demo预算与论文报告不完全一致,详见Project Doc。
初版建议小MLP+短历史、非对称critic;GAN模仿和潜空间同步作为后续对照。G1真实臂、接触标定与硬件支架仍待验证。
算力:实测与假设分开 现有带控制、逐步审计和记录的CPU程序约766–769物理步/墙钟秒;模拟5.37秒需约93分钟。它不是GPU训练benchmark。按50Hz分组,100万transition约241天,说明不能直接在当前循环上大规模训练。
假设完整训练吞吐下的情景;GPU尚未实测 transition/s 1000万 1亿 3 seed × 1亿 100 27.8h 277.8h 833.3h 1000 2.78h 27.8h 83.3h 10000 0.278h 2.78h 8.33h
推荐下一项:现有4090上做同模型1→8→32→128环境兼容性、显存与吞吐检查,先复现CPU接触和零残差基线。再讨论小规模pilot,之后至少3 seed及未调参测试。尚未批准执行;不先租卡、不自动开训、不默认GPU支持或更粗弦模型有效。
用户决定:训练先与 PhD 讨论,暂不开训;硬件测量计划明后天进行。完整草案、代码行号、观测/动作/奖励、数据划分和预算公式:Project Doc「训练方案草案 v1(2026-10-08)」。
最新视频:固定拨片连续两轮 C 2026-10-08 · 同一次仿真,左手保持 C,右手依次拨 5→3→2,重复两轮。基准及两组固定参数小扰动共18次接触与释放通过;逐步检查没有邻弦、移位或自碰。弦号从粗到细1–6。
四视角、2倍慢放、无音频。仅证明这组局部测试;未验证完整音色或真机。当前继续 C→D 连续双手演奏和严格过渡验收;训练暂不启动,方案待里程碑完成后讨论。
连续两轮 C:基准 · 接触检查通过 小扰动:初态偏移 + / 节奏慢 5% · 接触检查通过 小扰动:初态偏移 − / 节奏快 5% · 接触检查通过
右手两条路线:指弹与固定拨片 四指在独立摆位下分别完成目标弦接触与释放;无邻弦/自碰。首试2/4,开发修正后4/4,未证明共同腕位姿下四指配合或robust。拇指释放后振幅较弱(采样0.0195mm),通过接触检查不等于拨响合格。视频2倍慢放,无音频。
thumb · 3弦 index_finger · 4弦 middle_finger · 5弦 ring_finger · 6弦 固定拨片新完成C的3弦2品、2弦3品独立拨验,与前次5弦1品合计三根分别通过;不是连续跨弦或完整C声学验证。下一步:指弹共同姿态的四指交替;拨片一次reset连续5→3→2。
右手拨片:首轮三步检查 固定方案可继续 · 未证明泛化 真实夹持候选在0.4秒重力保持中掉落;失败保留。按用户决定转固定附件:食指上的0.3g三角拨片+3g支架,全部动作通过受限电机和真实接触。
单弦/左C配合:5弦峰力0.97/0.97N;均完成触弦后释放。左C三个目标品接触保持比例100.0%, 100.0%, 100.0%。只拨验5弦1品,其他弦仅保持,未证明完整C各音干净。
4倍慢放,无音频。右手dataset-derived姿态+程序短路径,尚非dataset拨片轨迹;左手从保存物理状态初始化,不含完整按下与释放。夹持摩擦、支架与材料未实测。本面板为先前5弦基线;新增3/2弦结果见上方。右手任务控制不以dataset轨迹为前置条件。
M-SIM · 弦乐交互仿真:潜在贡献之一 已认可方向 · 待验证 项目主线仍是 humanoid + 灵巧手真正弹吉他。支撑该目标的潜在贡献之一:面向灵巧操作、经实测验证的弦–机器人双向交互仿真,配套环境、任务和sim/real对照数据。先完成吉他,小提琴作为后续扩展。
贡献要由这些证据支撑 已有方法差距与明确技术/系统改进。 独立实测的频率、衰减、力–位移和接触对照。 双向受力、扰动稳定、网格与时间步收敛。 CPU/GPU性能–精度及训练可用性。 可复现环境、同步状态/力/弦运动数据和失败记录。 模型带来的机器人控制或台架迁移收益。 查看 SIM-01 至 SIM-06 验收任务 → 不预先声称“世界首个” 弦乐非线性接触与摩擦已有研究,且有公开实现:Desvages & Bilbao 2016 、EfficientBowedString 。找不到即插即用模型,不等于没人做过弦乐仿真。
小提琴需要弓–弦黏滑、弓毛柔顺及无品按弦验证,不能仅替换吉他参数。GPU、真实接触标定与完整双手演奏仍未完成。
“Robust / close to real”必须附范围、误差和失败率;合成数据量不替代质量与实测证据。
当前重点:可信的弦模型 独立基准已执行 · 主线模型未改
2026-10-07:用户已同意弦模型优先。保留 tendon 架构;先独立测量,再恢复手和品丝接触,最后验证 GPU。
历史验证状态(10-07;最新见顶部 v4) 冻结新时间窗首轮 2/3;新 C 修复代码后仍按错品。 完整 1.5 秒 C→D:D 保持成立,C 释放入口严格验收仍失败。 物理发声:C3 接近,E3 偏低,C4 不可辨。 右手三种 dt 无自碰且自然释放;峰力未收敛。 独立复核后的判断 过大阻尼是小振幅空弦频偏的主因。除以 1000 是诊断,不是最终标定。
接触测试原“小于 0.1% 损耗”包含静态预张紧能量;扣除后振动能量损失约 41.3%。只限该测试,不能外推实际手部接触。
GPU、实物标定、双手演奏、全数据集 robust 均未验证。
新结果:独立弦基准第一批 24项恒定阻尼/网格/时间步实现检查通过;12项频率相关阻尼实现检查通过;另6次验证扣除重力势能后的能量收敛。低阻尼六弦基频误差小于0.025%。这是无接触直弦fixture,不是实际拨弦或真机标定。
恒定阻尼无法匹配公开G弦的逐阶衰减;频率相关候选尚未作为最终模型采用。匹配实测工况、多模态、手部接触和GPU仍待验证。
实测G弦对照:已完成六次物理复核 前1–5阶拟合,最初候选在11–20阶留出失败:恒定阻尼误差最高78%,频率平方项约167%。新空气+材料损耗是失败后的探索,不计作新的盲测成功。
独立被动模态候选双时间步实际衰减误差约12%;高阶频率仍约0.54%偏差,未整体过筛。此独立基准未加弯曲刚度;后续单例接触对照见下,有效弦长变化的准确性和GPU仍未验证,未替换主线。
整手接触第一例:C · 5弦1品 旧阻尼、低常数阻尼、频率相关候选三组真实物理对照完成,另完成低常数半时间步复核。相同Wuji左手、参考和控制器;只改变第5弦阻尼,物理拨头不是dataset右手。
三组在拨弦及随后0.4秒内目标品接触100%,无手部自碰或硬件误碰。旧阻尼振动难辨;低阻尼主峰约260–263Hz,接近目标261.58Hz。短窗频谱是诊断,尚未证明真实接触衰减或全任务鲁棒性。
半时间步拨头峰力相差 9.63%,瞬时力尚不能称已收敛。主线模型未替换;其他弦、真实右手、硬件与训练仍需验证。
多弦时间步回归:本轮已完成 2弦在5/2.5/1.25µs下目标品接触69.4%→99.994%→99.9975%;最后两档逐步冲量差0.125%,峰力差2.38%,仍未严格连续接触。3弦在5µs失稳,在2.5/1.25µs完整执行且保持100%;冲量差0.062%、峰力差2.21%。
5弦逐步冲量差0.122%,纠正了稀疏采样造成的39%假象;峰力0.681→0.616→0.548N,瞬时力仍未收敛。低阻尼dataset右手无自碰/硬件误碰,但尚未做新时间步收敛或声学验收。
未替换主线、未启动训练;这是数值诊断,不是真机标定成功。
固定动作,新旧弦模型对照 左右手各三组已完成,另两次右手高频记录复核完成。相同dataset参考和控制器,依次比较旧阻尼、全六弦低阻尼、低阻尼加拨弦区1mm网格。
右手三组无自碰/琴身碰撞,跟踪约0.35°;细网格相对低阻尼旧网格,S6/S5累计法向受力变化约+1.1%/−2.3%。左手C三指接触保持且无自碰/硬件误碰,跟踪约0.39°;但细网格使物理拨头冲量增加23.25%。抗混叠谱线接近预期音高,高次谐波仍敏感;不把动作稳定当作模型通过。
真实物理执行的记录状态回放;无合成音频;保留原仿真接触力补偿,不代表真机观察器已验证。正式模型未改。
接触benchmark:首轮13次+拨弦局部网格诊断 去掉手仍复现拨头接触脉冲,冲量远比瞬时峰力稳定。按弦夹具2N处于约1.95N线性首次碰品估计的临界附近:粗网格约70%品接触,1mm细网格低于0.4%。
细网格2.5N敏感性对照在两个dt均保持100%,平均品力0.384N、冲量差0.029%,峰力仍差6%。这是自适应诊断,不是13/13任务通过,也不是Wuji手或真实材料标定。主线模型未改。
新增0.5mm局部网格复核:相对1mm,平均品力差2.79%、冲量差0.70%,均保持接触。0.5mm再减半时间步,冲量差0.009%,但瞬时峰力仍差7.39%;不能称瞬时力收敛或全弦空间收敛。新增拨弦区16→4mm对照使冲量增加约33%;4mm半时间步冲量差仅0.025%。因此冲量的时间步稳定不等于空间收敛,当前不能直接作为训练接触基准。4mm节点平移2mm使冲量变6.43%;2mm结果接近平移后的4mm,更细1mm已复核:对2mm冲量差0.16%,半格平移差1.83%,半时间步冲量差0.16%但峰力差20.8%。原13次+9次短诊断全部结束,尚未作为正式模型采用。
STR-01 · 校核测量与能量基线 保留旧模型和失败证据;扣除静态预张紧能量;以解析信号检查频率/衰减拟合。
完成条件: 测量工具能恢复已知频率与衰减;无接触能量误差随时间步减小,数值容差执行前冻结。
STR-02 · 小振幅空弦与阻尼候选 真实质量;先素G弦与细E,再六弦;单模态与多模态测试;独立扫描阻尼、网格、dt。
完成条件: 分别报告基频、前几阶模态、衰减和收敛;Siconos实验条件与本项目参数分开;候选不称真机标定。
STR-03 · 接回品丝与物理拨头 先单指按住再拨,区分自由段振动、接触耗散和控制器做功;对照C三根目标弦。
完成条件: 检查目标品保持/打品、音高、衰减、邻弦、冲量及峰值;不能只凭静力通过。
STR-04 · 左右手回归与接触规划 新旧模型成对回放;复核高把位C、完整1.5秒C→D和右手自然释放;再修落点与释放入口。
完成条件: 不逐片段改物理参数追成功;记录退化;通过的开发结果不冒充未见数据泛化。
STR-05 · GPU一致性与训练成本 CPU基准成立后比较相同模型在Warp上的支持、数值结果、吞吐与显存;不默认支持。
完成条件: 物理一致性和吞吐分别报告;训练模型若近似,必须单独验证并记录差异。
Project Doc:notes/GUITAR_DEX_PROJECT.md;实验细节:notes/mentor_physics_checkpoint.md;执行约定:codex.md。side agent 建议经独立评议,不自动成为设计决定。仅本地预览,未发布。
HISTORICAL BASELINE / 旧慢速转换
历史 C → D:一次运行,不重置 两种时间步均通过,力收敛检查通过 12.5 秒真实动力学执行。C 三指、D 四指目标品丝在各自保持窗口内均持续接触,释放检查通过;名义时间步峰值 6.01 N,关节 RMS 0.51°,手腕 RMS 0.36 mm。旧版斜向进入 D 时,中指未压住目标品且产生 15.83 N 峰值;先在上方完成换位、再垂直下压后修复。
C 原速、D 半速;中间 4 秒为规划动作,不是连续真人录制。D 是高把位的候选接触任务,未认证为标准开放 D 和弦。使用有力限幅的虚拟手腕,尚无右手、音频或真机验证。
查看目标品丝力与跟踪曲线
01 / THE BIG PICTURE
Overall draft plan 研究草案 v0.1 · 非最终方法
目标不是让手在画面里“像在弹”,而是让动作、接触、声音与真实硬件约束连接起来。下面是整个项目的工作假设和实验路线;尚未验证的部分不算进已完成进度。
RESEARCH QUESTION 人手示范如何变成 可执行的双手接触技能? 人手和机器人手结构不同,指甲 marker 也不是指腹接触点。单纯对齐姿态不能保证按住正确的弦,更不能保证拨动后能产生目标音。
END-TO-END TARGET 短音乐片段 → 双手动作 → 物理接触 → 实际演奏 终点是一段可重复、可解释的双手演奏:正确弦/品与起音时序,有限力矩,无明显误触;最终在装有两只灵巧手的 G1 上检验。
终点是研究目标,尚未达成。曲目、真机吉他与最终算法待实验确定。
拟采用的技术路线 四个模块 + 一个共同评测层 01 理解示范 MoCap / 任务目标 接触候选 + 不确定性
→ 02 构造可执行动作 腕指联合 retarget 接触、碰撞与驱动限制
→ 03 闭环控制双手 跟踪 + 接触反馈 左手就绪 / 右手拨弦
→ 04 验证与迁移 振动 / 声音 / 泛化 参数辨识 → G1
共同评测层:姿态与指法对应 · 弦–品丝接触 · 邻弦干扰 · 受力与力矩 · 时序 · 声音 · 未见动作 · 真机差异
方法怎么选? 当前基线: 离线接触约束 retarget,受限电机执行参考,逐积分步做物理验收。还不是已训练的双手 policy。
后续候选: 模仿学习、接触反馈或残差控制、RL。先建立相同任务与观测下的比较,再决定是否、在哪个模块使用学习方法。
待检验假设: 显式接触目标和物理可执行性约束,能否比只匹配 marker 更少依赖人工调整,并迁移到未见片段?
把最终 demo 拆小 左手子任务 多指按下、保持、释放 → 当前已有小集证据 一个能响的音 右手单弦拨动 + 左手稳定终止 一段连续动作 换指/释放与拨弦时刻协调 一段真实演奏 双手上机,记录真实声音与完整失败情况
PROMISING CONTRIBUTION CANDIDATE C1 实测验证的弦–机器人交互仿真与基准 双向接触、振动、稳健性与控制价值共同验证;配套可复现环境和sim/real数据。研究目标,尚未完成。
CONTRIBUTION TARGET C2 接触感知的示范转换 保留指法,减少逐段调参,验证未见动作。
CONTRIBUTION TARGET C3 双手协同与真实演奏 把按弦、拨弦时序与硬件约束连接起来。
这些是待实验选择的贡献方向,不是已经证明的论文结论。无硬性日期承诺;按阶段验收推进。
当前优先保持已认可的 G1 坐姿,打通真实按弦+拨弦。下列路线与历史实验保留,最新范围见上方 G1 面板。
01
待解决 接触力学底线;精细音色后置
建立可信的仿真与数据基础 统一人手、机器人手和吉他的坐标与物理模型,让失败能够被观察、复现。
产物与验收条件 产物 Wuji Hand 2 模型、MoCap 映射、共用吉他配置、每步接触与力矩审计。
验收 当前基础已用于小集回归;指腹、接触参数和真实吉他标定仍是独立待办。
02
限定通过 限定范围通过
有接触目标的左手多指基准 保留 dataset 动作与指定指法,在动力学里完成多指按弦、保持与部分释放。
产物与验收条件 产物 C / F / A / Bb / D 五个片段、20 项回归、轨迹与多视角视频。
验收 当前 20/20 通过;按片段调过参数,使用人工接触候选,并不代表任意动作自动成功。
03
计划中 连续转换基线之后
减少逐片段人工标注 从 MoCap 提出每指的弦、品、接触区间候选,让不确定性显式可见。
产物与验收条件 产物 标定依赖清单、冻结的开发/留出拆分、候选标签与人工核对记录。
验收 在 2–3 段未调参的非横按动作上检验;报告错误与拒判,不能用测试答案反推 offset。
04
待解决 1.5秒转换严格验收未过
连续动作与未见片段 从“按住一个姿态”走向连续按下、释放、换指与换位。
产物与验收条件 产物 连续 retarget、接触状态切换、原速/降速结果、失败分类与批量数据索引。
验收 完整区间验收;开发集与留出集分开,明确速度和初始化条件,不只截取成功画面。
05
待解决 进入双手同场景接触检查
右手拨弦与发声验证 建立真正的拨弦、弦振动与发声评价,区分“有接触力”和“能弹出目标音”。
产物与验收条件 产物 拨片/指拨方案对照、单弦释放振动、音高/起音/串扰评测。
验收 拨弦由驱动和接触产生;声音分析或合成由物理振动驱动,验证按弦在拨动后仍有效。
06
待解决 当前:左C按住+右手拨弦
双手协同与可泛化控制 左手准备好接触,右手在正确时刻拨弦;从可执行轨迹走向可适应控制。
产物与验收条件 产物 双手时间同步、固定轨迹控制基线、模仿/残差控制/RL 对照。
验收 在未见动作、时序偏移和扰动下评估双手成功率;尚未选定最终 policy 方法。
07
待解决 G1坐姿已确认;仿真演奏整合中
G1 集成与 sim-to-real 把两只手接到 G1,逐级验证实际安装、支撑、驱动与物理参数。
产物与验收条件 产物 硬件尺寸与限幅、手臂/手腕集成、参数辨识、台架到双手的分级实验。
验收 先台架单指、再左手、右手与双手;真实观测与仿真对照,不把虚拟腕成功当作 G1 结果。
08
计划中 评测设计提前做
形成可检验的研究贡献 用明确问题、可靠基线、消融和失败边界支撑 robotics 论文。
产物与验收条件 产物 任务定义、数据拆分、方法对照、物理与真机证据、可复现材料。
验收 贡献由实验支持;不预设论文结论,不把人工目标或合成音频当原始人类真值。
并行工作线 Retarget 与数据:INF → SEQ 物理与右手:PHY → RH 共同汇合:BI → HW 全程记录:RES
03 / EVIDENCE, NOT ESTIMATES
历史小集回归(最新状态见页面上方) 下载验证摘要 ↗
有人工接触目标时,左手多指已经有稳定的小测试集。 五段使用同一把仿真吉他,每段经过正常、半时间步和两组增益/初始姿态扰动。全部是物理接触检查,不是图像距离判断。
历史冻结版本 · 5 个片段,20 项检查;片段名称不等于完整和弦已验证 Dataset 验证范围 源帧 速度 正常 半步长 扰动 A 扰动 B ChordC 3 指 · 三指按弦与分步释放 0–492 1× ✓ ✓ ✓ ✓ ChordF 4 指 · 四指尖保持 · 不含横按 0–240 1× ✓ ✓ ✓ ✓ ChordA 3 指 · 相邻弦三指保持 120–336 0.4× ✓ ✓ ✓ ✓ ChordBb 4 指 · 四指保持子任务 108–276 1× ✓ ✓ ✓ ✓ ChordD 4 指 · 四指保持与释放 36–300 0.5× ✓ ✓ ✓ ✓
20/20 的具体含义,以及它没有证明什么 正常时间步为 5 μs,半时间步为 2.5 μs。两组扰动组合了 0.8×/1.2× 手指控制增益、±0.5 mm 初始腕位移和 0.5° 关节扰动。它们是有限回归条件,不是对任意扰动的统计保证。
保持区间要求正确手指持续接触且目标弦–品丝法向力大于 0.02 N;同时检查邻弦、刚体、自碰、穿透和驱动限幅。0.02 N 是当前接触检测阈值,不是发音质量或真机安全标准。
只有 C 与 D 在当前清单中验证了释放;A/D 使用慢速。各片段经过人工目标和参数调整,因此不能把 20/20 当作未见动作泛化率。
RECENT FIX / F 四指尖子任务 按得住,也不再把关节顶偏。 同指/同弦/同品内修正落点,再降低前馈;原电机限幅不变。旧落点 + 小力按不住,新落点 + 大力仍有大误差,受控对照区分了两个因素。
总接触目标修正最大 4.84 mm(用户批准 ≤5 mm)。数据来源:原 baseline 与最终加密参考的实际执行。
OPEN LIMITATIONS 还不能叫“全部 robust”。 接触目标: 人工候选,不是录制时的人类接触真值。A 姿态: 几何指腹目标最大偏差 4.24 mm;实际保持仍有沿颈约 3 mm 错位。初始化与支撑: 包含几何摆姿态/程序加载,使用受限虚拟腕,尚非 G1。现实参数: 指腹、接触和阻尼未完整标定;共同网格不是空间收敛证明。任务覆盖: 此历史小集不覆盖完整横按、右手、声音或全数据集泛化;最新右手与声学结果见上方。
04 / VISUAL LAB
看实际执行,再看指标。 RECORDED MUJOCO EXECUTION 以下视频是机器人仿真中已记录的动力学状态。参考来自 dataset MoCap 与人工接触目标;实际动作由受限电机与接触求解产生。不是训练好的双手 policy,也没有加入演奏音轨。
选择片段 ChordC · 三指按弦与分步释放 ChordF · 四指尖保持 · 不含横按 ChordA · 相邻弦三指保持 ChordBb · 四指保持子任务 ChordD · 四指保持与释放 历史版本 · 4/4 通过
浏览器不支持视频播放,请使用下方视频链接。 ChordC · 三指按弦与分步释放 源帧 0–492 · 原速 1×
打开视频 ↗ 采用几何初始化与稳定阶段;不代表完整从远处接近。
A 整手 + 琴颈B 手掌 / 拇指 / 琴颈背面C 指尖与品丝近景D 沿琴弦近景
1 · 低 E 2 · A 3 · D 4 · G 5 · B 6 · 高 E 从粗到细 · 视频中的力由物理接触求解
其他片段:F · A · Bb · D 。启用 JavaScript 可切换播放器。
05 / EXECUTION PLAN
任务、依赖和完成条件 50 REVIEWABLE TASKS 展开任务看具体产物和验收条件。P0 是当前主线,P1 是关键后续或并行工作,P2 是更后期任务。状态代表记录中的事实;“下一步”不代表有实验正在后台运行。
显示 50 / 50 项任务
FND-01 选定 Wuji Hand 2,保留换手配置入口 P0 已完成 基础 建立可信的仿真与数据基础
已比较手型并选用 Wuji Hand 2;Beta1/Beta2 需要核对实际硬件。
完成条件 模型选择有依据;真机版本单独确认。
依赖:无前置任务
FND-02 统一坐标、手性与弦号 P0 已完成 Retarget 建立可信的仿真与数据基础
镜像变换与弦序已统一修正。用户弦号从粗到细 1–6。
完成条件 使用一致映射;1=低 E,2=A,3=D,4=G,5=B,6=高 E。
依赖:无前置任务
FND-03 统一吉他网格、质量、张力与阻尼配置 P0 已完成 物理 建立可信的仿真与数据基础
五段使用相同吉他模型;阻尼按代表弦长分配,细化不偷偷增加总阻尼。
完成条件 实际编译模型的 guitar signature 一致;不把它当空间收敛证明。
依赖:无前置任务
FND-04 建立每积分步接触审计 P0 已完成 评测 建立可信的仿真与数据基础
已检查正确手指、弦–品丝力、邻弦、刚体、自碰、穿透及驱动限幅。
完成条件 失败不能被截图、平均值或只看手–弦接触掩盖。
依赖:无前置任务
BASE-01 完成五片段、20 项多指回归 P0 已完成 Retarget 有接触目标的左手多指基准
正常、半时间步、两组 gain/reset,每片段四项。C/D 含释放,其他是保持子任务。
完成条件 当前冻结版本 20/20 通过;保留失败对照。
BASE-02 修复 F 无名指高负载与关节偏差 P0 已完成 Retarget 有接触目标的左手多指基准
同指/同弦/同品内修正落点,降低前馈;完成落点×力的受控比较与加密参考回归。
完成条件 末关节 RMS 11.68°→0.40°;四指接触通过,电机限幅未增加。
BASE-03 保存复现输入、结果与可视化 P1 已完成 评测 有接触目标的左手多指基准
参考轨迹、模型、运行参数、报告 hash、多视角视频与源码快照已保存。
完成条件 从冻结清单复查结果,并区别 raw、IK 与实际动力学。
BASE-04 跟踪 A 的指腹位置偏差 P1 待解决 Retarget 有接触目标的左手多指基准
几何目标最大误差 4.24 mm;真实保持主要剩沿颈约 3 mm 偏差。加权与八初值诊断无实质改善。
完成条件 先确定误差来源和可接受姿态;不降低碰撞标准、不移动标签来美化分数。
INF-01 盘点人工标签与标定之间的依赖 P0 下一步 Retarget 减少逐片段人工标注
逐项标明腕先验、指甲→指腹 offset、弦/品选择、按压区间来自哪里。
完成条件 区分可迁移标定与答案相关标定;留出集的标签不参与参数拟合。
INF-02 确定开发集与 2–3 段非横按留出片段 P0 限定通过 评测 减少逐片段人工标注
冻结三个同recording新时间窗,首次2/3;不是新recording泛化。
完成条件 记录片段、缺失/跳点、速度、选择理由,实验前冻结拆分。
INF-03 生成每指弦/品/时段候选 P0 计划中 Retarget 减少逐片段人工标注
结合几何、运动连续性和接触约束提出候选;指甲高度不能直接当接触真值。
完成条件 给出候选、置信信息与 unknown 区间;保留歧义,不强制每帧有答案。
INF-04 人工核对候选并建立版本记录 P0 计划中 人工复核 减少逐片段人工标注
用 raw marker、目标和机器人姿态的多视角对照,核对手指身份与明显不合理的切换。
完成条件 记录接受/修改/无法判断;人工候选仍不冒充录制时的接触真值。
INF-05 未调参片段的物理闭环验证 P0 待解决 评测 减少逐片段人工标注
E/G首轮通过及四扰动通过;新C品位bug修复后仍目标品无力,不称robust。
完成条件 逐段报告成功、失败和拒判;测试失败若用于调参,就重新划分验证集。
SEQ-01 完成 C→D 按住—释放—换位—再按住基线 P0 待解决 Retarget 连续动作与未见片段
最新完整1.5秒C→D两dt执行完成;D保持成立,C释放入口三个零散低品力积分步使严格验收失败。旧慢速基线见历史视频。
完成条件 本次候选接触任务转换已通过;未验证完整音乐和弦、重复往返、其他转换或未见片段泛化。
SEQ-02 验证原速与必要的速度缩放 P1 计划中 控制 连续动作与未见片段
当前 A=0.4×、D=0.5×;原速能力仍需单独测量。
完成条件 原速和慢速分开报告,动作保真与物理可执行性同时检验。
SEQ-03 可恢复的批量 retarget 与质量筛选 P1 计划中 数据 连续动作与未见片段
本地数据目录有 50 个 CSV;它们尚未全部 retarget/验证。
完成条件 保存原始索引、配置、标签来源、失败原因和版本;只将合格轨迹进入后续训练。
SEQ-04 学习或规划完整接近与握颈 P2 计划中 控制 连续动作与未见片段
当前初始化含几何摆姿态和程序加载,不是完整从远处接近任务。
完成条件 从明确初始状态通过动力学接近、握颈并切入按弦,不靠逐帧写状态。
PHY-01 测量指腹与接触模型参数 P1 计划中 物理 建立可信的仿真与数据基础
刚性指腹、接触刚度和摩擦尚未真机标定;仿真接触成功不等于 sim-to-real。
完成条件 获取可复查测量或区间;做参数敏感性与失败边界。
PHY-02 检验弦空间离散与动力学收敛 P1 下一步 物理 建立可信的仿真与数据基础
半时间步已经检验;共同网格并不证明空间收敛。
完成条件 固定总质量、张力、总阻尼,对照网格;报告接触力和振动差异。
PHY-03 核对实体吉他与硬件尺寸 P1 计划中 硬件 建立可信的仿真与数据基础
确认 Wuji 2 硬件版本、指腹尺寸、吉他弦距/action/颈厚。宽琴颈是候选,不是现已更换的模型。
完成条件 记录实测值和模型差异;换琴必须重新验证相关任务。
RH-01 比较拨片与直接指拨 P1 计划中 物理 右手拨弦与发声验证
右手方案尚未决定;先设计最小单弦实验。
完成条件 比较可达性、可靠脱弦、串扰与真机装配,再决定方案。
RH-02 单弦真实接触拨动与自由振动 P1 计划中 物理 右手拨弦与发声验证
受限驱动让拨片/手指接触弦并脱离,不脚本强制弦形变。
完成条件 检查拨动时刻、力与振动;实验重复且没有持续粘连或数值能量异常。
RH-03 建立音高、起音、衰减与串扰指标 P1 计划中 评测 右手拨弦与发声验证
声音来自物理振动的分析/合成;录制数据没有逐帧音频真值。
完成条件 区分接触、振动、声音三个成功层次,并验证目标音与邻弦输出。
RH-04 拨动扰动下验证左手按弦 P1 计划中 双手 右手拨弦与发声验证
目前左手检查并未证明所有按弦都能承受右手拨动并清晰发音。
完成条件 拨动后目标品丝终止仍有效;记录打品、失接触和误音。
BI-01 双手动作与接触事件同步 P1 计划中 双手 双手协同与可泛化控制
建立左手就绪/保持、右手接触/脱弦的时间关系。
完成条件 先完成一组音,再做短序列;报告时序误差和双手联合成功。
BI-02 建立控制与学习方法对照 P1 计划中 学习 双手协同与可泛化控制
先用可执行轨迹控制作基线,再比较模仿、接触反馈/残差与 RL;不预设最终方法。
完成条件 相同观测、任务和预算比较;不以人为调整每段的结果代替泛化。
BI-03 未见序列与接触扰动评测 P1 计划中 评测 双手协同与可泛化控制
测试动作顺序、时序、标定误差和物理参数变化;开发与测试隔离。
完成条件 报告多次试验、失败类型与适用范围,保留全部失败。
HW-01 确认双手安装、通信与真实限幅 P1 计划中 硬件 G1 集成与 sim-to-real
两只手最终装在 G1;目前虚拟腕不代表 G1 手臂支撑。
完成条件 硬件版本、安装变换、驱动接口、量程及停止条件有实测记录。
HW-02 将虚拟腕替换为 G1 手臂/支撑模型 P1 待解决 硬件 G1 集成与 sim-to-real
G1 EDU29+Wuji Hand2坐姿已确认,自由琴支撑与右臂到位已测试;仍需在此姿态验证按弦和拨弦。
完成条件 全模型可执行参考,支撑力与关节限制一致,明确外部夹具。
HW-03 台架单指到左手的参数辨识 P1 计划中 硬件 G1 集成与 sim-to-real
从低复杂度实验核对真实按压力、形变、tracking 与模拟差异。
完成条件 先单指,再多指与释放;用真实测量修正模型。
HW-04 右手、双手与 G1 实机演示 P2 计划中 硬件 G1 集成与 sim-to-real
只有前序模块通过,才逐级组合右手拨弦、双手短序列和 G1。
完成条件 发布完整过程及失败,记录真实声音与实际接触/驱动观测。
RES-01 提前定义研究问题、基线与指标 P1 下一步 研究 形成可检验的研究贡献
候选问题:怎样将人手动作转为具有真实接触、可执行且可泛化的双手控制?
完成条件 写清现有方法差距、待验证假设与可反驳的实验;贡献尚未定论。
RES-02 做 retarget/接触/控制消融 P1 计划中 研究 形成可检验的研究贡献
比较纯 marker IK、接触约束、力控制、时间采样和人工校正的作用。
完成条件 一次区分一个因素;相同模型与评价条件,公开失败与人工介入量。
RES-03 整理复现、数据许可与公开材料 P2 计划中 研究 形成可检验的研究贡献
保存版本化配置、指标、视频和实验协议;原始 dataset 不在此网站重新分发。
完成条件 核对上游许可与演示/数据发布范围,发布可复现且归属清楚的材料。
RES-04 论文与最终项目演示 P2 计划中 研究 形成可检验的研究贡献
目标是 robotics 会议;投稿 venue、时间与最终贡献尚未决定。
完成条件 论文结论与完整证据一致;真实实验、仿真和概念计划分别标明。
LATER-01 F 完整食指横按与完整和弦 P2 延期 Retarget 有接触目标的左手多指基准
用户决定后置。现有四指尖测试保留,不扩成已验证六弦 F 的说法。
完成条件 未来单独定义食指多处接触、全部目标弦与发声验收。
LATER-02 高难把位、横按与长曲目 P2 延期 双手 连续动作与未见片段
先完成非横按短序列和可检验的泛化,再增加难度。
完成条件 按新增接触模式逐级扩展,不能从短片段通过推断长曲目成功。
STR-01 校核测量与能量基线 P0 计划中 弦模型草案 建立可信的仿真与数据基础
保留旧模型和失败证据;扣除静态预张紧能量;以解析信号检查频率/衰减拟合。
完成条件 测量工具能恢复已知频率与衰减;无接触能量误差随时间步减小,数值容差执行前冻结。
依赖:无前置任务
STR-02 小振幅空弦与阻尼候选 P0 计划中 弦模型草案 建立可信的仿真与数据基础
真实质量;先素G弦与细E,再六弦;单模态与多模态测试;独立扫描阻尼、网格、dt。
完成条件 分别报告基频、前几阶模态、衰减和收敛;Siconos实验条件与本项目参数分开;候选不称真机标定。
依赖:无前置任务
STR-03 接回品丝与物理拨头 P0 计划中 弦模型草案 建立可信的仿真与数据基础
先单指按住再拨,区分自由段振动、接触耗散和控制器做功;对照C三根目标弦。
完成条件 检查目标品保持/打品、音高、衰减、邻弦、冲量及峰值;不能只凭静力通过。
依赖:无前置任务
STR-04 左右手回归与接触规划 P0 计划中 弦模型草案 建立可信的仿真与数据基础
新旧模型成对回放;复核高把位C、完整1.5秒C→D和右手自然释放;再修落点与释放入口。
完成条件 不逐片段改物理参数追成功;记录退化;通过的开发结果不冒充未见数据泛化。
依赖:无前置任务
STR-05 GPU一致性与训练成本 P0 计划中 弦模型草案 建立可信的仿真与数据基础
CPU基准成立后比较相同模型在Warp上的支持、数值结果、吞吐与显存;不默认支持。
完成条件 物理一致性和吞吐分别报告;训练模型若近似,必须单独验证并记录差异。
依赖:无前置任务
SIM-01 M-SIM:明确技术贡献与相关工作差距 P0 下一步 研究 形成可检验的研究贡献
弦乐物理与非线性接触已有工作;比较机器人双向耦合、实测、性能与控制用途。
完成条件 明确新增技术或系统/基准价值;未经系统对比不使用first。
依赖:无前置任务
SIM-02 M-SIM:标定与独立实测验证 P0 计划中 物理 建立可信的仿真与数据基础
公开数据与lab测量分开,覆盖振动、按压、释放和打品;明确范围和不确定度。
完成条件 用未拟合的弦长/品位/激励验证,报告误差分布及失败。
SIM-03 M-SIM:双向接触与稳健性 P0 计划中 物理 建立可信的仿真与数据基础
手与弦互相施力;扰动初态、张力、动作,检查能量、力、冲量与穿透。
完成条件 稳定性和网格/dt收敛有证据,记录失败边界。
SIM-04 M-SIM:CPU/GPU与训练成本 P1 计划中 计算 建立可信的仿真与数据基础
比较支持情况、数值一致性、吞吐、显存;训练近似独立验证。
完成条件 给出性能–精度曲线,不预先承诺实时或GPU支持。
SIM-05 M-SIM:环境、数据与复现包 P1 计划中 数据 形成可检验的研究贡献
版本化任务API、物理参数及同步状态/控制/接触/弦运动信号,附实测对照和失败。
完成条件 sim/real/参考录音分开;拆分与来源清楚;发布前核对许可。
SIM-06 M-SIM:机器人任务与迁移收益 P1 计划中 评测 形成可检验的研究贡献
对比几何弦、简单物理弦、校准模型;检验按弦/拨弦与可重复台架任务。
完成条件 量化控制或迁移收益;只有音色改善不足以证明机器人任务价值。
G1-POSTURE 保留用户认可的坐姿基准 P0 限定通过 G1 / 支撑 G1 集成与 sim-to-real
约10°后倾、琴头微翘;腿部防滑代理+琴上背缘靠胸+左手握颈。用户目检认可,右臂到位及30s保持已测试。
完成条件 限定无弦支撑/接近验证;保留胸口短暂卸载、慢漂移、材料未知和旧初始化问题。
依赖:无前置任务
G1-PLAY 当前坐姿下左手按C+右手单弦拨动 P0 下一步 G1 / 双手 G1 集成与 sim-to-real
围绕认可琴位与双臂总体外观,整合左手接触任务和拨片轨迹。
完成条件 自由琴真实接触支撑,同时目标弦按住、拨开后释放、无误弦/意外碰撞;尚未通过。
没有匹配的任务。可以换一个关键词,或重置筛选。
06 / DECISIONS & BOUNDARIES
已经决定的,和仍然开放的。 已确定 全部真物理: 接触和力由仿真求解;IK 用于参考,不替代动力学。手型: Wuji Hand 2;代码保留换手配置能力。工作顺序: 先仿真和有接触目标的小集,再做候选推断与泛化。当前吉他: 五段统一模型,不按片段悄悄换物理条件。F 横按: 用户明确延期;保留已验证四指尖子任务。开放问题 实体配置: 最终吉他、Wuji 2 实物版本、G1 安装与固定方式。右手: 拨片还是指拨,先用最小实验比较。控制方法: 何处需要学习、接触反馈或残差;还未定最终 policy。接触推断: marker→皮肤接触的可辨识性,缺失信息与拒判策略。论文: 最终贡献、venue 和投稿时间由证据与进度决定。
保留失败与历史:为什么不只展示成功率 F 的旧落点 + 小力对照无名指目标品丝始终没有接触;新落点 + 大力则保留大关节误差。两者都不能替代最终低力版本。
A 的加权规划与八初值诊断未找到可采用的明显改进;不据此证明全局不可达。旧 E/G 管线失败不是当前成功结果,也没有被删除。
“通过”只针对冻结的任务、物理模型、速度与阈值。失败记录、人工调整和不确定性是研究结果的一部分。