LATEST / 2026-10-21 · 01:20 PDT · RL SPECIALIST

四指和弦 RL 策略:A 和弦四根目标弦同时按实,3/3 个 case 通过主口径。

配对评测通过 · 单和弦、冻臂

Wuji Hand 2 + G1 全身链,MuJoCo Warp 2048 个并行世界,全部真物理接触。左臂由 IK 摆位后冻结,PPO 只学 20 维手指残差;本轮不用前馈按压先验,从零训练 21 次更新(run:fingers4-noprior,旧名 MF4s→MF4d2)。reset 为立指手型(指尖在目标品丝后、拇指贴颈、等初始力矩沉降)。右手仅支撑,没有拨弦。

配对评测 · 均值动作,每 case 1 个世界,精细求解器

case手指按窗内全部按实最长连续按实主口径次口径立指角 θ
A_0054504 指50%134 ms✓✓20.6°
Db1_0045343 指80%344 ms✓✓24.2°
Db1_0046123 指76%162 ms✓✓25.1°

"按实" = 每根目标弦同时满足手对弦力 ≥ 2 N 且弦对品丝力 ≥ 1 N。主口径:按实持续 ≥ 50 ms 且相邻弦受力 < 1 N;次口径:相邻弦 < 0.02 N。θ 为远节指骨轴与指板法线夹角,越小越"立"。

训练曲线与边界

四根目标弦同时按实的训练占比 0.7 → 1.7 → 2.2 → 3.2 → 4.7 → 5.8 → 9.3%(最后 7 次更新把"全部按实"奖励从 0.3 提到 1.0,并换 CG200/1e-5 训练求解器);无名指弦 4.3 → 14%。

边界:四指持续时间(134 ms)明显短于三指(300 ms 级);琴只靠右大腿托着,按压窗内有毫米级漂移;只验证了单个和弦、固定 reset,没有换把、没有扰动、没有右手拨弦。带前馈先验与退火的对照版本仍在训练。

初始策略(左)vs 学到的策略(右)· 固定四视角 · 0.2×三个 case 依次播放:A_005450(四指)、Db1_004534、Db1_004612(三指)。每帧是一个保存的 50 ms 物理状态的运动学回放,只用于观看;判据全部来自保存的物理量。
弦近景 · 两个固定机位(斜视与正上方)· 学到 vs 初始看指尖落点、是否碰邻弦、以及弦被压到品丝的过程;力取每个控制 tick 末的采样。
方法、代码与下一步

策略:状态/谱双编码器(128 + 128)→ 3×256 MLP → 手残差头;观测只有本体(关节角、角速度、上一步指令)、琴位姿、指尖几何参考点、谱事件和指法提示,不给接触力。奖励按压段截断 credit,相邻弦 1 N 容差,"全部目标弦同时按实"奖励 1.0。训练物理为粗化弦模型(与精细模型三张表 ≤ 0.4 mm 一致),评测用精细求解器。代码与评测在 sub-agent/review_1018/stageZ_mf2/(RESULTS.md §6)。

  1. 先验退火 + reset 横向抖动的统一 10-case 版本(4090)和固定先验四指版本(3090)正在训练,用同一配对评测对比。
  2. 加初态扰动与 DR,测鲁棒性;然后做换把/换和弦过渡。
  3. 右手拨弦与完整曲子另验。
MANIPULATION / CONTACT / CONTROL下载计划与状态 JSON ↗
RESEARCH IN PROGRESS SIMULATION FIRST

Teach a hand to fret.
Bring two hands to music.

用两只灵巧手弹吉他。

从人手 MoCap 出发,让机器人在真实接触动力学中按弦、拨弦与协调时序。先在仿真里建立可靠证据,再走向 Wuji Hand 2 + Unitree G1。

历史回归片段05人工接触候选 · 非全数据集
历史冻结回归20/205 段 × 4 种测试条件
动作数据来源50 CSVPei Xu dataset · 尚未全部处理
最终系统目标02 hands左手按弦 + 右手拨弦 · 未完成
2026-10-09 / USER-APPROVED POSTURE

G1 坐姿基准已确认。

用户目检:认可。“这个姿态非常好。”后续围绕这一琴位和双臂总体外观整合演奏。G1 EDU 29 DoF + Wuji Hand 2;下图为实际物理执行的第 7.99 秒。

用户认可的G1坐姿:琴底落在腿上,琴头微翘,双手处于演奏区域

姿态认可 ≠ 按弦、拨弦已经通过。

保留这个姿态,继续整合演奏。

  • 琴底由大腿托住,只有腿部使用防滑垫代理。
  • 琴面后倾约 10°,琴头微翘;琴身上侧背缘靠胸,整块琴背不贴胸。
  • 左手正常握颈辅助支撑,右臂允许自然轻靠。
  • 吉他保持自由体,不固定;运动由有限电机和真实接触产生。

已完成:右臂避碰到位与 30 秒延长保持。末 5 秒琴面后倾 9.33°、琴头上翘 0.99°,拨片尖位置偏差均值 0.53 mm。

尚未完成:当前 G1 坐姿下的真实按弦+拨弦。这组场景没有物理弦,视频不能当作演奏成功。材料、3 kg 琴重和腿部摩擦代理仍待硬件标定。

右手到位 · 8 秒实际物理回放

1× 原速,无音频。从此前 60 秒物理托琴的末态继续;视频中的 t=0 是该检查点,不是重新从空中释放吉他。右手用电机走到拨片目标,左手保持握颈。

固定六视角:同一次实际执行,1× 原速

沿用 guitar-six-v5 固定镜头,琴面已补光;本片无物理弦。

30 秒延长测试:支撑、接触与尚存限制

末 5 秒腿向上支撑约 25.04 N、胸口约 0.37 N、左手净约 4.04 N,共同平衡约 29.43 N 琴重。胸口接触仍在上背缘附近;腿和颈背持续接触,胸口力超过 0.01 N 的时间占 99.625%,存在短暂卸载。0.01 N 仅用于接触统计,不是按实标准。

前 8 秒右臂未碰琴身;延长后右前臂轻靠琴身,末段平均法向力约 0.59 N,最大软接触压入约 0.00038 mm。左手没有品丝支撑,末 5 秒琴 COM 漂移约 0.69 mm。100 Hz 电机回放未发现饱和或关节越界,不保证采样间峰值。

此前初始落座的 0.69 mm 短暂接触压入尚未解决;本次从物理检查点出发不消除该历史问题。静态可达、支撑稳定与实际演奏分别验证。

下载本次证据摘要 JSON ↗
10月10日:双臂跟琴,0.5秒按C保持改善 · 演奏尚未打通

已完成的范围:自由吉他、真实电机接触执行;短桩开发弦模型,从已摆好的C手型保持0.5秒。加载后0.15–0.5秒三处目标品丝连续接触,左手误弦为0。不是连续按下、拨弦或长期robust通过。

末50ms目标品丝均力:食指5弦1品 1.77 N,中指3弦2品 2.71 N,无名指2弦3品 1.41 N。后倾约8.30°;右拨片相对琴偏移约2.95 mm,原固定右臂参考对照约28.3mm。

控制变化:右臂参考跟随吉他、前臂支撑前馈、拨片位置反馈,全部通过原力矩上限内的电机实现。未固定吉他。仍有慢漂移:琴枕世界位移约9.85mm;最大软接触压入0.085mm,不能称数学上的零穿透。

G1自由琴按C的0.498秒物理状态,短桩开发模型固定六视角,实际保存状态,不是拨弦成功证据

模型限制:短桩弦只在按弦区和拨弦区有离散节点/碰撞,中间间隔无弦碰撞;遗漏动态质量刚性集中到琴体。此结果不能替代原精细模型验收。

精细弦复核已完成:相同控制器保持0.5秒,末50ms三处品丝均力1.85/2.54/1.44 N,加载后连续接触、误弦0,右拨片相对偏移2.95 mm。连续接近尚未通过:首轮在接近中发生跨弦错位,正检查腕跟踪和手指入场路径;通过后再测拨弦释放。视频/画面好看不作为完成判据。

完整接触与支撑审计 JSON · 下方保留此前失败对照。

新增:真实弦已接入短时测试,C 演奏整合仍未通过

先用真实电机让指尖退开,保留约 9.30° 后倾、0.99° 琴头上翘。实际末态装入未变形弦后,无初始弦接触重叠;修正前直接装弦会有约 1.85 mm 重叠,失败已保留。

G1真实质量弦场景的0.098秒物理记录:指尖已退开,尚未按弦或拨弦

正常重力下完成 0.1 秒 接入检查:无数值报警、无手指触弦,琴 COM 移动约 0.014 mm。旧弦节点的重力补偿已单独做对照并关闭。这只是接入检查,时长不足以证明稳定,更不是弹奏成功。手—弦接触参数另行恢复,尚未用此短测验证接触行为。

C 迁移仍有问题:固定世界腕路径会让琴头下垂;同时考虑托颈接触的候选保持琴头约 +1.08°,但胸口接触几乎消失,四指相对原 C 指尖目标仍差约 2.4–5.9 mm。原 C 指关节 PD/前馈已迁入,并修复位置指令提前截断前馈的问题;但真实 G1 手臂与原虚拟腕控制不同,不能只复制关节角就声称旧按弦能力已复现。

历史对照:延长到0.5秒,完整保持仍未通过

三根目标弦保持贴品丝,但约0.3秒后食指又碰到旁边的4弦,整段非目标弦力峰值0.60N;琴面后倾变为约6.49°,偏离认可姿态。末100毫秒目标品丝力为1.91 / 2.79 / 1.52N,无采样关节越界,但不能因为目标弦有力就判通过。

延长到半秒后目标品丝力保持,但邻弦接触增长、琴面倾角从约9.2度降至6.5度

承重仍主要来自腿约23.21N、胸约4.32N;右臂向上净支撑约0.82N,法向接触力不能直接当作承重。当前重点是保持过程的腕部偏移与托琴耦合;连续按下和拨弦均未通过。

0.5秒延长审计 JSON ↗

G1 左手 C:接触控制对照

同一真实质量弦模型上,四组各 200 毫秒的独立冷初始化 对照:原位置接口、修正指关节力矩接口、随琴腕参考、增加腕部位置/朝向反馈。最后一组在加载后的末 50 毫秒保持三处目标品丝接触,均值为 1.99 / 2.63 / 1.47 N(食指5弦1品、中指3弦2品、无名指2弦3品;弦号从粗到细)。整段左手非目标弦接触力为0,500Hz回放未发现关节越界或电机饱和。

四种控制方式的目标品丝接触力:增加真实手臂腕部反馈后,食指接触持续到200毫秒;其余三组丢失食指接触

边界:这是从已摆好的C初态出发的短时诊断,未证明连续按下、长时保持、扰动稳健性或右手拨弦。腕误差仍约3.29mm,后倾约7.88°,右前臂法向力约19.56N;受力与原无弦姿态不同。初期最大软接触压入0.082mm,不能称数学上的零穿透。前面三组失败及限位问题均保留。

C诊断全身快照 ↗ · 固定六视角 ↗ · 四组接触审计 JSON ↗

上面的0.5秒延长已否定整体保持通过;200毫秒结果保留作定位问题的对照。公开页面不作为任务仍在后台运行的依据。

接入检查与失败摘要 JSON ↗ · 固定六视角快照 ↗

下一步:先修复保持时的腕部偏移、邻弦接触和琴位变化;再验证连续按下,最后测试右手单次拨弦。当前未启动训练。

C→D 连续双手:v4 有限扰动 milestone 通过

2026-10-08 · 一次 reset,C 拨 5→3→2;1.5 秒完成松手、换位和 D 落指,再拨 5→4→3→2。总物理时长 5.37 秒,默认原速播放;C→D 完整转换为 1.5 秒。四视角,无音频。

429.6 万物理步:七次拨弦均接触并释放;C 保持、松手、腾空换位、D 四指保持检查通过。误拨邻弦、移位触弦、自碰、手与刚体碰撞均为零。换位腕 RMS 0.516 mm,关节 RMS 0.882°。

查看 2 倍慢放:转换播放时长 3 秒,便于观察接触细节

范围:基准及两组冻结双腕偏差(y ±0.3 mm、z ±0.1 mm)已完成:三组共 21 次拨弦接触和释放通过,过渡保持无断触、无误碰。三组视频均已完整解码及抽查关键帧;仅验证这两个小定位偏差,不称广泛 robust。相较 v2,局部弦网格细化并补回左手关节参考速度;相同接触阈值,失败记录保留。0.02 N 是连续接触事件门槛,不是音质或真机按实证明。

完整冻结测试 · 每组 5.37 秒 / 429.6 万物理步
运行转换腕 RMS关节 RMS7 次拨弦 / 释放
基准0.516 mm0.882°通过
正偏差0.565 mm0.885°通过
负偏差0.622 mm0.883°通过

跟踪误差相对原始基准参考计算,含有意加入的偏差;接触每个物理步检查,跟踪统计为 120 Hz 保存状态。媒体文件完整性及关键帧审查已完成;不代表真人解剖映射获得验证。

查看两组固定小偏差 · 四视角原速视频

正偏差:双腕横向 +0.3 mm,高度 +0.1 mm

负偏差:双腕横向 −0.3 mm,高度 −0.1 mm

左手来自 dataset 姿态端点与规划过渡,右手为程序拨弦轨迹,使用刚性拨片支架和虚拟腕驱动。不是连续真人 MoCap,也不是声学或硬件验证。训练未启动。

保留 v2 失败证据及首轮视频

C→D 连续双手:v2 调试视频 · 整体未通过

2026-10-08 · 一次 reset,C 拨 5→3→2;1.5 秒完成松手、换位和 D 落指,再拨 5→4→3→2。总物理时长 5.37 秒,四视角、2 倍慢放,无音频。

改善:补回腕部参考速度后,换位腕 RMS 从 4.269 降至 0.523 mm;关节 RMS 1.830°。7 次拨弦接触与释放通过,D 四指保持检查通过,未观察到误拨邻弦或移位触弦。

仍未通过:C 食指在释放前有 4 个物理步的目标品接触不足,累计 5 微秒;另有约 1.43 kN 的瞬时刚体接触力。局部同控制重放定位到约 2.095 秒左拇指中节碰琴颈背面。低频曲线和视频未捕捉到这个短事件,不能仅凭视觉算通过。固定参数扰动复测尚未启动。

当前诊断:食指弦网格敏感性、拇指动态跟踪与碰撞。左手为 dataset 姿态端点加规划过渡,右手为程序任务轨迹与刚性拨片支架;不是连续真人 MoCap,不代表声学、硬件或 robust 验证。训练未启动。

保留首轮 v1 失败视频:换位腕 RMS 4.269 mm,缺少完整过渡审计

长窗口 retarget · 首次映射诊断

固定相机 guitar-six-v5:上排=左手近景垂直俯视/左手指腹/右手拨弦;下排=左拇指背面/沿弦左手/沿弦右手。角度、距离、格子顺序固定,左手只按参考沿琴颈平移取景;本预览没有右手模型,对应格子保留占位。1×原速。

2026-10-08 · C 600–1320、D 480–1200、E 960–1680,各6秒连续原始MoCap,新时间窗口但来自已用录制。19个左手marker完整。固定参数首次运行,未按片段重调。

以下是几何 IK + 真人 marker 叠加,不是物理执行。映射3段完成,1kHz插值检查未发现刚体/自碰穿透;弦接触、按实、释放尚未验证,不能称3/3物理成功或retarget全面robust。使用现有无接触标注的腕指mapper及tapered anchor,不是多指接触约束版的验收结果。

片段校准目标RMSraw marker RMS插值最小间隙
C3.21mm6.58mm1.29mm
D5.27mm7.33mm1.46mm
E4.62mm6.86mm0.88mm

误差不是电机跟踪误差;机器人诊断site与真人marker尚非精确解剖对应。D拇指IP在121/121规划帧接近上限,E也频繁顶限位;C食指PIP有41/121帧接近限位,需核对手型。有限采样无穿透不能证明动态接触安全。下一步:核对多阶段候选弦/品/按压时段,再进行物理接触验收。

ChordC · 6秒原速 · 固定六视角映射与marker(非物理)
ChordD · 6秒原速 · 固定六视角映射与marker(非物理)
ChordE · 6秒原速 · 固定六视角映射与marker(非物理)

Lab TODO · 硬件测量清单

状态:全部待测。2026-10-08 更新;用户计划明后天有空时进行。今天继续仿真与训练准备,不启动训练。训练方案先与 PhD 讨论。这份清单先做少量、可复查的测量,不要求采整首演奏或新 MoCap。

弦号统一从粗到细:1=低音 E,2=A,3=D,4=G,5=B,6=高音 E。每组保留原始照片/视频/读数,记录日期、工具分辨率、方法和重复测量;没有测到就填“未知”,不要填仿真默认值。

第一优先级 · 第一次到 lab 先完成

□ HW-M01 · 确认实际硬件与安装方式

做什么:记录 Wuji Hand 2 的 Beta 版本、左右手型号;吉他型号/类型、弦组品牌与六根弦线径、当前调弦、拨片材料/厚度/露出长度。确认是否能用刚性拨片支架,吉他准备如何固定在 G1 附近。

带回:型号文字、手指与拨片近照、吉他正面/侧面照片。公开网站只记型号和去标识化结果,不上传完整序列号、账号或含其他人的照片。用途:确定仿真对应的是哪套真实设备。

□ HW-M02 · 测吉他几何与弦高

工具:尺、卡尺;有塞尺更好。调好音后测有效弦长(琴枕到琴桥支点);第1、3、5、6品附近的弦中心间距与指板宽度;六根弦在第1、5、12品的弦底到品丝顶间隙。标清量的是弦底、弦顶还是中心。

记录:位置/弦号、读数mm、测量工具分辨率;关键读数重复3次。若尺精度不足,不估报0.1mm。用途:修正按弦行程、相邻弦间隙和琴颈几何。

□ HW-M03 · 确认手的控制接口和已有标定

先向 lab 查已有记录:可用命令模式、实际控制频率、时间戳、可读关节角/速度/电流、驱动限流/限矩、允许温度及已有 kp/kd 标定。确认是否有力或触觉传感器。SDK 的 torque 字段若实际是电流,保留单位A,不转成未经标定的Nm。

若已有获准的小幅无接触运动记录:保存带时间戳的目标与实际关节状态,用来估计延迟/跟踪误差;没有就先记录“待测”,不用为这份清单新做极限载荷或堵转测试。用途:确定策略真实可用观测与执行接口。

第二优先级 · 有合适测力工具时做

□ HW-M04 · 单指按弦:力–位移与是否按实

起点:5弦1品、3弦2品、2弦3品(当前C候选接触)。每个点明确沿弦位置:在目标品丝朝琴枕一侧,记录离品丝距离。使用已知形状的圆滑压头和可测法向力的传感器;拍侧面带尺度视频,缓慢加载到弦被品丝截住,再释放,每点重复3次。

记录:法向力N、压头位移mm、沿弦位置mm、压头尺寸/材料、加载/卸载方向;按住时轻拨一次,记录清晰/打品/闷音及音频。没有位移台时分级静态读数即可,不伪造连续曲线。若用电子秤,必须能把加载路径中的法向力单独测出并去皮;不把整把琴的重量变化直接当指尖力。

用途:核对所需按压力与刚度,区分“接触了”和“按实了”。不预设所有弦都必须达到统一2N或1N;不要为满足仿真数字继续过压。

□ HW-M05 · 拨片释放与邻弦干扰

起点:5、3、2弦各单独拨3次,使用准备部署的拨片与固定方式,记录拨弦位置、露出长度、方向、入弦深度和速度;用带尺度的侧面/俯视视频,条件允许时拍慢动作。首次保持同一条件,再只改变一个因素。

记录:是否自然脱离、是否卡弦/二次误拨/碰邻弦、拨开位移和释放后的轨迹;有动态测力工具再记录峰力/冲量与采样率,没有就明确“无力数据”。普通低速电子秤不能测毫秒级冲击峰值。用途:核对拨片形状、接触与释放,而非只试听音高。

后续补充 · 不阻塞今天的仿真准备

□ HW-M06 · 声音、手指表面与 G1 集成

可顺手录六根空弦及已按实音符的音频,固定录音方式、记录是否有自动增益/降噪;录音用于音高与发声诊断,不能仅凭手机响度反推接触力或精确衰减。补手指软垫材质/厚度/尺寸、已有摩擦与温升记录。G1后续另查双臂可达性、手与琴体安装/支撑;不把当前虚拟腕结果当实机验证。

最小交付:硬件/弦组清单 + 几何读数 + 驱动接口信息。有测力条件再加按弦和拨片两组实验。数据统一存项目 analysis/hardware_measurements/,建议字段:trial_id、日期、设备、弦号/品号、位置、工具/分辨率、力N、位移mm、速度、声音/释放观察、文件名、备注。首次带回后再一起判断是否足够,不急着追加大规模采集。

训练草案与条件预算 ↑ · 已验证的仿真基线 ↑

训练草案 v1 · 待讨论,未开训

接触 milestone 已完成:同一条 C→D 在基准和两个固定小偏差下通过。下一步学习的目标是减少未见定位、时序与动力学误差下的手调,不能把这三组开发结果当泛化测试。

建议:先受限残差控制

保留已验证参考和限力伺服,先比较确定性反馈与小型残差 PPO。Actor 使用关节、相对腕位姿、短历史、当前/未来目标;真实接触状态可给特权 critic,不把真机没有的精确品丝力偷偷给 actor。

先左手20关节+双腕残差,右手手型固定;有必要再开放右手关节。奖励要求真实按弦保持、拨弦冲量及释放,并惩罚误弦、异常力、超时和饱和。所有位移仍由物理驱动。

原论文值得借鉴,不能照搬

Pei Xu 论文及官方代码已核对:先单手再同步,PPO+模仿,GRU编码;参考只用scale/strum短片段。其几何按弦/拨弦奖励不能替代我们的真实弦接触。公开demo预算与论文报告不完全一致,详见Project Doc。

初版建议小MLP+短历史、非对称critic;GAN模仿和潜空间同步作为后续对照。G1真实臂、接触标定与硬件支架仍待验证。

算力:实测与假设分开

现有带控制、逐步审计和记录的CPU程序约766–769物理步/墙钟秒;模拟5.37秒需约93分钟。它不是GPU训练benchmark。按50Hz分组,100万transition约241天,说明不能直接在当前循环上大规模训练。

假设完整训练吞吐下的情景;GPU尚未实测
transition/s1000万1亿3 seed × 1亿
10027.8h277.8h833.3h
10002.78h27.8h83.3h
100000.278h2.78h8.33h

推荐下一项:现有4090上做同模型1→8→32→128环境兼容性、显存与吞吐检查,先复现CPU接触和零残差基线。再讨论小规模pilot,之后至少3 seed及未调参测试。尚未批准执行;不先租卡、不自动开训、不默认GPU支持或更粗弦模型有效。

用户决定:训练先与 PhD 讨论,暂不开训;硬件测量计划明后天进行。完整草案、代码行号、观测/动作/奖励、数据划分和预算公式:Project Doc「训练方案草案 v1(2026-10-08)」。

最新视频:固定拨片连续两轮 C

2026-10-08 · 同一次仿真,左手保持 C,右手依次拨 5→3→2,重复两轮。基准及两组固定参数小扰动共18次接触与释放通过;逐步检查没有邻弦、移位或自碰。弦号从粗到细1–6。

四视角、2倍慢放、无音频。仅证明这组局部测试;未验证完整音色或真机。当前继续 C→D 连续双手演奏和严格过渡验收;训练暂不启动,方案待里程碑完成后讨论。

连续两轮 C:基准 · 接触检查通过

小扰动:初态偏移 + / 节奏慢 5% · 接触检查通过

小扰动:初态偏移 − / 节奏快 5% · 接触检查通过

右手两条路线:指弹与固定拨片

四指在独立摆位下分别完成目标弦接触与释放;无邻弦/自碰。首试2/4,开发修正后4/4,未证明共同腕位姿下四指配合或robust。拇指释放后振幅较弱(采样0.0195mm),通过接触检查不等于拨响合格。视频2倍慢放,无音频。

thumb · 3弦

index_finger · 4弦

middle_finger · 5弦

ring_finger · 6弦

固定拨片新完成C的3弦2品、2弦3品独立拨验,与前次5弦1品合计三根分别通过;不是连续跨弦或完整C声学验证。下一步:指弹共同姿态的四指交替;拨片一次reset连续5→3→2。

右手拨片:首轮三步检查

固定方案可继续 · 未证明泛化

真实夹持候选在0.4秒重力保持中掉落;失败保留。按用户决定转固定附件:食指上的0.3g三角拨片+3g支架,全部动作通过受限电机和真实接触。

单弦/左C配合:5弦峰力0.97/0.97N;均完成触弦后释放。左C三个目标品接触保持比例100.0%, 100.0%, 100.0%。只拨验5弦1品,其他弦仅保持,未证明完整C各音干净。

4倍慢放,无音频。右手dataset-derived姿态+程序短路径,尚非dataset拨片轨迹;左手从保存物理状态初始化,不含完整按下与释放。夹持摩擦、支架与材料未实测。本面板为先前5弦基线;新增3/2弦结果见上方。右手任务控制不以dataset轨迹为前置条件。

M-SIM · 弦乐交互仿真:潜在贡献之一

已认可方向 · 待验证

项目主线仍是 humanoid + 灵巧手真正弹吉他。支撑该目标的潜在贡献之一:面向灵巧操作、经实测验证的弦–机器人双向交互仿真,配套环境、任务和sim/real对照数据。先完成吉他,小提琴作为后续扩展。

双手控制:首轮同场景检查完成

来源技法更正:来源论文的右手方案是拇指与食指夹拨片,未覆盖fingerstyle;尚未核实原始数据中的多指裸指拨弦示范。当前机器人食指直接触弦实验是dataset-derived任务改造,不是已确认的真人fingerstyle复现。多指marker存在或移动不能证明它们参与拨弦。

左手C保持+右手Arpeggio,正常与一次初态小扰动两组均完成。受限电机与真实接触,原probe已禁用。不同dataset片段人工编排时序,不是原始同步双手take。

两组5弦1品拨动后接触保持100%;右手末0.2秒不再触弦;两手自碰、刚体误碰与额外触弦均0。只直接拨验S5按弦,S6为空弦;S2/S3仅保持,未宣称完整C各音干净或已泛化。

视频为物理状态回放,无音频。虚拟腕、仿真接触力反馈与实物标定缺口仍保留。

独立球压头四档力—位移:碰品前0.5/1/1.5N对应0.202/0.404/0.606mm,与理想张力弦相差约1.2–1.5%;2.5N进入品丝承力。不是实琴校准。

物理按压的力位移检查

当前主线:逐一拨验其余按弦,再扩双手任务。精细音色后置,力学底线保留。本轮所有physics/render结束;heartbeat保持暂停;仅本地更新。

贡献要由这些证据支撑

  1. 已有方法差距与明确技术/系统改进。
  2. 独立实测的频率、衰减、力–位移和接触对照。
  3. 双向受力、扰动稳定、网格与时间步收敛。
  4. CPU/GPU性能–精度及训练可用性。
  5. 可复现环境、同步状态/力/弦运动数据和失败记录。
  6. 模型带来的机器人控制或台架迁移收益。
查看 SIM-01 至 SIM-06 验收任务 →

不预先声称“世界首个”

弦乐非线性接触与摩擦已有研究,且有公开实现:Desvages & Bilbao 2016、EfficientBowedString。找不到即插即用模型,不等于没人做过弦乐仿真。

小提琴需要弓–弦黏滑、弓毛柔顺及无品按弦验证,不能仅替换吉他参数。GPU、真实接触标定与完整双手演奏仍未完成。

“Robust / close to real”必须附范围、误差和失败率;合成数据量不替代质量与实测证据。

当前重点:可信的弦模型

独立基准已执行 · 主线模型未改

2026-10-07:用户已同意弦模型优先。保留 tendon 架构;先独立测量,再恢复手和品丝接触,最后验证 GPU。

历史验证状态(10-07;最新见顶部 v4)

  • 冻结新时间窗首轮 2/3;新 C 修复代码后仍按错品。
  • 完整 1.5 秒 C→D:D 保持成立,C 释放入口严格验收仍失败。
  • 物理发声:C3 接近,E3 偏低,C4 不可辨。
  • 右手三种 dt 无自碰且自然释放;峰力未收敛。

独立复核后的判断

过大阻尼是小振幅空弦频偏的主因。除以 1000 是诊断,不是最终标定。

接触测试原“小于 0.1% 损耗”包含静态预张紧能量;扣除后振动能量损失约 41.3%。只限该测试,不能外推实际手部接触。

GPU、实物标定、双手演奏、全数据集 robust 均未验证。

新结果:独立弦基准第一批

24项恒定阻尼/网格/时间步实现检查通过;12项频率相关阻尼实现检查通过;另6次验证扣除重力势能后的能量收敛。低阻尼六弦基频误差小于0.025%。这是无接触直弦fixture,不是实际拨弦或真机标定。

恒定阻尼无法匹配公开G弦的逐阶衰减;频率相关候选尚未作为最终模型采用。匹配实测工况、多模态、手部接触和GPU仍待验证。

弦基频误差、网格收敛、修正后的能量与公开逐阶衰减

实测G弦对照:已完成六次物理复核

前1–5阶拟合,最初候选在11–20阶留出失败:恒定阻尼误差最高78%,频率平方项约167%。新空气+材料损耗是失败后的探索,不计作新的盲测成功。

独立被动模态候选双时间步实际衰减误差约12%;高阶频率仍约0.54%偏差,未整体过筛。此独立基准未加弯曲刚度;后续单例接触对照见下,有效弦长变化的准确性和GPU仍未验证,未替换主线。

公开G弦实测与仿真频率衰减比较

整手接触第一例:C · 5弦1品

旧阻尼、低常数阻尼、频率相关候选三组真实物理对照完成,另完成低常数半时间步复核。相同Wuji左手、参考和控制器;只改变第5弦阻尼,物理拨头不是dataset右手。

三组在拨弦及随后0.4秒内目标品接触100%,无手部自碰或硬件误碰。旧阻尼振动难辨;低阻尼主峰约260–263Hz,接近目标261.58Hz。短窗频谱是诊断,尚未证明真实接触衰减或全任务鲁棒性。

半时间步拨头峰力相差 9.63%,瞬时力尚不能称已收敛。主线模型未替换;其他弦、真实右手、硬件与训练仍需验证。

同一手部参考下三种阻尼的品丝力、物理拨头力和弦振动比较

多弦时间步回归:本轮已完成

2弦在5/2.5/1.25µs下目标品接触69.4%→99.994%→99.9975%;最后两档逐步冲量差0.125%,峰力差2.38%,仍未严格连续接触。3弦在5µs失稳,在2.5/1.25µs完整执行且保持100%;冲量差0.062%、峰力差2.21%。

5弦逐步冲量差0.122%,纠正了稀疏采样造成的39%假象;峰力0.681→0.616→0.548N,瞬时力仍未收敛。低阻尼dataset右手无自碰/硬件误碰,但尚未做新时间步收敛或声学验收。

未替换主线、未启动训练;这是数值诊断,不是真机标定成功。

5弦逐步接触力脉冲与累计冲量对照

固定动作,新旧弦模型对照

左右手各三组已完成,另两次右手高频记录复核完成。相同dataset参考和控制器,依次比较旧阻尼、全六弦低阻尼、低阻尼加拨弦区1mm网格。

右手三组无自碰/琴身碰撞,跟踪约0.35°;细网格相对低阻尼旧网格,S6/S5累计法向受力变化约+1.1%/−2.3%。左手C三指接触保持且无自碰/硬件误碰,跟踪约0.39°;但细网格使物理拨头冲量增加23.25%。抗混叠谱线接近预期音高,高次谐波仍敏感;不把动作稳定当作模型通过。

抗混叠后的右手弦振动谱,基频附近相近,高次谐波能量不同

真实物理执行的记录状态回放;无合成音频;保留原仿真接触力补偿,不代表真机观察器已验证。正式模型未改。

接触benchmark:首轮13次+拨弦局部网格诊断

去掉手仍复现拨头接触脉冲,冲量远比瞬时峰力稳定。按弦夹具2N处于约1.95N线性首次碰品估计的临界附近:粗网格约70%品接触,1mm细网格低于0.4%。

细网格2.5N敏感性对照在两个dt均保持100%,平均品力0.384N、冲量差0.029%,峰力仍差6%。这是自适应诊断,不是13/13任务通过,也不是Wuji手或真实材料标定。主线模型未改。

新增0.5mm局部网格复核:相对1mm,平均品力差2.79%、冲量差0.70%,均保持接触。0.5mm再减半时间步,冲量差0.009%,但瞬时峰力仍差7.39%;不能称瞬时力收敛或全弦空间收敛。新增拨弦区16→4mm对照使冲量增加约33%;4mm半时间步冲量差仅0.025%。因此冲量的时间步稳定不等于空间收敛,当前不能直接作为训练接触基准。4mm节点平移2mm使冲量变6.43%;2mm结果接近平移后的4mm,更细1mm已复核:对2mm冲量差0.16%,半格平移差1.83%,半时间步冲量差0.16%但峰力差20.8%。原13次+9次短诊断全部结束,尚未作为正式模型采用。

拨弦区网格分辨率及相位敏感性固定2.5N局部空间和时间步对照按弦夹具的网格和力敏感性对照
  1. STR-01 · 校核测量与能量基线

    保留旧模型和失败证据;扣除静态预张紧能量;以解析信号检查频率/衰减拟合。

    完成条件:测量工具能恢复已知频率与衰减;无接触能量误差随时间步减小,数值容差执行前冻结。

  2. STR-02 · 小振幅空弦与阻尼候选

    真实质量;先素G弦与细E,再六弦;单模态与多模态测试;独立扫描阻尼、网格、dt。

    完成条件:分别报告基频、前几阶模态、衰减和收敛;Siconos实验条件与本项目参数分开;候选不称真机标定。

  3. STR-03 · 接回品丝与物理拨头

    先单指按住再拨,区分自由段振动、接触耗散和控制器做功;对照C三根目标弦。

    完成条件:检查目标品保持/打品、音高、衰减、邻弦、冲量及峰值;不能只凭静力通过。

  4. STR-04 · 左右手回归与接触规划

    新旧模型成对回放;复核高把位C、完整1.5秒C→D和右手自然释放;再修落点与释放入口。

    完成条件:不逐片段改物理参数追成功;记录退化;通过的开发结果不冒充未见数据泛化。

  5. STR-05 · GPU一致性与训练成本

    CPU基准成立后比较相同模型在Warp上的支持、数值结果、吞吐与显存;不默认支持。

    完成条件:物理一致性和吞吐分别报告;训练模型若近似,必须单独验证并记录差异。

Project Doc:notes/GUITAR_DEX_PROJECT.md;实验细节:notes/mentor_physics_checkpoint.md;执行约定:codex.md。side agent 建议经独立评议,不自动成为设计决定。仅本地预览,未发布。

HISTORICAL BASELINE / 旧慢速转换

历史 C → D:一次运行,不重置

两种时间步均通过,力收敛检查通过

12.5 秒真实动力学执行。C 三指、D 四指目标品丝在各自保持窗口内均持续接触,释放检查通过;名义时间步峰值 6.01 N,关节 RMS 0.51°,手腕 RMS 0.36 mm。旧版斜向进入 D 时,中指未压住目标品且产生 15.83 N 峰值;先在上方完成换位、再垂直下压后修复。

C 原速、D 半速;中间 4 秒为规划动作,不是连续真人录制。D 是高把位的候选接触任务,未认证为标准开放 D 和弦。使用有力限幅的虚拟手腕,尚无右手、音频或真机验证。

查看目标品丝力与跟踪曲线C 与 D 各指的目标品丝接触力以及关节跟踪误差
01 / THE BIG PICTURE

Overall draft plan

研究草案 v0.1 · 非最终方法

目标不是让手在画面里“像在弹”,而是让动作、接触、声音与真实硬件约束连接起来。下面是整个项目的工作假设和实验路线;尚未验证的部分不算进已完成进度。

RESEARCH QUESTION

人手示范如何变成
可执行的双手接触技能?

人手和机器人手结构不同,指甲 marker 也不是指腹接触点。单纯对齐姿态不能保证按住正确的弦,更不能保证拨动后能产生目标音。

END-TO-END TARGET

短音乐片段 → 双手动作
→ 物理接触 → 实际演奏

终点是一段可重复、可解释的双手演奏:正确弦/品与起音时序,有限力矩,无明显误触;最终在装有两只灵巧手的 G1 上检验。

终点是研究目标,尚未达成。曲目、真机吉他与最终算法待实验确定。

拟采用的技术路线

四个模块 + 一个共同评测层
01理解示范

MoCap / 任务目标
接触候选 + 不确定性

02构造可执行动作

腕指联合 retarget
接触、碰撞与驱动限制

03闭环控制双手

跟踪 + 接触反馈
左手就绪 / 右手拨弦

04验证与迁移

振动 / 声音 / 泛化
参数辨识 → G1

共同评测层:姿态与指法对应 · 弦–品丝接触 · 邻弦干扰 · 受力与力矩 · 时序 · 声音 · 未见动作 · 真机差异

方法怎么选?

当前基线:离线接触约束 retarget,受限电机执行参考,逐积分步做物理验收。还不是已训练的双手 policy。

后续候选:模仿学习、接触反馈或残差控制、RL。先建立相同任务与观测下的比较,再决定是否、在哪个模块使用学习方法。

待检验假设:显式接触目标和物理可执行性约束,能否比只匹配 marker 更少依赖人工调整,并迁移到未见片段?

把最终 demo 拆小

  1. 左手子任务多指按下、保持、释放 → 当前已有小集证据
  2. 一个能响的音右手单弦拨动 + 左手稳定终止
  3. 一段连续动作换指/释放与拨弦时刻协调
  4. 一段真实演奏双手上机,记录真实声音与完整失败情况
PROMISING CONTRIBUTION CANDIDATE C1

实测验证的弦–机器人交互仿真与基准

双向接触、振动、稳健性与控制价值共同验证;配套可复现环境和sim/real数据。研究目标,尚未完成。

CONTRIBUTION TARGET C2

接触感知的示范转换

保留指法,减少逐段调参,验证未见动作。

CONTRIBUTION TARGET C3

双手协同与真实演奏

把按弦、拨弦时序与硬件约束连接起来。

这些是待实验选择的贡献方向,不是已经证明的论文结论。无硬性日期承诺;按阶段验收推进。

02 / STEP BY STEP

每一步,都有可以检查的出口。

查看对应任务 ↓

当前优先保持已认可的 G1 坐姿,打通真实按弦+拨弦。下列路线与历史实验保留,最新范围见上方 G1 面板。

01
待解决接触力学底线;精细音色后置

建立可信的仿真与数据基础

统一人手、机器人手和吉他的坐标与物理模型,让失败能够被观察、复现。

产物与验收条件

产物 Wuji Hand 2 模型、MoCap 映射、共用吉他配置、每步接触与力矩审计。

验收 当前基础已用于小集回归;指腹、接触参数和真实吉他标定仍是独立待办。

02
限定通过限定范围通过

有接触目标的左手多指基准

保留 dataset 动作与指定指法,在动力学里完成多指按弦、保持与部分释放。

产物与验收条件

产物 C / F / A / Bb / D 五个片段、20 项回归、轨迹与多视角视频。

验收 当前 20/20 通过;按片段调过参数,使用人工接触候选,并不代表任意动作自动成功。

03
计划中连续转换基线之后

减少逐片段人工标注

从 MoCap 提出每指的弦、品、接触区间候选,让不确定性显式可见。

产物与验收条件

产物 标定依赖清单、冻结的开发/留出拆分、候选标签与人工核对记录。

验收 在 2–3 段未调参的非横按动作上检验;报告错误与拒判,不能用测试答案反推 offset。

04
待解决1.5秒转换严格验收未过

连续动作与未见片段

从“按住一个姿态”走向连续按下、释放、换指与换位。

产物与验收条件

产物 连续 retarget、接触状态切换、原速/降速结果、失败分类与批量数据索引。

验收 完整区间验收;开发集与留出集分开,明确速度和初始化条件,不只截取成功画面。

05
待解决进入双手同场景接触检查

右手拨弦与发声验证

建立真正的拨弦、弦振动与发声评价,区分“有接触力”和“能弹出目标音”。

产物与验收条件

产物 拨片/指拨方案对照、单弦释放振动、音高/起音/串扰评测。

验收 拨弦由驱动和接触产生;声音分析或合成由物理振动驱动,验证按弦在拨动后仍有效。

06
待解决当前:左C按住+右手拨弦

双手协同与可泛化控制

左手准备好接触,右手在正确时刻拨弦;从可执行轨迹走向可适应控制。

产物与验收条件

产物 双手时间同步、固定轨迹控制基线、模仿/残差控制/RL 对照。

验收 在未见动作、时序偏移和扰动下评估双手成功率;尚未选定最终 policy 方法。

07
待解决G1坐姿已确认;仿真演奏整合中

G1 集成与 sim-to-real

把两只手接到 G1,逐级验证实际安装、支撑、驱动与物理参数。

产物与验收条件

产物 硬件尺寸与限幅、手臂/手腕集成、参数辨识、台架到双手的分级实验。

验收 先台架单指、再左手、右手与双手;真实观测与仿真对照,不把虚拟腕成功当作 G1 结果。

08
计划中评测设计提前做

形成可检验的研究贡献

用明确问题、可靠基线、消融和失败边界支撑 robotics 论文。

产物与验收条件

产物 任务定义、数据拆分、方法对照、物理与真机证据、可复现材料。

验收 贡献由实验支持;不预设论文结论,不把人工目标或合成音频当原始人类真值。

并行工作线Retarget 与数据:INF → SEQ物理与右手:PHY → RH共同汇合:BI → HW全程记录:RES
03 / EVIDENCE, NOT ESTIMATES

历史小集回归(最新状态见页面上方)

下载验证摘要 ↗
有人工接触目标时,左手多指已经有稳定的小测试集。五段使用同一把仿真吉他,每段经过正常、半时间步和两组增益/初始姿态扰动。全部是物理接触检查,不是图像距离判断。
历史冻结版本 · 5 个片段,20 项检查;片段名称不等于完整和弦已验证
Dataset验证范围源帧速度正常半步长扰动 A扰动 B
ChordC3 指 · 三指按弦与分步释放0–4921×✓✓✓✓
ChordF4 指 · 四指尖保持 · 不含横按0–2401×✓✓✓✓
ChordA3 指 · 相邻弦三指保持120–3360.4×✓✓✓✓
ChordBb4 指 · 四指保持子任务108–2761×✓✓✓✓
ChordD4 指 · 四指保持与释放36–3000.5×✓✓✓✓
20/20 的具体含义,以及它没有证明什么

正常时间步为 5 μs,半时间步为 2.5 μs。两组扰动组合了 0.8×/1.2× 手指控制增益、±0.5 mm 初始腕位移和 0.5° 关节扰动。它们是有限回归条件,不是对任意扰动的统计保证。

保持区间要求正确手指持续接触且目标弦–品丝法向力大于 0.02 N;同时检查邻弦、刚体、自碰、穿透和驱动限幅。0.02 N 是当前接触检测阈值,不是发音质量或真机安全标准。

只有 C 与 D 在当前清单中验证了释放;A/D 使用慢速。各片段经过人工目标和参数调整,因此不能把 20/20 当作未见动作泛化率。

RECENT FIX / F 四指尖子任务

按得住,也不再把关节顶偏。

无名指末关节 RMS11.68° → 0.40°
实际手–弦平均力9.35 N → 4.50 N

同指/同弦/同品内修正落点,再降低前馈;原电机限幅不变。旧落点 + 小力按不住,新落点 + 大力仍有大误差,受控对照区分了两个因素。

总接触目标修正最大 4.84 mm(用户批准 ≤5 mm)。数据来源:原 baseline 与最终加密参考的实际执行。

OPEN LIMITATIONS

还不能叫“全部 robust”。

  • 接触目标:人工候选,不是录制时的人类接触真值。
  • A 姿态:几何指腹目标最大偏差 4.24 mm;实际保持仍有沿颈约 3 mm 错位。
  • 初始化与支撑:包含几何摆姿态/程序加载,使用受限虚拟腕,尚非 G1。
  • 现实参数:指腹、接触和阻尼未完整标定;共同网格不是空间收敛证明。
  • 任务覆盖:此历史小集不覆盖完整横按、右手、声音或全数据集泛化;最新右手与声学结果见上方。
04 / VISUAL LAB

看实际执行,再看指标。

RECORDED MUJOCO EXECUTION

以下视频是机器人仿真中已记录的动力学状态。参考来自 dataset MoCap 与人工接触目标;实际动作由受限电机与接触求解产生。不是训练好的双手 policy,也没有加入演奏音轨。

历史版本 · 4/4 通过
ChordC · 三指按弦与分步释放源帧 0–492 · 原速 1×
打开视频 ↗

采用几何初始化与稳定阶段;不代表完整从远处接近。

A 整手 + 琴颈B 手掌 / 拇指 / 琴颈背面C 指尖与品丝近景D 沿琴弦近景
1 · 低 E2 · A3 · D4 · G5 · B6 · 高 E从粗到细 · 视频中的力由物理接触求解
05 / EXECUTION PLAN

任务、依赖和完成条件

50 REVIEWABLE TASKS

展开任务看具体产物和验收条件。P0 是当前主线,P1 是关键后续或并行工作,P2 是更后期任务。状态代表记录中的事实;“下一步”不代表有实验正在后台运行。

显示 50 / 50 项任务
FND-01选定 Wuji Hand 2,保留换手配置入口P0已完成
基础建立可信的仿真与数据基础

已比较手型并选用 Wuji Hand 2;Beta1/Beta2 需要核对实际硬件。

完成条件 模型选择有依据;真机版本单独确认。

依赖:无前置任务
FND-02统一坐标、手性与弦号P0已完成
Retarget建立可信的仿真与数据基础

镜像变换与弦序已统一修正。用户弦号从粗到细 1–6。

完成条件 使用一致映射;1=低 E,2=A,3=D,4=G,5=B,6=高 E。

依赖:无前置任务
FND-03统一吉他网格、质量、张力与阻尼配置P0已完成
物理建立可信的仿真与数据基础

五段使用相同吉他模型;阻尼按代表弦长分配,细化不偷偷增加总阻尼。

完成条件 实际编译模型的 guitar signature 一致;不把它当空间收敛证明。

依赖:无前置任务
FND-04建立每积分步接触审计P0已完成
评测建立可信的仿真与数据基础

已检查正确手指、弦–品丝力、邻弦、刚体、自碰、穿透及驱动限幅。

完成条件 失败不能被截图、平均值或只看手–弦接触掩盖。

依赖:无前置任务
BASE-01完成五片段、20 项多指回归P0已完成
Retarget有接触目标的左手多指基准

正常、半时间步、两组 gain/reset,每片段四项。C/D 含释放,其他是保持子任务。

完成条件 当前冻结版本 20/20 通过;保留失败对照。

依赖:FND-02, FND-03, FND-04
BASE-02修复 F 无名指高负载与关节偏差P0已完成
Retarget有接触目标的左手多指基准

同指/同弦/同品内修正落点,降低前馈;完成落点×力的受控比较与加密参考回归。

完成条件 末关节 RMS 11.68°→0.40°;四指接触通过,电机限幅未增加。

依赖:BASE-01
BASE-03保存复现输入、结果与可视化P1已完成
评测有接触目标的左手多指基准

参考轨迹、模型、运行参数、报告 hash、多视角视频与源码快照已保存。

完成条件 从冻结清单复查结果,并区别 raw、IK 与实际动力学。

依赖:BASE-01
BASE-04跟踪 A 的指腹位置偏差P1待解决
Retarget有接触目标的左手多指基准

几何目标最大误差 4.24 mm;真实保持主要剩沿颈约 3 mm 偏差。加权与八初值诊断无实质改善。

完成条件 先确定误差来源和可接受姿态;不降低碰撞标准、不移动标签来美化分数。

依赖:BASE-01
INF-01盘点人工标签与标定之间的依赖P0下一步
Retarget减少逐片段人工标注

逐项标明腕先验、指甲→指腹 offset、弦/品选择、按压区间来自哪里。

完成条件 区分可迁移标定与答案相关标定;留出集的标签不参与参数拟合。

依赖:BASE-03
INF-02确定开发集与 2–3 段非横按留出片段P0限定通过
评测减少逐片段人工标注

冻结三个同recording新时间窗,首次2/3;不是新recording泛化。

完成条件 记录片段、缺失/跳点、速度、选择理由,实验前冻结拆分。

依赖:INF-01
INF-03生成每指弦/品/时段候选P0计划中
Retarget减少逐片段人工标注

结合几何、运动连续性和接触约束提出候选;指甲高度不能直接当接触真值。

完成条件 给出候选、置信信息与 unknown 区间;保留歧义,不强制每帧有答案。

依赖:INF-01, INF-02
INF-04人工核对候选并建立版本记录P0计划中
人工复核减少逐片段人工标注

用 raw marker、目标和机器人姿态的多视角对照,核对手指身份与明显不合理的切换。

完成条件 记录接受/修改/无法判断;人工候选仍不冒充录制时的接触真值。

依赖:INF-03
INF-05未调参片段的物理闭环验证P0待解决
评测减少逐片段人工标注

E/G首轮通过及四扰动通过;新C品位bug修复后仍目标品无力,不称robust。

完成条件 逐段报告成功、失败和拒判;测试失败若用于调参,就重新划分验证集。

依赖:INF-04
SEQ-01完成 C→D 按住—释放—换位—再按住基线P0待解决
Retarget连续动作与未见片段

最新完整1.5秒C→D两dt执行完成;D保持成立,C释放入口三个零散低品力积分步使严格验收失败。旧慢速基线见历史视频。

完成条件 本次候选接触任务转换已通过;未验证完整音乐和弦、重复往返、其他转换或未见片段泛化。

依赖:BASE-03
SEQ-02验证原速与必要的速度缩放P1计划中
控制连续动作与未见片段

当前 A=0.4×、D=0.5×;原速能力仍需单独测量。

完成条件 原速和慢速分开报告,动作保真与物理可执行性同时检验。

依赖:SEQ-01
SEQ-03可恢复的批量 retarget 与质量筛选P1计划中
数据连续动作与未见片段

本地数据目录有 50 个 CSV;它们尚未全部 retarget/验证。

完成条件 保存原始索引、配置、标签来源、失败原因和版本;只将合格轨迹进入后续训练。

依赖:INF-05, SEQ-01
SEQ-04学习或规划完整接近与握颈P2计划中
控制连续动作与未见片段

当前初始化含几何摆姿态和程序加载,不是完整从远处接近任务。

完成条件 从明确初始状态通过动力学接近、握颈并切入按弦,不靠逐帧写状态。

依赖:SEQ-01
PHY-01测量指腹与接触模型参数P1计划中
物理建立可信的仿真与数据基础

刚性指腹、接触刚度和摩擦尚未真机标定;仿真接触成功不等于 sim-to-real。

完成条件 获取可复查测量或区间;做参数敏感性与失败边界。

依赖:FND-01
PHY-02检验弦空间离散与动力学收敛P1下一步
物理建立可信的仿真与数据基础

半时间步已经检验;共同网格并不证明空间收敛。

完成条件 固定总质量、张力、总阻尼,对照网格;报告接触力和振动差异。

依赖:FND-03
PHY-03核对实体吉他与硬件尺寸P1计划中
硬件建立可信的仿真与数据基础

确认 Wuji 2 硬件版本、指腹尺寸、吉他弦距/action/颈厚。宽琴颈是候选,不是现已更换的模型。

完成条件 记录实测值和模型差异;换琴必须重新验证相关任务。

依赖:FND-01
RH-01比较拨片与直接指拨P1计划中
物理右手拨弦与发声验证

右手方案尚未决定;先设计最小单弦实验。

完成条件 比较可达性、可靠脱弦、串扰与真机装配,再决定方案。

依赖:PHY-01
RH-02单弦真实接触拨动与自由振动P1计划中
物理右手拨弦与发声验证

受限驱动让拨片/手指接触弦并脱离,不脚本强制弦形变。

完成条件 检查拨动时刻、力与振动;实验重复且没有持续粘连或数值能量异常。

依赖:RH-01, PHY-02
RH-03建立音高、起音、衰减与串扰指标P1计划中
评测右手拨弦与发声验证

声音来自物理振动的分析/合成;录制数据没有逐帧音频真值。

完成条件 区分接触、振动、声音三个成功层次,并验证目标音与邻弦输出。

依赖:RH-02
RH-04拨动扰动下验证左手按弦P1计划中
双手右手拨弦与发声验证

目前左手检查并未证明所有按弦都能承受右手拨动并清晰发音。

完成条件 拨动后目标品丝终止仍有效;记录打品、失接触和误音。

依赖:RH-02, INF-05
BI-01双手动作与接触事件同步P1计划中
双手双手协同与可泛化控制

建立左手就绪/保持、右手接触/脱弦的时间关系。

完成条件 先完成一组音,再做短序列;报告时序误差和双手联合成功。

依赖:SEQ-01, RH-04
BI-02建立控制与学习方法对照P1计划中
学习双手协同与可泛化控制

先用可执行轨迹控制作基线,再比较模仿、接触反馈/残差与 RL;不预设最终方法。

完成条件 相同观测、任务和预算比较;不以人为调整每段的结果代替泛化。

依赖:BI-01, SEQ-03
BI-03未见序列与接触扰动评测P1计划中
评测双手协同与可泛化控制

测试动作顺序、时序、标定误差和物理参数变化;开发与测试隔离。

完成条件 报告多次试验、失败类型与适用范围,保留全部失败。

依赖:BI-02
HW-01确认双手安装、通信与真实限幅P1计划中
硬件G1 集成与 sim-to-real

两只手最终装在 G1;目前虚拟腕不代表 G1 手臂支撑。

完成条件 硬件版本、安装变换、驱动接口、量程及停止条件有实测记录。

依赖:PHY-03
HW-02将虚拟腕替换为 G1 手臂/支撑模型P1待解决
硬件G1 集成与 sim-to-real

G1 EDU29+Wuji Hand2坐姿已确认,自由琴支撑与右臂到位已测试;仍需在此姿态验证按弦和拨弦。

完成条件 全模型可执行参考,支撑力与关节限制一致,明确外部夹具。

依赖:HW-01, SEQ-01
HW-03台架单指到左手的参数辨识P1计划中
硬件G1 集成与 sim-to-real

从低复杂度实验核对真实按压力、形变、tracking 与模拟差异。

完成条件 先单指,再多指与释放;用真实测量修正模型。

依赖:PHY-01, HW-01
HW-04右手、双手与 G1 实机演示P2计划中
硬件G1 集成与 sim-to-real

只有前序模块通过,才逐级组合右手拨弦、双手短序列和 G1。

完成条件 发布完整过程及失败,记录真实声音与实际接触/驱动观测。

依赖:HW-02, HW-03, RH-03, BI-03
RES-01提前定义研究问题、基线与指标P1下一步
研究形成可检验的研究贡献

候选问题:怎样将人手动作转为具有真实接触、可执行且可泛化的双手控制?

完成条件 写清现有方法差距、待验证假设与可反驳的实验;贡献尚未定论。

依赖:BASE-03
RES-02做 retarget/接触/控制消融P1计划中
研究形成可检验的研究贡献

比较纯 marker IK、接触约束、力控制、时间采样和人工校正的作用。

完成条件 一次区分一个因素;相同模型与评价条件,公开失败与人工介入量。

依赖:INF-05, BI-02
RES-03整理复现、数据许可与公开材料P2计划中
研究形成可检验的研究贡献

保存版本化配置、指标、视频和实验协议;原始 dataset 不在此网站重新分发。

完成条件 核对上游许可与演示/数据发布范围,发布可复现且归属清楚的材料。

依赖:RES-02
RES-04论文与最终项目演示P2计划中
研究形成可检验的研究贡献

目标是 robotics 会议;投稿 venue、时间与最终贡献尚未决定。

完成条件 论文结论与完整证据一致;真实实验、仿真和概念计划分别标明。

依赖:HW-04, RES-03
LATER-01F 完整食指横按与完整和弦P2延期
Retarget有接触目标的左手多指基准

用户决定后置。现有四指尖测试保留,不扩成已验证六弦 F 的说法。

完成条件 未来单独定义食指多处接触、全部目标弦与发声验收。

依赖:SEQ-01
LATER-02高难把位、横按与长曲目P2延期
双手连续动作与未见片段

先完成非横按短序列和可检验的泛化,再增加难度。

完成条件 按新增接触模式逐级扩展,不能从短片段通过推断长曲目成功。

依赖:BI-03
STR-01校核测量与能量基线P0计划中
弦模型草案建立可信的仿真与数据基础

保留旧模型和失败证据;扣除静态预张紧能量;以解析信号检查频率/衰减拟合。

完成条件 测量工具能恢复已知频率与衰减;无接触能量误差随时间步减小,数值容差执行前冻结。

依赖:无前置任务
STR-02小振幅空弦与阻尼候选P0计划中
弦模型草案建立可信的仿真与数据基础

真实质量;先素G弦与细E,再六弦;单模态与多模态测试;独立扫描阻尼、网格、dt。

完成条件 分别报告基频、前几阶模态、衰减和收敛;Siconos实验条件与本项目参数分开;候选不称真机标定。

依赖:无前置任务
STR-03接回品丝与物理拨头P0计划中
弦模型草案建立可信的仿真与数据基础

先单指按住再拨,区分自由段振动、接触耗散和控制器做功;对照C三根目标弦。

完成条件 检查目标品保持/打品、音高、衰减、邻弦、冲量及峰值;不能只凭静力通过。

依赖:无前置任务
STR-04左右手回归与接触规划P0计划中
弦模型草案建立可信的仿真与数据基础

新旧模型成对回放;复核高把位C、完整1.5秒C→D和右手自然释放;再修落点与释放入口。

完成条件 不逐片段改物理参数追成功;记录退化;通过的开发结果不冒充未见数据泛化。

依赖:无前置任务
STR-05GPU一致性与训练成本P0计划中
弦模型草案建立可信的仿真与数据基础

CPU基准成立后比较相同模型在Warp上的支持、数值结果、吞吐与显存;不默认支持。

完成条件 物理一致性和吞吐分别报告;训练模型若近似,必须单独验证并记录差异。

依赖:无前置任务
SIM-01M-SIM:明确技术贡献与相关工作差距P0下一步
研究形成可检验的研究贡献

弦乐物理与非线性接触已有工作;比较机器人双向耦合、实测、性能与控制用途。

完成条件 明确新增技术或系统/基准价值;未经系统对比不使用first。

依赖:无前置任务
SIM-02M-SIM:标定与独立实测验证P0计划中
物理建立可信的仿真与数据基础

公开数据与lab测量分开,覆盖振动、按压、释放和打品;明确范围和不确定度。

完成条件 用未拟合的弦长/品位/激励验证,报告误差分布及失败。

依赖:STR-02, STR-03
SIM-03M-SIM:双向接触与稳健性P0计划中
物理建立可信的仿真与数据基础

手与弦互相施力;扰动初态、张力、动作,检查能量、力、冲量与穿透。

完成条件 稳定性和网格/dt收敛有证据,记录失败边界。

依赖:STR-03
SIM-04M-SIM:CPU/GPU与训练成本P1计划中
计算建立可信的仿真与数据基础

比较支持情况、数值一致性、吞吐、显存;训练近似独立验证。

完成条件 给出性能–精度曲线,不预先承诺实时或GPU支持。

依赖:STR-05
SIM-05M-SIM:环境、数据与复现包P1计划中
数据形成可检验的研究贡献

版本化任务API、物理参数及同步状态/控制/接触/弦运动信号,附实测对照和失败。

完成条件 sim/real/参考录音分开;拆分与来源清楚;发布前核对许可。

依赖:SIM-02, SIM-03
SIM-06M-SIM:机器人任务与迁移收益P1计划中
评测形成可检验的研究贡献

对比几何弦、简单物理弦、校准模型;检验按弦/拨弦与可重复台架任务。

完成条件 量化控制或迁移收益;只有音色改善不足以证明机器人任务价值。

依赖:SIM-02, SIM-03
G1-POSTURE保留用户认可的坐姿基准P0限定通过
G1 / 支撑G1 集成与 sim-to-real

约10°后倾、琴头微翘;腿部防滑代理+琴上背缘靠胸+左手握颈。用户目检认可,右臂到位及30s保持已测试。

完成条件 限定无弦支撑/接近验证;保留胸口短暂卸载、慢漂移、材料未知和旧初始化问题。

依赖:无前置任务
G1-PLAY当前坐姿下左手按C+右手单弦拨动P0下一步
G1 / 双手G1 集成与 sim-to-real

围绕认可琴位与双臂总体外观,整合左手接触任务和拨片轨迹。

完成条件 自由琴真实接触支撑,同时目标弦按住、拨开后释放、无误弦/意外碰撞;尚未通过。

依赖:G1-POSTURE
06 / DECISIONS & BOUNDARIES

已经决定的,和仍然开放的。

已确定

  • 全部真物理:接触和力由仿真求解;IK 用于参考,不替代动力学。
  • 手型:Wuji Hand 2;代码保留换手配置能力。
  • 工作顺序:先仿真和有接触目标的小集,再做候选推断与泛化。
  • 当前吉他:五段统一模型,不按片段悄悄换物理条件。
  • F 横按:用户明确延期;保留已验证四指尖子任务。

开放问题

  • 实体配置:最终吉他、Wuji 2 实物版本、G1 安装与固定方式。
  • 右手:拨片还是指拨,先用最小实验比较。
  • 控制方法:何处需要学习、接触反馈或残差;还未定最终 policy。
  • 接触推断:marker→皮肤接触的可辨识性,缺失信息与拒判策略。
  • 论文:最终贡献、venue 和投稿时间由证据与进度决定。
保留失败与历史:为什么不只展示成功率

F 的旧落点 + 小力对照无名指目标品丝始终没有接触;新落点 + 大力则保留大关节误差。两者都不能替代最终低力版本。

A 的加权规划与八初值诊断未找到可采用的明显改进;不据此证明全局不可达。旧 E/G 管线失败不是当前成功结果,也没有被删除。

“通过”只针对冻结的任务、物理模型、速度与阈值。失败记录、人工调整和不确定性是研究结果的一部分。