OPEN PROJECT · Robotics
T-Rax
T-Rax · Interactive 3D Digital Twin
15 cụm chi tiết CAD độc lập · 40 mắt xích chuyển động thực · 2-DOF Pan/Tilt & R2-D2 Audio
WAKING UP T-RAX… · ĐÁNH THỨC DROID
Đang nạp 0% cụm mắt xích & khớp cổ 2-DOF…
Chọn hành vi & Chính sách AI
purposeful_obs_v2 (54D) · mode=[1,0,0,0,0]
self.trax.breatheHuấn luyện trong MuJoCo · Triển khai xuống ESP32-S3
Lấy cảm hứng từ quy trình Sim2Real hiện đại: T-Rax dùng chung một mô hình hình học CAD 15 phân đoạn giữa trình mô phỏng vật lý MuJoCo 3.14, giao diện WebGL 3D trực tuyến và firmware ESP-IDF / XiaoZhi AI.
Mô hình động học 15 cụm & Xích liên tục
Tách rời khung gầm, 4 bánh răng (r_front = 19.2mm, r_rear = 12.4mm), 40 mắt xích (chu vi 172.56mm) và cụm cổ 2-DOF Pan/Tilt. Mô phỏng ma sát dải xích thực bằng geom_surfacevel.
scene.xml + trax_cad_kinematics.jsonPurposeful v2 (54D) & Desk Social RL (71D)
Kiến trúc phân cấp GoalManager → GoalSkillPolicy → BehaviorManager kết hợp phần dư học tăng cường (Residual PPO 5D action: Δv_L, Δv_R, Δyaw, Δpitch, LED).
purposeful_obs_v2 (54D) · desk_social_rl_v1 (71D)Biên dịch mạng nơ-ron xuống ESP32-S3
Xuất trọng số PyTorch sang đồ thị tĩnh ONNX và lượng tử hóa int8 chạy trực tiếp trên tập lệnh SIMD Vector của ESP32-S3 ở tần số điều khiển 50 Hz (dt = 20ms).
export_onnx.py → trax_policy_int8.onnxOrganic Motion & Phản xạ ToF < 15cm
Kết hợp ngôn ngữ tự nhiên qua 19+ công cụ MCP (self.trax.*), bộ tổng hợp âm thanh R2-D2 I2S DMA và phanh khẩn cấp phần cứng bằng laser VL53L0X.
self.trax.react_emotion · VL53L0X < 150mmChuyển động hữu cơ phi tuyến & Âm thanh R2-D2
Khác với robot truyền thống dùng xung tuyến tính khô cứng, T-Rax nội suy mọi quỹ đạo cổ 2-DOF và vận tốc xích bằng phương trình gia tốc sinh học kết hợp bộ lọc thông thấp PWM:
f(t) = 4t³ (t < 0.5) · 1 − (−2t + 2)³/2
Khởi động êm, tăng tốc giữa hành trình và giảm tốc mượt trước điểm dừng, bảo vệ bánh răng nhựa SG90/MG90S.
f(t) = 1 + c₃(t − 1)³ + c₁(t − 1)² (c₁ = 1.70158)
Tạo hiệu ứng “vọt lố rồi thu về” đầy biểu cảm khi T-Rax ngạc nhiên, tò mò nghiêng đầu hoặc giật mình.
Δθ(t) = A₁·sin(ω₁t) + A₂·cos(ω₂t) (0.5°–1.2°)
Ngay cả ở trạng thái nghỉ (Idle), đầu T-Rax vẫn thở nhẹ với biên độ vi mô, xóa bỏ cảm giác máy móc vô tri.
v[k] = α·v_cmd + (1 − α)·v[k−1] · d_ToF < 150mm
Làm mượt dòng khởi động cầu H DRV8833 và tự động phanh lùi khẩn cấp trong 50ms khi cảm biến VL53L0X phát hiện vật cản.
Ngôn ngữ cơ thể + Thanh âm R2-D2
Lắc vi sai 2 dải xích ngược chiều tần số cao, gật cổ nhịp nhàng và phát chuỗi âm thanh R2-D2 tam âm đi lên (880Hz → 2093Hz).
happyexcitedlaughingfunnylovingwinkingcoolconfidentQuay cổ Pan/Tilt dùng hàm Back Ease-Out (vọt lố nhẹ c₁ = 1.70158), nhích xích tới trước và phát âm vuốt tần số hỏi (520Hz → 1380Hz).
curiousthinkingsurprisedshockedconfusedsillyHạ thấp góc Tilt, duy trì dao động vi mô 0.5°–1.2° mô phỏng sinh vật sống đang thở, giảm độ sáng đèn mắt WS2812B.
neutralrelaxedsleepysadcryingembarrassedshyKhi gặp vật cản < 15cm hoặc cảm xúc giận/sợ: phanh lùi khẩn cấp, ngửa cổ +28° và phát còi báo động quét tần số xuống (1920Hz → 360Hz).
angryscaredstartleddisgustedfrustratedobstinateREJECTKiến trúc phần cứng & Giao thức ngoại vi
INMP441 Digital Mic (I2S0)
WS: GPIO 4 · SCK: GPIO 5 · SD: GPIO 6Thu giọng nói người dùng và phát hiện hướng gọi (Wake-word XiaoZhi).
MAX98357A Class-D Amp (I2S1)
DOUT: GPIO 7 · BCLK: GPIO 15 · LRC: GPIO 16Tổng hợp âm thanh R2-D2 phi ngôn ngữ (chirps, whistles, sweeps) thời gian thực.
VL53L0X Laser ToF Sensor
SDA: GPIO 8 · SCL: GPIO 9Đo khoảng cách tuyệt đối phía trước; kích hoạt phanh phản xạ khi d < 150mm.
DRV8833 Dual H-Bridge Tracks
L: GPIO 10/11 · R: GPIO 12/13 · nSLEEP: GPIO 21Điều khiển vi sai 2 dải xích trái/phải mượt mà, chống sụt áp nguồn khi đảo chiều.
2-DOF Neck Servos (Pan / Tilt)
PAN (Z): GPIO 14 · TILT (X): GPIO 17Quay ngang ±60° (±1.047 rad) & gật dọc ±40° (±0.698 rad) theo đường cong hữu cơ.
WS2812B Status & Eye RGB
DATA: GPIO 48 · BOOT BTN: GPIO 0Biểu thị trạng thái cảm xúc, chế độ AI Policy và cảnh báo an toàn ToF.
Từ bản vẽ CAD 3D đến bàn làm việc thực tế
CAD RENDER 01Kiến trúc cơ khí 3D Isometric
Khung gầm bánh xích nhỏ gọn 120×95×110mm tối ưu cho không gian bàn làm việc.
MUJOCO DESK ENVMôi trường huấn luyện 1.40 × 0.75m
Mô phỏng bàn làm việc đầy đủ laptop, màn hình, cốc nước, sách và vùng an toàn 0.50×0.40m.
CONTINUOUS TRACKSĐộng học 40 mắt xích & 4 bánh răng
Đồng bộ vận tốc bề mặt dải xích geom_surfacevel với góc quay bánh răng chủ động/bị động.
DESK SOCIAL RL V1Chính sách tương tác xã hội 71 chiều
Tối ưu hàm thưởng đa mục tiêu: giữ khoảng cách giao tiếp, nhìn theo người dùng và tránh rơi bàn.
STORY & OVERVIEW
Robot bánh xích để bàn trên nền ESP32-S3 SuperMini, XiaoZhi AI và MuJoCo Multi-Policy RL. Kết hợp cổ 2-DOF Pan/Tilt hữu cơ, 40 mắt xích chuyển động thực, âm thanh R2-D2 I2S DMA và cảm biến ToF VL53L0X.
ARCHITECTURE & TECH SPECS
Ghi chú kỹ thuật
T-Rax là hệ sinh thái robot để bàn mã nguồn mở kết hợp giữa firmware điều khiển thời gian thực trên ESP32-S3 SuperMini (XiaoZhi AI Voice Assistant Framework) và đường ống huấn luyện học tăng cường đa chính sách (MuJoCo 3.14 Multi-Policy RL → ONNX → ESP-NN int8). Thay vì phát giọng đọc TTS máy móc, T-Rax giao tiếp qua 28 kịch bản cảm xúc bằng chuỗi âm thanh chirp/sweep phong cách R2-D2 tổng hợp trực tiếp qua I2S DMA (MAX98357A + micro INMP441). Động cơ chuyển động hữu cơ (Organic Motion Engine) nội suy quỹ đạo phi tuyến (Cubic Ease-In-Out, Back Ease-Out c₁=1.70158) cho cụm cổ 2-DOF Pan/Tilt (±60° Yaw, ±40° Pitch), duy trì nhịp thở vi mô (Micro-Jitter Breathing 0.5°–1.2°) và điều khiển vi sai 40 mắt xích qua cầu H DRV8833 có lọc thông thấp PWM (α=0.25). Hệ thống tích hợp 19+ công cụ MCP (self.trax.*), phản xạ phanh lùi phần cứng khi cảm biến laser VL53L0X phát hiện vật cản < 15cm, cùng kiến trúc nhận thức phân cấp GoalManager → GoalSkillPolicy (purposeful_obs_v2 54D & desk_social_rl_v1 71D).
- MCU
- ESP32-S3 SuperMini (Dual-Core Xtensa® LX7 @ 240MHz, 4MB Flash, 2MB PSRAM, SIMD Vector)
- FIRMWARE
- XiaoZhi AI Framework / ESP-IDF + MuJoCo Multi-Policy RL (ONNX / ESP-NN)
- RTOS
- FreeRTOS Dual-Core (Core 0: Audio I2S DMA & MCP Server, Core 1: 50Hz Kinematics, Policy & ToF Reflex)
- POWER
- Pin Li-ion / LiPo → Mạch hạ áp Buck 5V 3A cấp riêng cho Servo/DRV8833 + LDO 3.3V cho ESP32-S3
Ngoại vi phần cứng
- INMP441 Digital MEMS Microphone (I2S0 RX: WS GPIO 4, SCK GPIO 5, SD GPIO 6)
- MAX98357A Class-D I2S DAC/Amplifier (I2S1 TX: DOUT GPIO 7, BCLK GPIO 15, LRC GPIO 16)
- 2-DOF Neck Servos SG90/MG90S (Pan Z GPIO 14 ±60°, Tilt X GPIO 17 ±40°, LEDC 50Hz)
- DRV8833 Dual H-Bridge Track Drive (L: GPIO 10/11, R: GPIO 12/13, nSLEEP: GPIO 21)
- VL53L0X Laser Time-of-Flight (ToF) Sensor (I2C 400kHz: SDA GPIO 8, SCL GPIO 9, 20Hz poll)
- WS2812B Addressable RGB Eye/Status LED (RMT Hardware Channel: GPIO 48)
- Khung gầm CAD 15 phân đoạn: 4 bánh răng chủ động/bị động + 40 mắt xích tuần hoàn (chu vi 172.56mm)
Phân hệ Firmware & AI
- organic_motion_engine: Nội suy phi tuyến Cubic Ease-In-Out, Back Ease-Out & Micro-Jitter Breathing
- r2d2_acoustic_synth: Tổng hợp sóng âm R2-D2 thời gian thực cho 28 trạng thái cảm xúc
- trax_mcp_server: 19+ công cụ MCP (self.trax.move, look_at, react_emotion, patrol, explore...)
- tof_reflex_guard: Giám sát laser VL53L0X 20Hz, tự động phanh lùi khi d_ToF < 150mm
- purposeful_v2_stack: Kiến trúc phân cấp GoalManager → GoalSkillPolicy (54D obs, 5D residual action)
- desk_social_rl_v1: Chính sách tương tác xã hội mặt bàn MultiInputPolicy (71D Dict observation)
- onnx_esp_nn_runtime: Lượng tử hóa int8 chạy suy luận chính sách 50Hz trực tiếp trên ESP32-S3