虚实融合,
重构空间生产力
HoloGrip 旨在打破屏幕物理维度的局限。我们通过手势空间追踪与多模态生成式 AI 的深度融合,让数字设计如捏陶般自然,将二维世界的想象无缝投射到三维现实空间,探索真正的无界人机交互。
空间交互 (AR Tracking)
借助先进的计算机视觉算法实现微毫米级的手势三维定位与手捏(Pinch)捕获,让你的双手直接抓取和雕琢空间中的几何对象。
多模态生成式 AI
内嵌高级多模态推理模型。只需用指尖简单勾勒草图,或说出你的创意,AI 即可在毫秒间推理重建出精确的 3D 网格模型结构。
数理几何美学
依托严谨的 3D 渲染与数值计算内核,将深奥的数学函数与空间几何图形公式实时转换成流畅的可视化交互,赋予代码以雕塑般的美感。
全栈空间算力,
数据与感知的闭环
HoloGrip 构建了由本地高效追踪、云端智能推理、端侧实时 3D 渲染和原生壳级打包组成的软硬件交互生态。
数据流与处理管线
感知输入 (MediaPipe Hands)
通过摄像头帧捕获,实时提取双手 21 个空间 3D 关键点,计算捏合距离与屏幕像素映射。
三维视效引擎 (React Three Fiber / Three.js)
利用 WebGL 构建虚拟画板、刻度尺、圆规等空间几何工具,提供极致流畅的动态响应。
云端智能推理 (Gemini Vision Pro API)
当检测到建模请求,将绘制的草图数据及提示词通过安全通道送达 AI,进行拓扑网格三维重建。
轻量级原生容器 (Tauri 2.0 Wrapper)
基于 Rust 编写的原生壳,与底层操作系统紧密结合,保证极低的系统资源占用与高安全性。
技术栈矩阵
前端核心
Vite + React + TS3D 空间
R3F / Three.js机器视觉
MediaPipe Hands生成式 AI
Gemini Pro Vision核心研发
空间技术矩阵
我们通过空间交互与大模型赋能数学、物理学及传统非遗,探索感知的边界。
01 / HoloMath 空间几何画板 (V0.1.1)
基于 MediaPipe 手势捕捉与 R3F 构建的三维数学白板。支持在空中徒手绘制立体多面体、锥体及动态函数曲面,并在虚拟直角坐标系内测量相交夹角。
02 / HoloPhysics 空间物理沙盒
支持空间微手势交互的多物理场模拟器。用户可在空气中投放电荷或质量天体,交互式演算万有引力轨迹、静电电力线分布与多弹性刚体碰撞。
03 / HoloShadow 空间生成式皮影戏
融合国家非遗传统皮影艺术。利用双手 3D 骨架模型动态绑定皮影戏角色肢体关节,通过手指伸展弯曲精准操控皮影身段与武打动作,AI 实时渲染纸质漫透射灯效。
联系主创,
开启技术协作
如果你对 HoloGrip 交互设计感兴趣,欢迎随时与我建立联系。