让想法成形。
我维护或参与的开源项目,涵盖循环模型实验、GPU 推理与在线模型服务。
RWKV Lightning CUDA
作为维护者与核心开发者,开发原生 C++ RWKV-7 推理引擎,支持 NVIDIA CUDA 与 AMD ROCm,无需 PyTorch 运行时。实现 W8A16/W4A16 量化推理、连续批处理、流式生成与分层状态缓存。
ModRWKV / WorldRWKV
参与 RWKV-7 多模态研究,探索轻量化模态编码与跨模态特征融合。成果发表于 EMNLP 2025 主会,并获口头报告。
RWKV-LM-V7
参与 RWKV-7 训练框架维护、GPU 算子适配与训练实验,支持 CUDA/ROCm 多 GPU 训练、BF16 计算及模型微调。
RWKV Lightning
参与批量推理框架研发,涉及流式生成、连续批处理、循环状态管理,以及 CUDA/HIP 后端适配与量化推理优化。
Mini RWKV-7
实现约 3400 万参数 RWKV-7 模型的完整训练与推理流程,探索 Deep Embedding 和 Deep Embedding Attention 等轻量模型架构。
RetinexRWKV
将 RWKV TimeMix 引入 Retinexformer,探索循环网络在低照度图像增强与图像恢复中的应用。