C++ · CUDA · HIP · Go

RWKV Lightning CUDA

作为维护者与核心开发者,开发原生 C++ RWKV-7 推理引擎,支持 NVIDIA CUDA 与 AMD ROCm,无需 PyTorch 运行时。实现 W8A16/W4A16 量化推理、连续批处理、流式生成与分层状态缓存。

查看源码 ↗
Python · PyTorch · RWKV-7

ModRWKV / WorldRWKV

参与 RWKV-7 多模态研究,探索轻量化模态编码与跨模态特征融合。成果发表于 EMNLP 2025 主会,并获口头报告。

查看源码 ↗
Python · PyTorch · CUDA · ROCm

RWKV-LM-V7

参与 RWKV-7 训练框架维护、GPU 算子适配与训练实验,支持 CUDA/ROCm 多 GPU 训练、BF16 计算及模型微调。

查看源码 ↗
Python · PyTorch · CUDA · ROCm

RWKV Lightning

参与批量推理框架研发,涉及流式生成、连续批处理、循环状态管理,以及 CUDA/HIP 后端适配与量化推理优化。

查看源码 ↗
Python · PyTorch

Mini RWKV-7

实现约 3400 万参数 RWKV-7 模型的完整训练与推理流程,探索 Deep Embedding 和 Deep Embedding Attention 等轻量模型架构。

查看源码 ↗
Python · PyTorch

RetinexRWKV

将 RWKV TimeMix 引入 Retinexformer,探索循环网络在低照度图像增强与图像恢复中的应用。

查看源码 ↗