Hi,各位朋友们好!我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程,迄今已经在 GitHub 上已斩获 2.4k star。如今在原课程的基础上,我们全新推出了《动手自制大模型推理框架》, 新课程支持Llama系列大模型(包括最新的LLama3.2),同时支持 Cuda 加速和 Int8 量化,自推出以来便广受好评。
《动手自制大模型推理框架》课程目录:https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
如果你对大模型推理感兴趣,想要深入了解并掌握相关技术,那么这门课程绝对不容错过。快来加入我们,一起开启学习之旅吧!感兴趣的同学欢迎扫一扫课程下方二维码或者添加微信 lyrry1997 参加课程
KuiperInfer (自制深度学习推理框架)带领你亲手打造一个深度学习推理框架。关注我的B站空间,获取最新视频更新。
跟随本项目,从零开始自制深度学习推理框架,你将有以下收获:
学习一个深度学习框架背后的知识,掌握现代C++项目的写法,调试技巧和工程经验;如何设计、编写一个计算图;实现常见的算子,卷积算子、池化算子、全连接算子等;在3的基础上,学会常见的优化手段加速算子的执行;最后你将获得一个属于自己的推理框架,可以推理resnet, unet, yolov5, mobilenet等模型,对面试和知识进阶大有裨益。视频课程