元宝-LLM大模型推理工程师

元宝-LLM大模型推理工程师 北京 分享

分享岗位

方式1:复制岗位链接

方式2:分享岗位海报

手机扫描二维码分享

收藏 CSIG 点击了解更多BG信息 技术 两年以上工作经验 更新于年06月08日

在腾讯，后台开发工程师不仅是“又快又稳”的问题解决专家，更是生态共创者。你将与技术团队一同沉淀优质代码，让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段，你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神，同时欢迎你一起参与团队愿景、文化和产品方向的探讨。

岗位职责

1.参与服务业务场景的llm大模型部署、运维、推理优化开发等相关工作；
2.负责推理加速方法的工程实现和落地，包括但不限于模型剪枝、模型量化、动态batch等方法；
3.调研前沿技术，推动稀疏化推理、异构推理、分布式推理等技术在搜索业务中的集成应用。

岗位要求

1.熟练掌握 C++/Python/Go语言，有2年以上llm大模型推理优化经验；
2.具备基础的GPU编程能力，包括但不限于Cuda、OpenCL；熟悉至少一种GPU加速库，如cublas、cudnn等；
3.有Tensorrt/Triton/sglang/vllm等推理框架的实际使用经验及二次开发经验；
4.熟悉量化、剪枝、动态Shape、算子融合等优化方法的基本原理和适用场景；
5.熟悉分布式推理常用加速方法，有超大模型分布式部署经验优先；
6.具备较强的抗压能力、团队协作和沟通能力，能够高效，完成项目交付和技术创新。