Inference as a Service 文献调研
本文主要介绍与总结近年来在推理即服务 (Inference as a Service, IaaS) 方向的进展。
学术界的研究成果(OSDI’22, Gyeong-In Yu, Byung-Gon Chun, 首尔国立大学 & FriendliAI) Orca: A Distributed Serving System for Transformer-Based Generative Models
FriendliAI是一家韩国公司,成立于2021年,“提供高效、自动的人工智能生成模型服务,致力于减轻服务生成式AI模型的负担,让更多企业能够利用生成式AI实现创新。”
提出了针对Transformer模型推理任务的细粒度调度,由原先的request级别变为iteration级别,相比NVIDIA FastTransformer提升了36.9倍的吞吐。
被认为是SOTA。
(INFOCOM’22, Chenghao Hu, Baochun Li, 多伦多大学) Distributed Inference with Deep Learning Models across H ...
欢迎,与自我介绍。
欢迎来到LinTx Blog! 这是我的第一篇博文,我也希望在这里向你介绍我自己和这个博客站点,希望得到你的喜欢与关注~
关于自己目前我是清华大学交叉信息研究院的一名大四年级学生, 同时我也将在复旦大学计算机科学学院完成博士阶段的学习。目前,我的研究兴趣和研究方向是计算机网络,当前在做的课题包括分布式机器学习的在网计算优化。
总体而言,我的科研水平和学术能力都远称不上优秀或是杰出,所遇到的问题绝大多数也并无新意,更多时候可能只是在拾人牙慧而已。因此这个博客上的内容的创新性几近于无,完备性亦有待商榷,只能勉强确保有效性,不妨当作是游戏笔墨而已。
关于博客在这个博客上,我主要会分享自己的科研经历与日常的学习。目前比较确定会有的模块会包括论文的阅读笔记(尤其是顶会的论文笔记),以及在学习中遇到的问题,并总结现有的解决方案。有时或许会跨越不同的领域,去聊一些风花雪月,毕竟作者的精力并不总是在科研上。
关于尾声这里所用到的封面图是我使用NovelAI生成的。如果没有特殊说明的话,今后的博文使用的图片都是自己生成的比较满意的图片,也希望你喜欢图片中的这位猫娘。她叫做Sitara,中文名或许可以翻 ...


