Inference as a Service 文献调研
本文主要介绍与总结近年来在推理即服务 (Inference as a Service, IaaS) 方向的进展。
学术界的研究成果(OSDI’22, Gyeong-In Yu, Byung-Gon Chun, 首尔国立大学 & FriendliAI) Orca: A Distributed Serving System for Transformer-Based Generative Models
FriendliAI是一家韩国公司，成立于2021年，“提供高效、自动的人工智能生成模型服务，致力于减轻服务生成式AI模型的负担，让更多企业能够利用生成式AI实现创新。”
提出了针对Transformer模型推理任务的细粒度调度，由原先的request级别变为iteration级别，相比NVIDIA FastTransformer提升了36.9倍的吞吐。
被认为是SOTA。
(INFOCOM’22, Chenghao Hu, Baochun Li, 多伦多大学) Distributed Inference with Deep Learning Models across H ...
欢迎，与自我介绍。
欢迎来到LinTx Blog! 这是我的第一篇博文，我也希望在这里向你介绍我自己和这个博客站点，希望得到你的喜欢与关注～
关于自己目前我是清华大学交叉信息研究院的一名大四年级学生, 同时我也将在复旦大学计算机科学学院完成博士阶段的学习。目前，我的研究兴趣和研究方向是计算机网络，当前在做的课题包括分布式机器学习的在网计算优化。
总体而言，我的科研水平和学术能力都远称不上优秀或是杰出，所遇到的问题绝大多数也并无新意，更多时候可能只是在拾人牙慧而已。因此这个博客上的内容的创新性几近于无，完备性亦有待商榷，只能勉强确保有效性，不妨当作是游戏笔墨而已。
关于博客在这个博客上，我主要会分享自己的科研经历与日常的学习。目前比较确定会有的模块会包括论文的阅读笔记（尤其是顶会的论文笔记），以及在学习中遇到的问题，并总结现有的解决方案。有时或许会跨越不同的领域，去聊一些风花雪月，毕竟作者的精力并不总是在科研上。
关于尾声这里所用到的封面图是我使用NovelAI生成的。如果没有特殊说明的话，今后的博文使用的图片都是自己生成的比较满意的图片，也希望你喜欢图片中的这位猫娘。她叫做Sitara，中文名或许可以翻 ...