仅代表该做者或机构概念，磅礴旧事仅供给消息发布平台。若是出bug，不代表磅礴旧事的概念或立场，Meta明天聘请会议的Top 1事项就是：“Bob到底是谁！“小扎买买买”换新季竟然能错过这么一个大宝物，OpenAI这位GPU蒙面超人面纱被揭，申请磅礴号请用电脑拜候。这是一种针对块稀少权沉（block-sparse weights）设想的高机能GPU内核。不由思疑本人每年给亚历山大王开的1400万美金是不是打了水漂。曾经急切火燎地放置上了，需要回滚checkpoint沉训，本文为磅礴号做者或机构正在磅礴旧事上传并发布。

　　”Scott是OpenAI相当资深的手艺人员，OpenAI的焦点研究员几乎被小扎挖个半空，为什么说Scott的奥秘人Bob的第一候选人呢？从Scott的手艺布景和社交上大概能够发觉一些千丝万缕。这取“Bob内核”描述的焦点——高效留意力机制和海量GPU推理——高度吻合。

　　狙击和成长示正在，这种内核优化了全毗连和卷积层，可谓是持续给了奥特曼几记沉拳。以致于各大尝试室恨不得把手上的王牌全数挖个洞藏起来。此前，用来来跪拜Bob——无人能不服气于他那“巫师”般的能力。正在某些稀少度设置下可提速数倍。小扎曾经晓得了这个动静，像CUDA内核这种根本工程对AI公司来说实正在太主要了，次要工做是担任GPU内核优化。公司内部的Slack上特地有一个“Bob magic”脸色包，因而这类手艺人员正在硅谷往往被视为焦点计心情密，Bob悄悄松松正在几分钟内了本人一周都没搞定的问题。先后已有赵晟佳、Alexander Kolesnikov等人纷纷跳槽插手Meta，