大模型推理与缓存机制
一、缓存怎么实现:存下运算结果,下次直接当入参本质:大模型推理是一串矩阵运算。缓存 = 把之前算好的中间结果(KV 矩阵向量)存下来;下次算新内容时,把这些向量直接当入参丢进下游公式,历史原文不再重算。 根本原因:运算是确定性的——同样的文...
小孩子的心思像星空,看的见却看不懂。
一、缓存怎么实现:存下运算结果,下次直接当入参本质:大模型推理是一串矩阵运算。缓存 = 把之前算好的中间结果(KV 矩阵向量)存下来;下次算新内容时,把这些向量直接当入参丢进下游公式,历史原文不再重算。 根本原因:运算是确定性的——同样的文...
此文不定期更新,涉及站点可能失效 前言有时需要从 github 上拉取项目,会遇到 Failed to connect to github.com port 443 的情况。 kkgithub.com 截止2024-01-26 11:4...
前言公司用了阿里云的 SLS 来查看分析日志,可站点打开实属很慢,有时候某些简单的查询需要经历登录、选时间、编写语句、查询、筛选等多个步骤。 因此,我使用 Golang 开发了一个小型日志分析工具,并部署在公司的内部服务器上,以便查询特定场...
前言公司的网络最近一直不稳定,外加阿里的 composer 镜像更新不及时,导致无法用一些新的包。 为了避免测试环境构建时出现大量失败的场景,需要调研自建镜像的事宜。 由于之前公司的内部包是使用 Toran Proxy 管理的,故优先考虑了...
前言MySQL 在开始某个事务的时候,会隐式提交上一个事务。所以 MySQL 本身是不支持事务嵌套的。 但 MySQL 也给我们提供了一个 SAVEPOINT 来做出类似事务嵌套的动作,我们将运用 SAVEPOINT 来帮助我们实现事务嵌套...
前言Redis包包:github.com/go-redis/redis 文档:传送门 Demopackage mainimport ( "context" "fmt" "t...
前言JWT包包:github.com/dgrijalva/jwt-go 文档:传送门 Demopackage mainimport ( "fmt" "time" "gith...
前言最近 VPN 被各种封禁,Github 也上不了了,能否上去看缘分。 于是搜了下,是否有镜像站。 站点 站点比较慢,拉取速度还可以。 hub.fastgit.org TIPS:处于安全考虑,不建议登录账户信息 使用方式将 github...
前言在看某块功能的代码的时候,看到了比较有意思的 SQL 语句,如下: INSERT IGNORE INTO ... INSERT INTO用的最多的插入语句了,直接插入一条数据,如果主键冲突,会报错。 REPLACE INTO替换数据,...
前言之前写了一篇《SheetJS生成/解析Excel》,并在实际项目中使用了,因为项目使用的是 Element-UI 写的,其中,用了 upload 组件。 实践直接上代码(这里借用了之前的解析代码): <el-upload r...