Notes From The Workbench

Reference RoPE 原论文 https://arxiv.org/abs/2104.09864 一作苏剑林 原追一科技，现在在月之暗面做Kimi K2模型开发） 苏剑林的个人官网+博客 https://spaces.ac.cn/ RoPE b站讲解，from: 望舒同学 https://www.bilibili.com/video/BV12x4212

Basics cross entropy loss 添加图片注释，不超过 140 字（可选） 针对每个 batch的 average loss 添加图片注释，不超过 140 字（可选） N = batch size（样本数），ℓi = 第 i 个样本的 loss 假如 batch 是 3 添加图片注释，不超过 140 字（可选） 对样本平均 添加图片注释，不

sentencepiece 报错 与python 3.13不兼容 https://github.com/google/sentencepiece/issues/1083 遇到过几次这个问题，每次安装transformer都会提示sentencepiece没有安装，然后pip install sentencepiece安装报错，最后发现是与新版的python

Edges shape = 2, number edges g = 0,1,2 , 2,3,4 g 0 = 0,1,2 source nodes g 1 = 2,3,4 destination nodes Nodes & features shape = number of nodes, feature dimensions x = torch.randn