Feifanyulu's blog

总体架构 Transformer主要由Encoders和Decoders两部分组成，假设这里的N=6，则： 这里的Encoders由训练得到的6个结构相同但参数不同的Encoder组成，Decoders由6个结构相同但参数不同的Decoder组成； 在训练阶段，最下面的inputs（问题）和Outputs（标准答案）都是一种输入，最后输出是最上面部分的Output （生成答案），再通过损失函数的值进行反向传播去修改模型的参数； .lbbjegrtlqww{zoom:50%;} .iscyryhrdddy{zoom: 40%;} 🔄 推理过程详解： ✅ Encoder： 输入句子如：["The", "cat", "sleeps"] Encoder 计算所有层的 KV（Key 和 Value） 这个 KV 仅计算一次，整个推理过程复用 ✅ Decoder： 首先给Decoder输入一个表示开始推理 然后利用Encoder生成KV值，生成一个 token（如 “I”），追加到 Decoder...

QUIC是一种加密、多路复用和低延迟的传输协议，旨在提高HTTPS流量的传输性能，并实现传输机制的快速部署和持续发展。QUIC已在Google全球数千台服务器上部署，并用于向一系列客户端提供流量，包括广泛使用的Web浏览器(Chrome)和流行的移动的视频流应用程序(YouTube)。 The QUIC Transport Protocol | Proceedings of the Conference of the ACM Special Interest Group on Data Communication QUIC，一种基于 UDP 的多路复用传输 HTTP发展史 一文读懂 HTTP/1HTTP/2HTTP/3 - 知乎 2020-05-25 ​ 从 1989 年万维网（www）诞生，HTTP（HyperText Transfer Protocol）经历了众多版本迭代，WebSocket 也在期间萌芽。1991 年 HTTP0.9 被发明。1996 年出现了 HTTP1.0。2015 年 HTTP2 正式发布。2020 年 HTTP3...

​ GridFTP对文件传输协议的扩展定义了一种安全、可靠、高性能数据移动的通用机制。这里介绍了Globus的Striped GridFTP框架，旨在支持数据密集型工具和应用程序的建设。 The Globus Striped GridFTP Framework and Server | Proceedings of the 2005 ACM/IEEE conference on Supercomputing gridftp_final.pdf Introduction 存储在二级和三级存储系统上的数据的数量和多样性以及广域网的原始容量的迅速增加，使得至少在原则上在广域网上移动大量数据是可取的和可行的。 在实践中，协调这种转移在技术上具有挑战性。 a. 经常需要在多个维度上利用并行性，包括（取决于上下文）存储系统，网络接口和骨干网络干线。 b.处理各种各样的失败。防火墙、并行文件系统和其他专用设备也会造成困难，因为需要在传输之前和/或之后转换数据。 由于这些和其他原因，快速、高效和稳健的广域端到端传输需要在多个级别管理复杂的系统。例如，在最近的工作中，我们需要32台以1...

软件优化方案：Intel DPDK Intel DPDK软件优化网络处理性能 DPDK(Data Plane Development Kit)数据面的开发包： 绕过Linux的内核协议栈，使用户态直接访问内存缓冲区，进行数据包的收发和处理； 不采用中断，而是采用轮询(Poll Mode Driver, PMD) DPDK框架图 通过mmap和外设共享内存，实现零拷贝 DPDK核心思想：穷尽一切手段优化性能 用户态模式下的PMD Driver 去除了中断影响，减少了操作系统内核的开销，消除了IO吞吐瓶颈； 避免了内核态和用户态的报文拷贝； 用户态下软件崩溃，不会影响系统的稳定性； Intel提供的PMD驱动，充分利用指令和网卡的性能； Huge Page和内存缓冲区管理 提供2M和1G的大页，减少了TLB miss，TLB...

可以在这里选择自己喜欢的风格主题：hexo官网 搭建hexo+butterfly 参考资料：使用 hexo + 主题 butterfly + Github 搭建个人博客_hexo-theme-butterfly-CSDN博客 hexo命令 1234hexo g #完整命令为hexo generate,用于生成静态文件hexo s #完整命令为hexo server,用于启动服务器，主要用来本地预览hexo d #完整命令为hexo deploy,用于将本地文件发布到github等git仓库上hexo n “my article” #完整命令为hexo new,用于新建一篇名为“my article”的文章 功能实现 发布一篇博客 1hexo new post "demo" 数学符号：LaTeX 各种命令，符号_c上面一撇用chinatex怎么打-CSDN博客 基础美化 参考资料：Butterfly美化_butterfly-vue-CSDN博客 背景动态落叶 butterfly主题魔改05：页面增加樱花动态背景效果 |...

基础知识 ​ About the Lustre® File System | Lustre ​ Lustre文件系统是一种开源并行文件系统，支持一流 HPC 模拟环境的许多要求。Lustre 文件系统诞生于卡内基梅隆大学的一个研究项目，现已发展成为支持地球上一些最强大的超级计算机的文件系统。Lustre 文件系统提供符合 POSIX 标准的文件系统接口，可以扩展到数千个客户端、PB 级存储和每秒数百 GB 的 I/O 带宽。Lustre 文件系统的关键组件是元数据服务器 （MDS）、元数据目标 （MDT）、对象存储服务器 （OSS）、对象服务器目标 （OST） 和 Lustre 客户端。 Lustre_Manual_cn.pdf Lustre中的角色： 管理服务器（Management Server, MGS）： ​ ● 管理整个文件系统的元信息和配置。 ​ ● 硬件要求：高性能 CPU、充足的内存和可靠存储设备。 元数据服务器（Metadata Server, MDS）： ​ ● 存储文件系统的元数据（如文件名、目录结构等）。 ​ ●...

​ 程序设计语言是向人以及计算机描述计算过程的记号。例如我们所知道的这个世界依赖于程序设计语言，因为在所有计算机上运行的所有软件都是用某种程序设计语言编写的。但是，在一个程序可以运行之前，它首先需要被翻译成一种能够被计算机执行的形式，完成这项翻译工作的软件系统就是编译器。编译器可以将某种语言(源语言)编写的程序翻译成一个等价的用另外一种语言编写的程序。 ​ 编译器能够把源程序映射为语义上等价的目标程序，这个过程可以由两部分组成:...