Tex公式书写示例

空格 $a\ b$ 表示空格,1/3m宽度 $a;b$ 表示中等空格,2/7m宽度 极限/微积分 $\exists\ \xi \in S$ $\forall\ x\in S$ 导数 (Derivative), 连续(Continuity), 极限(Limit, Left-hand Limit, Right-hand Limit): $$ f’(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \ \lim_{x \to a} f(x) = f(a) \ \lim_{x \to a^-} f(x) \ \lim_{x \to a^+} f(x) \ \lim_{x \to \infty} f(x) \ \lim_{x \to a} f(x) = 0 $$ ...

March 18, 2025 · 702 words · compasty

Transformers学习记录

NLP基础 自然语言处理(Natural Language Processing,NLP)是一门借助计算机技术研究人类语言的科学。 NLP发展史 1970年代以前: 基于文法规则,问题:自然语言是上下文有关文法,规则无法穷举 1970年代 ~ 2006年: 基于数学模型和统计方法的自然语言处理方法开始兴起, 如“通信系统加隐马尔可夫模型”,有向图 2006年 ~ 2017年: 辛顿(Hinton)证明深度信念网络(Deep Belief Networks,DBN)可以通过逐层预训练策略有效地进行训练, 深度学习方法兴起(CNN, LSTM) 2017年 ~ 至今: Google 公司提出了 Attention 注意力模型,Transformer结构几乎一统江湖 统计语言模型发展史 Transformers模型 随着BERT和GPT的大火,Transformer 结构已经替代了循环神经网络 (RNN) 和卷积神经网络 (CNN),成为了当前 NLP 模型的标配。 ...

March 18, 2025 · 1095 words · compasty

实数理论基础

基础 七大定理 Dedekind分割定理 确界定理 Cauchy定理 闭区间套定理 单调有界定理 Heine-Borel定理(有限覆盖定理) Bolzano-Weierstrass定理 以上7条定理是相互等价的,它们描述了实数集的一些基本性质和结构。 ...

March 18, 2025 · 1204 words · compasty