深入理解Rust语法分析（从零开始构建Rust语言词法与语法解析器）

动手实践：用 Rust 实现一个简易词法分析器

我们将聚焦于 词法分析器（Lexer），这是 Rust编译原理 的第一步。下面是一个支持识别整数、加号和减号的极简 Lexer 示例。

定义 Token 类型

#[derive(Debug, PartialEq, Clone)]pub enum Token {    Number(i32),    Plus,    Minus,    EOF,}

实现 Lexer 结构体

pub struct Lexer {    input: Vec<char>,    position: usize,}impl Lexer {    pub fn new(input: &str) -> Self {        Self {            input: input.chars().collect(),            position: 0,        }    }    fn current_char(&self) -> Option<char> {        self.input.get(self.position).copied()    }    fn advance(&mut self) {        self.position += 1;    }    pub fn next_token(&mut self) -> Token {        match self.current_char() {            Some('+') => {                self.advance();                Token::Plus            }            Some('-') => {                self.advance();                Token::Minus            }            Some(c) if c.is_ascii_digit() => {                let mut num = String::new();                while let Some(d) = self.current_char() {                    if d.is_ascii_digit() {                        num.push(d);                        self.advance();                    } else {                        break;                    }                }                Token::Number(num.parse().unwrap())            }            None | Some(_) => {                self.advance();                Token::EOF            }        }    }}

测试你的 Lexer

fn main() {    let input = "123 + 45 - 67";    let mut lexer = Lexer::new(input);        loop {        let token = lexer.next_token();        println!("{:?}", token);        if matches!(token, Token::EOF) {            break;        }    }}

运行这段代码，你会看到输出如下：

Number(123)PlusNumber(45)MinusNumber(67)EOF

为什么学习 Rust 语法分析很重要？

掌握 Rust语法分析 不仅能帮助你深入理解 Rust 编译器的工作原理，还能让你有能力开发自己的 DSL（领域特定语言）、解释器或静态分析工具。这也是许多高级 Rust 开发者必备的核心技能之一。

总结

本文通过一个简单但完整的例子，带你入门了 Rust语言教程 中的关键概念——词法分析器。虽然我们只处理了数字和加减号，但这个框架可以轻松扩展以支持变量、括号、函数调用等更复杂的结构。

记住，所有强大的编译器都始于一个小小的 Token。现在，轮到你动手尝试了！试着添加乘法（*）和除法（/）支持，或者处理空格和换行符。你会发现，Rust编译原理 并没有想象中那么遥远。

希望这篇关于 Rust语法分析 的教程对你有帮助！欢迎继续探索 Rust 的奇妙世界。