C++词法分析详解（从零开始构建C++词法分析器）

词法分析器的基本组成

一个简单的C++词法分析器通常包含以下部分：

1. 输入缓冲区：读取源代码字符。
2. 状态机：根据当前字符决定进入哪个状态（如识别数字、标识符、注释等）。
3. Token生成器：当识别出完整Token后，将其加入Token列表。

动手实现一个简易C++词法分析器

下面我们将用C++编写一个基础的词法分析器，支持识别整数、标识符、关键字（如 int、return）、运算符（+、=）和分号。

#include <iostream>#include <string>#include <vector>#include <cctype>enum class TokenType {    KEYWORD,    IDENTIFIER,    INTEGER_LITERAL,    OPERATOR,    SEMICOLON,    UNKNOWN};struct Token {    std::string value;    TokenType type;};// 简单的关键字集合bool isKeyword(const std::string& word) {    return (word == "int" || word == "return" || word == "if" || word == "else");}std::vector<Token> tokenize(const std::string& source) {    std::vector<Token> tokens;    size_t i = 0;    while (i < source.length()) {        char c = source[i];        // 跳过空白字符        if (std::isspace(c)) {            ++i;            continue;        }        // 识别整数        if (std::isdigit(c)) {            std::string num;            while (i < source.length() && std::isdigit(source[i])) {                num += source[i];                ++i;            }            tokens.push_back({num, TokenType::INTEGER_LITERAL});            continue;        }        // 识别标识符或关键字        if (std::isalpha(c) || c == '_') {            std::string ident;            while (i < source.length() &&                    (std::isalnum(source[i]) || source[i] == '_')) {                ident += source[i];                ++i;            }            if (isKeyword(ident)) {                tokens.push_back({ident, TokenType::KEYWORD});            } else {                tokens.push_back({ident, TokenType::IDENTIFIER});            }            continue;        }        // 识别运算符和分号        if (c == '+' || c == '=' || c == '-' || c == '*' || c == '/') {            tokens.push_back({std::string(1, c), TokenType::OPERATOR});            ++i;            continue;        }        if (c == ';') {            tokens.push_back({";", TokenType::SEMICOLON});            ++i;            continue;        }        // 未知字符        tokens.push_back({std::string(1, c), TokenType::UNKNOWN});        ++i;    }    return tokens;}int main() {    std::string code = "int a = 10;";    auto tokens = tokenize(code);    for (const auto& token : tokens) {        std::cout << "Token: '" << token.value                   << "' Type: " << static_cast<int>(token.type) << std::endl;    }    return 0;}

运行结果说明

当你运行上述代码时，程序会输出类似以下内容：

Token: 'int' Type: 0Token: 'a' Type: 1Token: '=' Type: 3Token: '10' Type: 2Token: ';' Type: 4

这表示我们的词法分析器实现成功将源代码分解成了多个Token，并正确分类。

扩展与优化建议

这个基础版本可以进一步增强，例如：

• 支持浮点数字面量（如 3.14）
• 处理字符串字面量（如 "hello"）
• 跳过单行（//）和多行（/* */）注释
• 使用正则表达式或工具（如 Flex）自动生成词法分析器

总结

通过本篇C++编程教程，你已经掌握了词法分析的基本概念和实现方法。理解C++词法分析不仅有助于深入学习编译器原理，还能提升你对编程语言底层机制的认知。下一步可以尝试实现语法分析器（Parser），将Token序列构建成抽象语法树（AST）！

希望这篇教程对你有帮助！欢迎继续探索C++编译器原理的更多奥秘。