从零开始构建搜索引擎（C++语言搜索引擎算法实战教程）

第一步：准备文档数据

我们先定义一些简单的文档作为测试数据：

#include <iostream>#include <vector>#include <string>#include <unordered_map>#include <sstream>#include <cctype>struct Document {    int id;    std::string content;};std::vector<Document> docs = {    {1, "C++ is a powerful programming language."},    {2, "Search engines use algorithms to rank results."},    {3, "C++ can be used to build high-performance search systems."},    {4, "Algorithms are essential in information retrieval."}};

第二步：构建倒排索引（Inverted Index）

倒排索引是搜索引擎的核心数据结构。它将每个词映射到包含该词的文档 ID 列表。例如，“C++” 出现在文档 1 和 3 中。

// 将字符串转为小写并分词std::vector<std::string> tokenize(const std::string& text) {    std::vector<std::string> tokens;    std::istringstream iss(text);    std::string word;    while (iss >> word) {        // 转小写        for (char& c : word) {            c = std::tolower(c);        }        // 简单去除标点（仅保留字母）        word.erase(std::remove_if(word.begin(), word.end(),                   [](char c) { return !std::isalpha(c); }),                   word.end());        if (!word.empty()) {            tokens.push_back(word);        }    }    return tokens;}// 构建倒排索引std::unordered_map<std::string, std::vector<int>> buildInvertedIndex(    const std::vector<Document>& docs) {    std::unordered_map<std::string, std::vector<int>> index;    for (const auto& doc : docs) {        auto tokens = tokenize(doc.content);        for (const auto& token : tokens) {            index[token].push_back(doc.id);        }    }    return index;}

第三步：实现搜索与排序

当用户输入查询词（如 “C++ algorithms”），我们需要找出包含这些词的文档，并根据匹配程度排序。这里我们采用简单的“词频计数”作为相关性评分标准。

std::vector<std::pair<int, int>> search(    const std::string& query,    const std::unordered_map<std::string, std::vector<int>>& index,    const std::vector<Document>& docs) {        auto tokens = tokenize(query);    std::unordered_map<int, int> docScores; // 文档ID -> 匹配次数    for (const auto& token : tokens) {        if (index.find(token) != index.end()) {            for (int docId : index.at(token)) {                docScores[docId]++;            }        }    }    // 转为 vector 并按分数降序排序    std::vector<std::pair<int, int>> results(docScores.begin(), docScores.end());    std::sort(results.begin(), results.end(),              [](const auto& a, const auto& b) {                  return a.second > b.second; // 分数高的在前              });    return results;}

第四步：整合主函数并测试

最后，我们将所有部分组合起来，并运行一个简单测试：

int main() {    auto index = buildInvertedIndex(docs);    std::string query = "C++ algorithms";    auto results = search(query, index, docs);    std::cout << "Query: " << query << "\n\n";    for (const auto& result : results) {        int docId = result.first;        int score = result.second;        // 找到原始文档内容        for (const auto& doc : docs) {            if (doc.id == docId) {                std::cout << "[Score: " << score << "] Doc " << docId                           << ": " << doc.content << "\n";                break;            }        }    }    return 0;}

总结与进阶方向

恭喜你！你已经用 C++ 实现了一个基础的搜索引擎原型。这个项目涵盖了搜索引擎排序算法中最核心的思想——倒排索引与相关性打分。虽然它还很简单，但这是理解工业级搜索引擎（如 Lucene、Elasticsearch）的第一步。

如果你希望深入学习C++信息检索，可以考虑以下优化方向：

• 引入 TF-IDF 或 BM25 等更高级的相关性算法
• 支持布尔查询（AND/OR/NOT）
• 使用 Trie 或哈希表优化索引性能
• 将索引持久化到磁盘以支持大规模数据

通过本教程，你不仅掌握了 C++ 编程技巧，也理解了现代搜索引擎背后的基本原理。继续加油，未来的搜索技术或许就由你来革新！