目前,中国互联网的现状是:用户被困在各个超级 APP 之中,如抖音、微信、哔哩哔哩、小红书等。这些超级 APP 之间几乎没有连接,每一个 APP 都是一个信息孤岛,用户和数据彼此之间不连通。
在搜索引擎上,中文语料中有效且高质量的信息已经非常稀缺。这一方面是因为移动互联网时代的到来导致了个人网站的衰落。许多原本经营网站或博客的创作者,纷纷转向这些超级 APP 开设账号、发布内容。而这些内容由于平台的封闭性,在传统搜索引擎中往往无法被检索到。
如果尝试用爬虫从这些超级 APP 中抓取信息,会面临极大的困难,因为它们的反爬机制十分强大,几乎不可能通过常规方式获取数据。
因此,我在思考是否存在一种更好的解决方式。比如,利用当前比较热门的 MCP 模型,模拟用户的浏览器操作,从而自动化地获取这些平台的信息,并将其汇总,构建一个全新的搜索产品。通过这种方式,或许可以重新连接这些分散在超级 APP 中的高质量内容,并以更开放的形式呈现给用户。