人工智能可以理解语言吗?

时间:2023-11-29 18:29:02

对于人工智能来说,语言是一个难以掌握的主题。

不过,最近的人工智能取得了令人瞩目的进步,在曾被认为将是长期难题的用电脑进行文章识别和分析方面,有了很大进展。与中文房间这个问题相关的用电脑处理人类日常语言的自然语言处理领域,也因此有了进展。

人工智能可以理解语言吗?

例如,被称为形态解析(morphological analysis)的算法已经变得越来越简洁了。形态解析是指,将按照语法等要素对某篇文章进行形态(有意义的最小单位)分割,然后来做判断。

这种算法在英语中很容易运用,但在日语中就难了。因为在英语文章中,单词与单词之间有空格,比较容易进行分类。而日语文章的单词是连在一起的,需要进行词性分解。

不过最近,在日语的形态解析方面也出现了很优秀的软件。其中的MeCab 和Kuromoji 很是有名。另外,集合了文章等语言资料形成的数据库——被称为“语料库”——也越来越充实,在形态解析方面可以当作字典来使用。

不过,如果想让人工智能像我们平时说话那样来使用语言,还是挺难的。

因为语言是活的,不断地有新的词语、句子和使用方法出现。还没有被收录在语料库中的语言,被称为“未知语”。如何将这些语言更新到语料库中,据说是一个很大的课题。不过,这件事对于人类本身也是一样的。我们也经常会在报纸或杂志的新闻中看到不认识的单词。

做完形态解析之后,电脑通常会进行结构解析。这是对文章中的修饰语进行解析的阶段。

举个例子,“美丽的郁金香的红色花朵在院子里绽放”这个句子中,“花朵”这个主语与句子后半部的“绽放”是有关系的,机器是否能正确地解析出这一点呢?应该还是很难。

而且,像这样通过语法来把握文章整体内容,又会出现解释方面的问题。一段话能有很多种解释。而且日语中有一个很显著的特点是,很多句子不会写明主语是“谁/什么”。更何况,还有字里行间的意思这种无法单从句子表面意思来理解的情况。

这样看来,要让人工智能理解并使用语言,还有相当大的难度。