公元3世纪之前，日本列岛只有部落，曾有过“山岛”、“邪马台”等一系列名称，并未形成国家，其地理范围与今天的日本也不尽相同。3世纪末，日本本州岛上形成了以大和地区为中心的国家，其实力逐渐强大，最后统一了全岛。因此，古代日本一度以“大和”作为国号，日本民族也以“大和民族”自称。古代中国则在很长一段时间内称日本为“倭”。
“日本”一词，依照字面意思就是“太阳之本”，即太阳升起的地方，故日本有时也被称为日之国。根据历史文献，“日本”作为对外使用的国号，可追溯到公元607年，即我国隋朝的大业三年。当时，大和国推古朝摄政的圣德太子派遣隋使小野妹子到中国，谋求与隋朝建立对等的外交关系。小野妹子向隋朝呈递的日本国，有“日出处天子致书日没处天子”等字句。此中的“日出处”，可视为“日本”国名的雏形。
公元645年的大化改新，是日本古代一次重要的政治、经济改革。此后，日本仿效唐制，建立起封建中央集权制。“日本”作为国名，大约最早出现在7世纪的70年代。据《新唐书》记载，咸亨元年（670），倭国遣使入唐，此时倭国已“稍习夏音，恶倭名，更号日本。使者自言，因近日所出，以为名”。而“日本”国名正式记载于史册是公元720年。这一年，日本用汉语纪传体编写成《日纪》，把“大和”和“倭”等日本古称都改为“日本”。《日纪》是日本重要的官修史书，由当时皇室的舍人亲王等人奉敕编修，记述日本神武天皇（约前660—约前585年在位）至持统天皇（约690—约697年在位）时代的皇室谱系，具有权威的文献价值。
现代日本的正式国名为日本国（にほんこく）。自明治维新到第二次世界大战期间，日本的国名为大日本帝国（だいにっぽんていこく）。第二次世界大战后，在1946年颁布的日本新宪法中，改成现今的名字。
