诗是最早期的日本文学，而最早期的日本诗又以道地的日本学者所作的为最上乘。《万叶集》（Manyoshu）是日本最早且最负盛名的古书，该书由两位作者编撰，计有20卷，包括4.5万首诗，纵贯400年之久。此书特别显示柿本人麿（Kakinomoto Hitomaro）与山部赤人（Yamabe Akahito）的作品，这是奈良时代诗的鼎盛部分。记述柿本人麿的爱妻去世，被施予火葬，火烟冉冉冒上山际，他赋了下列这么一首哀悼之诗：
啊！那岂非爱妻？
徘徊于那寂静山丘上的云彩！
醍醐天皇对保存日本古诗可谓不遗余力，他曾在一本所谓《古今集》中搜罗了1100首诗，纵贯了150个年代。协助醍醐整编《古今集》的最得力助手纪贯之为该集所写的序言，远比片断的诗更引人入胜，序言写道：
日本的诗，像种子一样，在人的心中发芽，创造出无数用语言构成的叶子……在这个充满万物的世界里，人们努力着找出优美的字句，来表示他们所见所闻而尚留存于心底的印象……因此人们寻找字眼表达他们对百花齐放之美景、鸟语花香、薄雾笼罩大地、晨露消失等的感触……当人们看到春晨白雪飞扬笼罩着樱花树，大地雪白一片，或看到秋天黄昏时刻的落叶萧萧，当人们为时不我予、顾影自怜……或为草地露珠颤抖所焦虑，他们产生无限心思，赋之于诗。
纪贯之很恰当地表现了日本诗反复出现的题材——天气与景象、盛与衰、被火山所美化的岛国性格、多雨所造成的翠绿。日本诗人喜爱原野、森林及海洋等的不平常景象——举凡山涧跳跃的鳟鱼，静池突然跃入的青蛙，平静无浪的海岸，浓雾笼罩的山丘，纷落犹似草地上层叠的宝珠般雨珠等，均为诗人吟诗的良好题材。他们也常为其崇敬的世界吟织一首爱的诗歌，或哀悼花的凋谢以及爱情与生命的短暂。然而，这个崇尚武士道的国家，很少以诗来歌颂战争，只偶尔有诗人唱些赞美诗。奈良时期之后，大部分诗篇都是简短的；在《古今集》1100首诗中，仅有5首保存短歌（tanka）形态——一首诗有31音节，排成5行，首行与第3行为5个音节，其余每行7个音节。在这些诗里没有韵律，因为日本文字几乎都是无变化之母音字尾，使得诗人无取舍韵律余地；而且在这些诗中也无重音、音调或音量。但有诡异的虚词：这是为了音调好听而加上的无意义的字首；另有“序言或句子”附诸诗，使之更显得圆满；尚有“轴字”用以衔接上下联诗句。日本人对这些规则的设计，就像英文中的押韵或韵律一样，是经过相当时间的考验才被认可的。而广大群众对吟诗的投合，并未使诗陷于粗俗。相反，这些古典的诗，本质上均带有贵族的思想与形态。他们因为生长于宫廷的气氛里而养成了傲慢严谨的风格，他们追求诗的形式的完整而非意思的新奇。他们抑制感情而非表达感情；也由于过于高傲，他们事事追求简短。世界各地很难找出像日本诗人所表现出的这种沉默寡言；日本诗人似乎以谦逊的态度以弥补历史学家的自夸。日本人曾谓如为西风描述三页文字，未免显得鄙俗冗长，真正的艺术家不能尽为读者设想，而是诱使他主动地思考，寻出一个新奇的知觉力来启发他的观念与感觉，而这恰恰是西欧诗人所坚持的、以自我为中心并带有独占性的细节。对日本人来说，每篇诗应该是其一时的灵感的静态记录。
倘若我们想从这些诗集里，或从日本的宝藏——《百人吟集》（Hyakunin-isshu）里寻找任何英雄史诗与抒情奔放的史诗，我们将会被导入歧途。这些诗人所吟的诗，犹似客栈里美人鱼的急智一样，仅以一绳悬吊以终。因此，当西行法师（Saigyo Hoshi）最亲密的朋友去世时，他削发为僧，后来在一个其借以安慰心灵的寺庙里神秘地被人发现。他仅简单地写了下列几行诗：
隐居此地，
究为何故，
我无所知；
惟我心灵，充满慰藉，
百感交集，苍然泣下。
另外当加贺之千代（Kagano Chiyo）的丈夫辞世时，她也仅仅写了下列几行诗，以示追悼：
万事犹似一场空梦，
我梦寝……我清醒；
床何其宽，
孤单一人。
后来她又痛失幼子，于是她又补上了两行诗：
勇哉蜻蜓猎人！
今日你已远游。
在奈良与京都的宫廷圈子里，作短歌渐成为贵族的嗜好。在古印度须以一头象才能换取的女性贞操，在这宫廷里只要巧妙地吟出31音节的诗，就可获得。当时皇帝在接待客人时，常指定客人吟诗助兴；而当时的文学也常反映人民时常以离合诗句交谈，并在街道散步时也背诵着短歌诗句。在平安时代的盛期，皇帝常定期作短歌的比赛，多至1500位候选人在学者的裁判下公平吟诗竞赛。951年，为使这些诗艺比赛得到适当安排而成立了特殊的吟诗会馆，而每次比赛获胜的作品均存于馆内供人观览。
至16世纪，日本的诗因厌于短歌的冗长，又渐缩短短歌或俳句（hokku），和歌共有三行，由5、7、5共17个音节组成。1688年至1704年元禄时代，和歌的吟作大盛，并渐趋狂热；因为日本人在心智的敏感上与美国人一样，因而其心灵上对诗的喜好形态，升沉急快。男男女女、商人与战士、工匠与农人等竟荒废生活上的职务，沉溺于吟和歌作兴，立刻造成了恶兆。多少日本人在作和歌的竞赛上下了大笔的赌注，更有一些不肖之徒，把这种赌注当作事业来经营，诈取千万人民的金钱，最后政府被迫禁止这种吟诗赌注的行为。最著名的和歌大师乃松尾芭蕉（Matsuo Basho，1643—1694年），他本为一年轻武士，在为其恩师去世感叹之余，摒弃了宫廷生活及物质享受，到处漂泊、沉思、教学。他在自然诗的片断诗句中，表现出宁静哲学，并为日本文学界誉为对诗浓缩暗示的典范。他的诗很简短：
寂寞古池塘，
青蛙跳入水中央，
扑通一声响。
或：
一片青丛，
蜻蜓点水。
