日本自己的成文记录出现得非常晚，而且，这些最早的日文史书对早期历史的记载很不可靠，甚至前后矛盾。这些早期日文史书就是《古事记》（公元712年）和《日本书纪》（公元720年）。编这两本书的目的看起来是要对当时各种相互矛盾的神话传说进行整合，并赋予当时的统治者家族以可以和中国统治者相媲美的漫长历史渊源。书中开篇叙述了一对神仙兄妹伊邪那岐和伊邪那美创造了日本列岛的故事（另一种传说认为日本列岛是水滴从女神长矛滴落到大海形成的），他们还结成夫妇，生出了太阳女神天照大神。根据两书的描述，后来，天照大神的孙子琼琼杵尊降临人间，同时带来了三件宝物（至今仍然是天皇权力的象征）：一面铜镜（象征着太阳）、一把铁剑和一条形似熊爪的用勾玉做成的项链。这三件东西（特别是后两件）与朝鲜新罗早期的坟墓中发现的王权象征物完全一样，说明朝鲜和早期日本之间有着密切的联系。再后来，琼琼杵尊的孙子从九州北上，征服了奈良附近的低地平原（即畿内地区），并于公元前660年在大和平原建立了日本的第一个国家。不过，这个时候我们称之为日本人的人口还没有到达日本列岛，他们要再过300多年后才会出现在日本。古代日本人受到中国人的影响，竭力将国家的起源追溯到遥远的古代，以增加自己国家的威望和合法性。

琼琼杵尊的孙子征服了畿内，被尊为日本的第一位“皇帝”，并按照中国的惯例尊称他为“神武”（意思是“神圣的武士”）天皇。我们知道，公元5世纪，在畿内地区兴起的国家（它也自称大和国）已经将自己的势力范围扩充到九州岛和本州岛上今天的东京附近。同一个时期，日本人在朝鲜东南部沿海建立（或者是继续占有）了自己的据点，也就是《古事记》中提到的女祭司兼女王卑弥呼（意思是“太阳公主”）在朝鲜所建立的殖民地，不过书中将此事发生的时间大大提前了。当现代日本人的祖先进入日本诸岛时，岛上（至少在本州岛）的主要居民是与日本人完全不同的“虾夷人”（Ainu，亦译为“阿依努人”）。这些土著居民的身体特征与日本人完全不同，属于高加索人种，面部和体表有较多的毛发，因此常被称作“毛虾夷”。

在日本人从九州岛这个最早的立足之地（因其离朝鲜最近）向北、东方向扩张的过程中，阿依努人和早期从东南亚来的移民的利益受到了侵犯。至少在10万年前，就有来自亚洲的居民迁到日本居住，这些人首先被征服、奴役、同化和驱逐到东部和北部。长期以来，日本人和阿依努人都以京都以北的琵琶湖为界，各据一方。逐渐地，日本人占据了上风，不过，在长期的历史进程中，日本人和阿依努人进行了通婚（或混种），使得现代日本人毛发普遍比中国人多。中国人对其他民族的人都保持一种高高在上的姿态，将日本人称作“多毛的海上侏儒”，因为日本人通常都比中国人矮小（可能是膳食中蛋白质太少所导致），还因为他们更擅长于海盗等海上活动。中国人最早称日本人为“倭”，意思是“矮人”。阿依努人在本州北部一直居住到日本历史开始的时代。不过，到现在，阿依努人已经成为退缩到位于最北端的北海道的保留区中一个小规模的、不断萎缩的少数民族。

到大约公元200年，日本人不再依赖进口铁器，而能够自己制造铁质工具和武器，于是铁器开始在日本得以广泛推行。铁器的应用无疑进一步提高了农业生产力，促进了人口的增长，使日本人在与处于技术落后状态的阿依努人竞争时占了上风。古坟时代的日本制陶技术较弥生时代有了进一步的发展，此时的陶器烧得更彻底，因此也更为实用。日本继续和朝鲜保持密切的联系。在公元815年编成的一部氏族志中，超过三分之一的日本贵族宣称自己的祖先来自朝鲜，以此作为自己拥有优越地位的象征。许多朝鲜的工匠、冶金工人、其他技术人员和书吏等都定居日本，还有不少朝鲜人挤进了日本贵族阶层，有的甚至成为统治者。日本和朝鲜两国之间也发生过相互攻伐，日本人主要是想保住甚至扩充自己在朝鲜东南部沿海的据点，不过，到约公元400年，两国之间的武力攻袭行为就逐渐消失了。从这个时候开始，中国史书关于日本的记载和日本人对自身历史的记载就差不多相一致了，至少在各种事件的大致发生年代上两者的记载大体上相差无几。不过，日本真正的信史要等到400年之后才会出现，也就是在8世纪早期形成的充满神话色彩的、由各种传说混合而成的《古事记》和《日本书纪》之后。