Когда-то Мунисай, отец Мусаси, был приглашён в Киото сёгуном Асикага Йосиаки. Мунисай был умелым фехтовальщиком и специалистом по «дзитте», стальная дубинка с крюком для захвата лезвия меча. История повествует, что Мунисай сразился с тремя бойцами семьи Йосиока, но выиграл только в двух схватках, что, возможно, и стало причиной разногласий и плохого отношения Мусаси к этой семье.
Йосиока Сейдзиро, глава семьи, был приглашён первым за городскую черту. Сейдзиро бился настоящим мечом, Мусаси – деревянным. Мусаси опрокинул Сейдзиро яростным натиском и зверски лупил его, лежащего на земле. Слуги отнесли побитого и покалеченного хозяина домой, где он от стыда отрезал свой самурайский узел волос на макушке.
Мусаси не уезжал из столицы, его присутствие раздражало Йосиоки. Второй брат Сейдзиро, Денситиро, вызвал Мусаси на дуэль. Юный Мусаси беззаботно опоздал к назначенному часу, но, наконец объявившись, уже через несколько секунд после начала схватки разбил череп своего противника ударом деревянного меча. Денситиро упал замертво. Семейство послало Мусаси ещё один вызов от лица юного сына Сейдзиро, Ханситиро, лучшего фехтовальщика в семье. Несмотря на такие способности, Ханситиро был ещё подростком, ему не исполнилось и двадцати лет. Схватка должна была состояться в сосновой роще, прилегающей к рисовому полю. На этот раз Мусаси прибыл на место задолго до назначенного времени и спрятался, поджидая противника. Молодой Йосиока появился в полном боевом снаряжении, в сопровождении хорошо вооружённых бойцов школы и слуг, с твёрдым намерением окончательно разделаться с врагом семьи. Мусаси выжидал, скрытый тенью до тех пор, пока все не решили, что он испугался и покинул Киото. Тогда Мусаси неожиданно выскочил из укрытия и зарубил протвника и его окружение. Быстро, действуя двумя мечами, он пробился сквозь толпу вооружённых воинов и исчез.
После этого жуткого эпизода Мусаси долго путешествовал по всей Японии, став легендой ещё при жизни. На протяжении своего жизненного пути Мусаси вышел победителем в огромном количестве поединков и участвовал в шести войнах, пока, наконец, в возрасте пятидесяти лет не утихомирился и не занялся подведением итогов. Мы находим упоминание его имени и рассказы о его подвигах в хрониках, дневниках, в надписях на монументах и в народных преданиях того времени от Эдо (Токио) до Кюсю. Ещё до того, как ему исполнилось двадцать девять лет, он провёл более шестидесяти схваток и во всех вышел победителем. Самое раннее описание этих поединков содержится в «Нитен Ки» («Хрониках двух небес»), которые составлены его учениками поколение спустя после его смерти.
Некоторую часть жизни Мусаси проводит вдали от общества, посвятив себя поискам просветления на Пути меча. Озабоченный лишь совершенствованием своего мастерства, мастер боя живёт в совершенно нечеловеческих условиях, мокрый от дождей, продуваемый ветром, не причёсываясь, не глядя на женщин, не занимаясь ничем, кроме оттачивания боевого искусства. Говорят, что он в то время никогда не принимал ванны, чтобы не быть застигнутым врасплох без оружия, и приобрёл дикий и жутковатый вид.