De Nikkei daalde 0,64% en sloot af op 32.758,98, terwijl de bredere Topix 0,66% daalde naar 2.316,86.
De BOJ houdt een tweedaagse beleidsvergadering, die dinsdag wordt afgesloten. Marktspelers wachten op commentaar van Ueda over de timing van de beleidsverandering, ook al is de consensus dat de BOJ haar beleid tijdens deze vergadering ongewijzigd zal laten.
"Het was moeilijk om vandaag kooporders te plaatsen," zei Shoichi Arisawa, general manager van de afdeling beleggingsonderzoek bij IwaiCosmo Securities.
"Beleggers waren voorzichtig over een overreactie van de markt wanneer Ueda gevoelige opmerkingen maakt."
De markt bewoog vorige week sterk nadat Ueda's commentaar de speculatie aanwakkerde dat de BOJ deze maand al het einde van haar negatieve rentebeleid zou aankondigen.
Ueda zei dat de BOJ een "nog uitdagender" situatie verwachtte aan het einde van het jaar en begin volgend jaar, waardoor de yen naar een hoogste punt in meerdere maanden steeg en de rente op Japanse staatsobligaties vorige week omhoogschoot.
Fast Retailing, de uitbater van Uniqlo-kledingwinkels, daalde 1,18% en sleepte de Nikkei het meest omlaag. De maker van chiptestapparatuur Advances daalde 1,75% en uitzendbureau Recruit Holdings verloor 3,42%.
Scheepvaartbedrijven stegen 5,61%.
Een marktdeelnemer zei dat de stijging kwam door speculaties over verhogingen van de scheepvaarttarieven nadat twee grote vrachtbedrijven, waaronder MSC, zeiden dat ze het Suezkanaal zouden mijden nu Houthi-militanten in Jemen hun aanvallen op commerciële schepen in de Rode Zee opvoerden.
Slechts vier sectoren op de 33 subsectoren van de Tokyo Stock Exchange stegen.
Van de 225 aandelen op de Nikkei stegen er 45 en daalden er 179, terwijl er één vlak bleef.
