De Nikkei noteerde bij de middagpauze 1,06% lager op 32.620,75, terwijl de bredere Topix met 1,32% daalde naar 2.301,60.
De BOJ houdt een tweedaagse beleidsvergadering, die in de volgende sessie wordt afgesloten. Marktspelers wachten op commentaar van Ueda over de timing van de beleidsverandering, ook al is de consensus dat de BOJ haar beleid tijdens deze vergadering ongewijzigd zal laten.
"Het was moeilijk om vandaag kooporders te plaatsen," zei Shoichi Arisawa, general manager van de afdeling beleggingsonderzoek bij IwaiCosmo Securities.
"Beleggers waren voorzichtig over een overreactie van de markt wanneer Ueda gevoelige opmerkingen maakt."
De markt bewoog vorige week sterk nadat Ueda's commentaar de speculatie aanwakkerde dat de BOJ deze maand al het einde van haar negatieve rentebeleid zou aankondigen.
Ueda zei dat de BOJ een "nog uitdagender" situatie verwachtte aan het einde van het jaar en begin volgend jaar, waardoor de yen naar een hoogste punt in meerdere maanden steeg en de rente op Japanse staatsobligaties vorige week omhoogschoot.
Fast Retailing, de uitbater van Uniqlo-kledingwinkels, daalde met 1,35% en sleepte de Nikkei het meest omlaag. De maker van chiptestapparatuur Advantest daalde 2,19% en het uitzendbureau Recruit Holdings verloor 3,84%.
Tokyo Electric Power Holdings verloor 4,35% en was de grootste procentuele verliezer op de Nikkei.
Scheepvaartbedrijven maakten een sprong van 5,47% en waren de enige sector onder de 33 subindices van de Tokyo Stock Exchange die steeg.
