of all (things/people/days) — used to lament that, of many possibilities, the worst or most unfortunate one happened/was chosen.
よりにもよって大事な試験の日に熱を出すなんて最悪だ。
Of all days, it's the worst to get a fever on the day of an important exam.
よりにもよって彼の車が故障するなんて、旅行の計画が台無しになった。
Of all things, his car breaking down ruined the travel plans.
よりにもよってその店が閉まっているとは思わなかった。
I never expected, of all places, that that shop would be closed.