@spirrro, на это есть ответ - Ёсиде в принципе нравятся девушки старше себя, так что подросток Саю его не возбуждала с самого начала. А после он к ней испытывал чувство отеческой или скорее старшебратской любви, которое не вяжется с сексом.
Собственно, то что я узнал про финал ранобэ как раз подтверждает эту теорию.