W 1549 r. Hirotada zmarł z przyczyn naturalnych. Niedługo potem umarł Nobuhide. Obie śmierci były potężnym ciosem zarówno dla osłabionego klanu Oda jak i dla Matsudairy, który teraz pozostał bez przywódcy. Wzmocniła się za to pozycja klanu Imagawa. Jego przywódca, Yoshimoto, wysłał armię pod dowództwem swojego wuja, Sessaia Imagawy, aby ta zaatakowała zamek Nobuhiro Ody, najstarszego syna Nobuhide oraz nowego przywódcy klanu Oda. Sessai, który był również błyskotliwym dyplomatą, wziął Nobuhiro za zakładnika. Negocjując z drugim w kolejności synem Nobuhide, Nobunagą Odą, zaoferował zwrócenie zamku oraz oszczędzenie życia Nobuhiry, jedynie pod warunkiem powrotu Takechiyo do Imagawy. Nobunaga przystał na te warunki i zarówno Nobuhiro, jak i zdobyty zamek, zostały zwrócone klanowi Oda. Sessai natomiast powrócił z Takechiyo do Sunpu. Podczas gdy Takechiyo dorastał w Sunpu, jego ród w Mikawa z obawą o swą przyszłość spoglądał na rosnącą przewagę Imagawy i osłabiony klan Oda.