15 października Brentford poinformował, że Milambo doznał kontuzji więzadła krzyżowego przedniego podczas zgrupowania reprezentacji Holandii U-21 i przez resztę sezonu będzie przechodził rehabilitację.
Kariera reprezentacyjna Milambo występował w kilku młodzieżowych reprezentacjach Holandii, począwszy od kategorii U-15. 6 maja 2022 roku znalazł się w kadrze Holandii na mistrzostwa Europy U-17 rozgrywane w Izraelu. Podczas turnieju rozegrał cztery mecze i zdobył bramkę w spotkaniu grupowym z Francją, zanim Holandia przegrała z tym samym rywalem 1:2 w finale.
5 września 2024 roku zadebiutował w reprezentacji Holandii do lat 21 w wygranym 5:0 meczu eliminacji mistrzostw Europy U-21 z Macedonią Północną. 26 maja 2025 roku został powołany przez selekcjonera Michaela Reizigera do kadry na mistrzostwa Europy U-21 na Słowacji. Podczas turnieju rozegrał trzy spotkania, a Holandia odpadła w półfinale po porażce z Anglią.
Życie prywatne Urodzony w Holandii Milambo jest pochodzenia kongijskiego, z Demokratycznej Republiki Konga. Jest synem byłego reprezentanta tego kraju.