Zwrotność H8K miała być porównywalna z mniejszymi samolotami bombowo-torpedowymi, co miało umożliwić przeprowadzanie skutecznych ataków torpedowych na szybkie i manewrujące cele. Gijutsubu zażądał również opancerzenia stanowisk załogi i ochrony zbiorników paliwa. Konstruktorem odpowiedzialnym za projekt nowej łodzi latającej został inż. Shizuo Kikuhara, pracujący wcześniej przy H6K.
Budowa Aby zapewnić zaplanowane osiągi, należało wykorzystać odpowiedni układ aerodynamiczny i zespół napędowy. Dla zminimalizowania oporu dla H8K przyjęto układ wolnonośnego górnopłatu ze skrzydłami mocowanymi bezpośrednio do kadłuba. Kadłub miał długość 26,83 m i maksymalną szerokość 3030 mm. Jego kształt był kompromisem pomiędzy wymaganiami aero- i hydrodynamiki. W odróżnieniu od H6K zastosowano wolnonośne usterzenie z pojedynczym statecznikiem pionowym. H8K miał całkowicie metalową półskorupową konstrukcję z wysoko wytrzymałych stopów aluminium, krytą blachą duraluminiową. Pokryte płótnem zostały jedynie lotki, stery oraz fragmenty klap i zewnętrznych części skrzydeł za tylnym dźwigarem dla zmniejszenia masy samolotu.