W 1913 pokonał przez techniczny nokaut w 2. rundzie byłego mistrza olimpijskiego Olivera Kirka, a w walkach o tytuł zremisował 29 kwietnia w Vernon z Johnnym Dundee, pokonał przez TKO w 6. rundzie Jimmy'ego Foxa (10 czerwca w Oakland) i wygrał na punkty z Walshem 16 września w Bostonie. W 1914 i 1915 stoczył wyłącznie walki towarzyskie. W 1914 wygrał trzy walki i stoczył 12 no decision, a w 1915 wszystkie 15 walk było no decision, w tym z takimi bokserami, jak Rocky Kansas, Kid Williams i Benny Leonard. Wśród 11 walka Kilbane'a w 1917 tylko jedna była w obronie tytułu. Znokautował w niej w 2. rundzie George'a „KO” Chaneya 4 września w Sandusky. W 1917 stoczył m.in. walki no decision w Rockym Kansasem i byłym mistrzem świata wagi lekkiej Freddiem Welshem, a w pojedynku z aktualnym mistrzem tej kategorii Bennym Leonardem 25 lipca 1917 w Filadelfii został znokautowany w 3. rundzie.