Po krótkim okresie idylli czas pokazał, na jak kruchych podstawach opierało się tak pospiesznie zawarte małżeństwo. Charaktery obu małżonków były całkowicie odmienne. Mildred znana w środowisku jako Minky – od zamiłowania do drogich futer (mink – ang. norka), słynęła ze snobizmu i pretensji do przynależności do wyższych sfer. Boyle natomiast prowadził dużo prostsze życie. Sam będąc dobrym bokserem, zaangażował się w organizację walk i sponsorowanie adeptów walk pięściarskich. Szczęśliwa ręka do wyławiania talentów uczyniła go jednym z najbardziej znanych menadżerów pięściarskich. Przyniosła mu też niemałą fortunę. Drugą pasją Boyle'a były wyścigi. Podczas gdy Mildred spędzała czas w teatrach i modnych restauracjach, Boyle'a najłatwiej można było spotkać na torach wyścigów konnych, na bokserskich ringach i w tawernach, gdzie zawodowi bokserzy spędzali swój wolny czas. Boyle z pasją uczestniczył w pijatykach, które często kończyły się ulicznymi awanturami. Po jednym z takich wydarzeń został on aresztowany za zakłócanie porządku. Gdy otrzeźwiał w areszcie, oświadczył swym towarzyszom z celi, że skoro nie potrafi pić "jak dżentelmen, to nie będzie pił w ogóle". Wywołało to ogólne rozbawienie, ktoś odpowiedział "To może także i nie będziesz już palić?". Boyle odpowiedział, że od tego momentu pozostanie abstynentem.