Zrealizowana przez niego autobiograficzna czarna komedia Oko w oko z życiem (Buffalo '66, 1998), gdzie zagrał główną postać znerwicowanego Billy’ego Browna, została doceniona przez krytyków i uhonorowana nagrodą na festiwalach filmowych w Gijón, Rotterdamie i Seattle. W komedii kryminalnej Rolanda Joffé Do widzenia, kochanku (Goodbye Lover, 1998) z Patricią Arquette pojawił się w epizodycznej roli, a w melodramacie Johnny 316 (Hollywood Salome, 1998) w roli szalonego kaznodziei Johnny’ego. Nieco później zagrał sugestywną postać sadystycznego Franka, który wraz ze swoją bezdzietną kochanką porywa ciężarną kobietę i więzi w piwnicy do czasu jej porodu w thrillerze Sidneya J. Furiego Zabawa w chowanego (Cord, 2000) z Daryl Hannah.
W 1999 wydał książkę ze zdjęciami, a dwa lata potem nagrał swój solowy album When (2001). Jego kontrowersyjny dramat kina drogi Brązowy królik (The Brown Bunny, 2003), gdzie zagrał postać przemierzającego Amerykę depresyjnego, milczącego, lubującego się w swym nieszczęściu kierowcy wyścigowego, który po utracie swojej prawdziwej miłości (Chloë Sevigny) poszukuje kochanki, wzbudził niesmak jury na 56.