Dylan nawet zdecydował się na umieszczenie jako okładki fotografii ukazującej ich wspólny spacer po Nowym Jorku.
Chociaż jest to piosenka folkowa, to jednak zupełnie nietypowa ze względu na zręczne zrównoważenie tkliwości i gniewu, cierpienia i chłodu itd. Jednak ostatnie wersy utworu są już właściwie formą złośliwej zemsty. Dylan oskarża swoją kochankę o niedojrzałość, pragnienie jego duszy (chociaż on dał jej całe swoje serce) i wreszcie oskarża ją o największą zbrodnię – zabranie mu (czy zniszczenie) jego „drogocennego czasu”.
Muzyka Pierwowzorem utworu jest najprawdopodobniej ballada „Scarlet Ribbons for Her Hair”, którą poznał dzięki interpretacji „Who’s Gonna Buy You Ribbons (When I’m Gone) swojego kolegi Paula Claytona. Sam Dylan wskazał jeszcze drugie źródło pisząc w programie do Newport Folk Festival w 1963 roku, że „bez piosenki «Lone Green Valley» nie byłoby «Don’t Think Twice, It’s All Right»”.