Cheilocystydy 30–60 × 5,5–12,5 µm, wymieszane z podstawkami, wrzecionowate, z długimi lub krótkimi szypułkami, czasem pokryte galaretowatą substancją. Pleurocystydy podobne. Strzępki w skórce trzonu o szerokości 2–6,5 µm, gładkie, ze sprzążkami, uchyłkowate, pokryte prostymi lub bardzo rozgałęzionymi, cylindrycznymi lub silnie nabrzmiałymi naroślami. Kaulocystydy do 65 × 20 µm, wrzecionowate, kiełbaskowate, prawie cylindryczne, maczugowate lub prawie kuliste. Gatunki podobne Grzybówkę żółtawą można pomylić z gatunkami z rodzaju Hemimycena (białogrzybówka), na przykład białogrzybówka mlecznobiałą (Hemimycena lactea) i białogrzybówką ługowatą (Hemimycena delectabilis). Różni się od tych gatunków między innymi wyraźnym zabarwieniem, żółtawym lub białym kapeluszem, różnie ukształtowanymi zarodnikami i różnym kształtem kaulocystyd.
W obrębie rodzaju Mycena M. flavoalba jest członkiem sekty Adonideae, która charakteryzuje się mniej lub bardziej jaskrawymi barwami owocników i nieamyloidowymi zarodnikami, gładkimi, wrzecionowatymi cheilocystydami, obecnością pleurocystyd, uchyłkowatymi strzępkami włoskowatych strzępek i gładkimi strzępkami warstwy korowej trzonu. Na przekroju różni się od innych gatunków barwą kapelusza – białą do żółtobiałej.