Nieistniejący dwór mały|Dwór Chomińskich w 1915 roku W Olszewie istniał stary, parterowy, drewniany, barokowy dwór, zbudowany jeszcze za Ludwika Jakuba Chomińskiego. Dom stał na wysokiej podmurówce i był przykryty wysokim, łamanym, czterospadowym dachem gontowym. Na początku XIX wieku dobudowano do dworu drewniany portyk oraz dwa murowane skrzydła boczne, prostopadłe do korpusu głównego, tworzące literę „U” skierowaną w stronę ogrodu. W latach 80. XIX dobudowano z boku budynku taras, nadając domowi ostateczny kształt. Dwór był bardzo bogato wyposażony, był m.in. umeblowany kompletem XVIII-wiecznych inkrustowanych palisandrowych mebli. Ogromnej wartości były dzieła przechowywane w tutejszej bibliotece (zawierającej ponad 10 tysięcy tomów), m.in. trzymano tu znaleziony w XIX wieku Kodeks Olszewski Chomińskich, będący jednym z najstarszych pomników polskiego piśmiennictwa z terenów Wielkiego Księstwa Litewskiego, w tym Chronikę W.X.Lit. z 1550 roku, najstarszy polski tekst Statutu Litewskiego, opis wyprawy króla Zygmunta III Wazy na Moskwę oraz wiele innych cennych rękopisów. Kilka najcenniejszych dokumentów zachowało się, reszta została utracona podczas II wojny światowej.