Pisma Browne’a zwróciły uwagę Lavatera na odrębności narodowe, mające odzwierciedlenie zwłaszcza w kształcie nosów, warg i oprawy oczu, natomiast pisma della Porty podkreśliły konieczność oddzielenia cech wynikłych z natury od cech nabytych, chociażby przez edukację. Zagadnienie to della Porta zilustrował w swojej De humana physiognomia (1586) drzeworytami zwierząt będących uosobieniem określonych cech (człowiek mający wzrok owcy ma też jej cechy charakteru i umysłu). Zarówno Włoch, jak i Anglik byli zwolennikami koncepcji sygnatur Paracelsusa. Z tego wypływała pewność słuszności koncepcji fizjonomiki – odpowiednie znaki są dane, fizjonomikowi pozostaje je rozpoznać i zinterpretować. Ludzie mający podobne cechy twarzy muszą mieć również podobne charaktery. Von der Physiognomik Lavatera opublikowana po niemiecku w 1772 r. przyniosła mu wielką popularność, także w Anglii i Francji, gdzie pojawiły się jej przekłady. Następne, czterotomowe dzieło Physiognomische Fragmente z lat 1775-78 ugruntowało sławę Lavatera. Zamieścił w nim liczne portrety i analizy charakterologiczne mnóstwa znanych postaci współczesnych i historycznych (szlachty, mieszczan, pisarzy, prostych chłopów, zbrodniarzy a nawet zwierząt).