Jego historia jest bardzo ciekawa. Został zakonnikiem tylko dlatego, że jego ciotka, z którą mieszkał, bardzo tego chciała. Filippo Lippi już jako dziecko był niezwykle niesforny. Ciotka uważała, że gdy zostanie bratem zakonnym, stanie się bardziej pokorny. Myliła się jednak. Lippi wciąż uciekał z zakonu, upijał się i spotykał… z kobietami! Miał jednak jedno wielkie zamiłowanie. Uwielbiał malować. Najczęściej malował sceny biblijne. Potrafił to robić tak pięknie, że pewnego dnia pewien mężczyzna z bardzo bogatego, Toskańskiego rodu Medyceusz, postanowił zabrać Filippa do swojego pałacu i kazać mu malować. Nie wypuszczał zakonnika na zewnątrz. Trzymał go w zamkniętym pokoju. Lippiemu znudziło się to, więc związał ze sobą prześcieradła i uciekł przez okno. Kilka dni potem znaleziono go w domu pewnej kobiety. Wtedy Medyceusz postanowił już więcej nie więzić zakonnika, jednak nadal zlecał mu prace i wspierał go.
W wieku pięćdziesięciu lat Fra Lippi był nadal bardzo kochliwy. Pewnego dnia porwał młodszą od siebie o trzydzieści lat mniszkę. Trzeba jeszcze zaznaczyć, że odbyło się to za jej zgodą. Kilka lat po ich ślubie (papież zwolnił ich z zakonów) urodził się im syn a potem córka. Mimo to Lippi nie zmienił swojej natury i do końca życia mieszał się w awantury miłosne.
