A Fazenda Penedo foi adquirida pelos finlandeses em 1929 da Abadia de Nullius da Nossa Senhora de Monte Serrat. Por ter pertencido a uma abadia, e sido uma fazenda de café com mão de obra escrava, surgiram muitas lendas de fantasmas em Penedo. Contavam que no tempo da escravidão havia um abade muito malvado na fazenda . Obrigava os escravos a trabalharem o tempo todo e os castigava muito severamente quando não aguentavam mais trabalhar.
Um dia os escravos se revoltaram, arrastaram o abade até o Penedo e o jogaram lá do alto. O abade, agonizando antes de morrer devido à queda, amaldiçoou Penedo durante cem anos. Mais tarde, os escravos arrependidos teriam colocado no local a cruz que está lá até hoje, mas isto não passa de uma lenda, a cruz é bastante recente, no tempo dos finlandeses não existia nenhuma cruz, mas o Penedo sempre foi um mirante bastante visitado pelos colonos.
Muitos colonos finlandeses afirmavam ter visto o fantasma do abade na antiga sede da Fazenda Penedo. Ouviam passos caminhando no assoalho de madeira, suspiros e gemidos, correntes arrastadas, portas que abriam durante a noite, um finlandês contava ter visto o abade sentado em uma cadeira de balanço.
