社會秩序維護法第91條第4款規定，在他人的土地內擅自棄置廢棄物，如果不聽勸阻，便會受罰。葉子「自然掉落」到樓下，並非「擅自棄置」，不能指為違法的行為。
我提供的解答需要補充如下：
不違法不等於恰當，為了睦鄰起見，自己還是要盡量避免造成別人的困擾。