他原来依靠其长兄享受的特权，随之沦丧殆尽，倪瓒变成了一般的儒户，家庭经济日渐窘困，他怀着忧伤的情绪，自作述怀诗，详述当时自己痛苦的环境。
元至正初年（1341），倪瓒散尽家财，开始漫游太湖，行踪漂泊无定，足迹遍及江阴、吴江、松江一带，以诗画自娱。
同时，他也开始与人交际，友人多为和尚、道士或诗人、画家，他作的诗作多半也是和这类人酬唱之作。
在这段时期里，他也养成了清高孤傲的性格，超脱尘世逃避现实的思想，这种思想也反映到他的画上，作品呈现出苍凉古朴、静穆萧疏的意向。
这一天，倪瓒又乘船去访友，他正躺在船舱中小憩时，小船被一船官兵给拦住了。
仆人吓得半死，不料，为首的一个将官却很客气，拱手问道：“船上可是倪高士？”
得到肯定的答复后，这名将官顿时大松了一口气，解释了一番。
原来，这群将官是“吴王”张士诚的亲兵，他们奉了张士诚的弟弟张士信的命令，请倪瓒为他作画。
说罢，这名将官便将作画的绢帛以及大量的银钱，派人送到了船上后，便离开了。
等倪瓒醒来之后，见到船上多了这么多的银钱，顿时大吃一惊，便问仆人发生了什么事。
仆人自然不敢隐瞒，一五一十地将事情说了一遍。
倪瓒听后，顿时大怒：
“倪瓒不能为王门画师！”
说了这话还不罢休，拿起张士信送来的绢帛便撕了，这还没完，又让其中一个仆人，将那些银钱全都给退了回去。
好巧不巧，这事发生之后没多久，这一天，倪瓒又乘船游览太湖，结果正好碰到了张士信。
正所谓冤家路窄，相见眼红。
张士信二话不说，让人将倪瓒的船拦下来，并将他拖出来暴打了一顿。
奇怪的是，人都被打了，倪瓒却是一言不发。
这事过后，有朋友碰见了倪瓒，便好奇地问他，为什么当初不解释一番？
倪瓒轻“哼”了一声，说道：
“一出声，便俗了。”