在《易经》中，每卦六爻，而三、四爻正好居于中间位置。所以有说人说：易经中的三、四爻意味着主体正道，有端正的意味。于是“不三不四”就有了行为不端的意思。
易经的每个卦都分6个爻，俗称6爻卦，意为事物发展的6个阶段，第三爻与第四爻处在6爻的中间位置，在易经中象征正道和大道，不三不四则说明一个人或一件事物不是在正道或大道上，有不务正业之意。
但“不三不四”一词最早出现在明代施耐庵的《水浒全传》第七回中：“这伙人不三不四，又不肯近前来，莫不要攧洒家。”后来在清·吴敬梓《儒林外史》中的第三回也出现过：“也该撒泡尿自己照照！不三不四，就想天鹅屁吃！”可见，“不三不四”早成了贬义词，指的就是不正派、不像样子。
