方以智以為“性與善非二也”，“至善”（或“無善無惡”）就是實體，而後天的善與惡即成了“至善”之用。既然“至善”是體，善相、惡相是用，那麽，“體在用中”、“一在二中”和“有一必有二”等體用的關係，亦同樣適用“至善”與善惡之間的關係。如是，則有“始乎無善無惡，必卒乎有善有惡”、“無善惡在有善惡中，善在惡中，體在用中”等種種說法。同時，由於體不離用，道不離器以及“有一必有二”的原理，勢必然出現“必用惡”、“必用小人”以及“惡消而善不立”等主張。
（一）“始乎無善無惡，必卒乎有善有惡”
關於惡的來源，宋明理學家一般歸之為後天因素，多以後天之“氣”來解釋“惡”。方以智關於“惡”的說法，亦不例外。他一方麵本程明道、胡五峰等言先天心性為超越的“無善無惡”之體；另一方麵，他又將周濂溪的“誠無為，幾善惡”、程明道的“人生而靜以上不容說，才說性時，便已不是性也”以及王陽明的“有善有惡意之動”結合起來，視後天的意、有為及氣等為惡的根源。總起來說，意、有為等皆為後天的形下之氣，皆可以善、惡來評判。這種後天的善惡是相對的、有形有跡的，固然不同於無善無惡的至善之體（或曰善體）。關於純應無善無惡的超越性體而動的“無心”、“無意”之化境，上文已言及，這裏不再贅述，下麵僅就後天之氣來說相對之善惡的問題。
“源善流惡”是方以智中晚年思想的重要特征，尤其表現在《東西均》、《易餘》等著中。如他在《東西均》中說：
無必不能不有，始乎善必卒乎惡，無善則無惡。曰無者至矣，抑知始乎無善無惡，必卒乎有善有惡，不如張尊善化惡之號令，乃所以運真無善惡之璿璣。是以斷斷然表其從天地未分前來者，曰性善。尊德性者，尊陽也，尊始也，尊先也。榜之曰善，猶榜之曰無也。[47]