违法建设认定不是工作人员到现场看一眼、拍几张照片，再告诉当事人“这是违建”这么简单。涉及行政处罚、限期拆除甚至强制拆除的，应当有相应的事实调查、法律依据和行政程序。
一、先调查事实
认定违法建设首先需要解决一个基本问题：
“这栋建筑到底发生了什么？”
包括：
谁建设？
什么时候建设？
在哪里建设？
占用什么土地？
有没有审批？
是否取得规划许可？
实际建设情况是否与批准内容一致？
这些事实都需要查明。
二、再确定适用的法律规定
不同建筑不能全部适用同一个条款。
例如，城市、镇规划区内的建设与乡、村庄规划区内的建设，在《城乡规划法》中就存在不同规定。
《城乡规划法》第64条针对未取得建设工程规划许可证或者未按照许可证规定建设的情形作出规定；第65条则针对乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照许可内容建设的情况作出规定。
所以，认定机关首先需要明确建筑所处区域和适用法律。
三、最后才是作出具体处理
根据具体事实和法律规定，可能涉及：
责令停止建设；
限期改正；
罚款；
限期拆除；
其他依法处理措施。
并不是所有违法建设最终都必然直接拆除。
例如《城乡规划法》第64条明确区分了能够通过改正措施消除影响和无法消除影响的不同处理方式。
四、口头通知不能代替正式行政行为
现实中，有些当事人会遇到：
“领导说了，你这就是违建。”
“明天就来拆。”
“赶紧自己拆，不然政府帮你拆。”
如果没有相应书面文件，当事人很难判断行政机关究竟作出了什么决定。
因此，遇到这种情况，应当尽量要求对方明确：
认定机关；
认定依据；
事实依据；
处理决定；
救济方式。
北京圣运律所认为，违法建设认定本身就是一个需要依法进行的行政行为，不能用简单口头通知替代法定程序。
相关问答
1. 工作人员说是违建但不给文件怎么办？
可以要求其说明认定依据并依法提供相关书面材料，同时保存沟通记录。
2. 违建认定必须现场调查吗？
具体程序需要根据案件性质和适用法律判断，但行政机关作出不利行政决定，应当具有相应事实和证据基础。
3. 认定违建以后马上就能拆吗？
不当然可以。强制拆除还涉及行政强制执行的法定条件和程序。