一、主观改变举证责任分配规则或随意设置举证期限
相对人是否存在违法行为，必须依靠其收集的有效证据加以证明，除非法律有特别规定。有时执法中固定的证据并不能充分证明行政相对人存在违法行为，这时就需要严格遵守举证责任分配规则，即使有当事人对自己不利事实的承认，药品监管部门也不能因其自认而获得免证。此外，执法实践中很多待证事实都需要药品监管部门依法查证，虽然行政相对人对药品监管部门的执法有配合义务，但只要其不违背法律规定(妨碍公务)，并不会因对执法人员的取证不作为而承担不利后果。正由于上述情形存在，实践中出现了一些药品监管部门主观改变举证责任分配规则或者随意设置举证期限的个案，究其根本原因，是不了解行政处罚的基本原则和基本原理。
二、将无法定依据的逻辑推理当证据适用
执法实践中，有时碰见难以直接适用法律规定处理的案件，此时逻辑推理能否运用以及怎样运用，便是一个值得探讨的问题。例如，甲企业改制过程中，销售人员李某与其中止了药品代理销售关系，但仍然持甲企业的《药品经营许可证》复印件等相关资质证明及填写式票据、填写式委托书从事药品经营，乙医疗机构是该销售人员的业务单位，乙医疗机构一药房工作人员在此期间(事先是否知情无从查证)从该销售人员手中采购一批药品，已实际入库使用，但未建立该批药品的购进记录。此时对该医疗机构能否直接以从无《药品经营许可证》的单位处购进药品定性处罚，就涉及到逻辑推理运用的合法性审查。笔者认为并非符合逻辑就等于处罚依据一定合法。
三、对证据能力、证明力、证明对象及证明标准理解不准
证据能否在行政处罚中正确有效运用，除了具备证据“三性”外(真实性、关联性、合法性)，还应首先具备证据能力(即证据资格)，不具备证据能力的证据根本无从谈及证明力，这种情形在行政执法实践中经常遇到。如生产单位针对药品监管部门协查函出具的未附加任何技术材料佐证的单位证明；现场检查笔录及调查笔录上签字的人员，在不是被检查对象且未获单位有效授权时所作的签字和陈述。其次，证据的证明力也是行政执法实践中经常遇到但容易被忽视的问题，适格证据的证明力存在大小、强弱之分，执法人员在收集证据时应熟悉法律及司法解释对证据证明力的相关规定，避免出现无所适从或舍本求末的现象。第三，证明对象(或称待证事实)在证据学理论及实践中极其重要，实践中执法人员收集到的每一个证据不一定均指向案件的证明对象，与证明对象无直接指向关系的证据是不能作为定案处罚证据使用的。第四，证明标准虽在法律上无直接规定，但却是执法实践中无法回避的一个问题。
证据是证明案件事实的根据，是认定案件事实的手段，所以，执法人员判断当事人的行为是否违法以及作出行政处罚时，必须避免上述三方面“不当”行为，严格按照法律要求和证据规则收集并运用证据。
一、明确证据的基本属性及特征
首先，理解证据具备的“三性”。所谓客观性，是指证据是客观存在的事实；所谓关联性，是指证据必须同案件事实存在某种联系，并因此对证明案件事实具有实际意义；所谓合法性，是指收集运用证据的主体要合法、收集程序要合法、收集运用的证据必须具有合法形式、必须经过法定程序查证属实。证据的客观性、关联性、合法性是互相联系、缺一不可的，客观性和关联性是证据的内容，合法性是证据的形式。
其次，知晓证据种类及表现形式。诉讼法规定的证据种类均是七种(其中现场笔录是行政诉讼法规定的一种特有证据)。司法解释进一步对提供证据的要求(法定形式)作了明确规定，同时证据是否符合法定形式是诉讼中法院审查证据合法性的重要内容之一，无法归纳于法定种类的证据和不具有法定形式要求的证据是很难让法院采纳的。
二、适用时严格遵循证据规则
首先，采用法定手段依法收集具备法定形式要求的证据。一方面根据证据的合法性特点，要求取证手段合法，行政执法机关收集证据时遵循非法证据排除规则；另一方面行政执法机关收集的证据必须符合法定形式要求，除了遵循最佳证据规则收集书证、物证、视听资料外，这里尤其要注意的是书证、现场检查笔录的制作形式在规章与法律、法规不相抵触的情况下，应优先适用规章对其制作形式要求的规定。在行政处罚中采用的鉴定结论，应当载明：委托人和委托鉴定的事项、向鉴定部门提交的相关材料、鉴定的依据、鉴定部门以及鉴定人鉴定资格的说明，并应有鉴定人的签名和鉴定部门的盖章。通过分析获得的鉴定结论，应当说明分析过程，否则便不符合证据的法定形式要求。
其次，举证责任恒定，即“谁主张、谁举证” 。理论上，行政行为的作出与法院判决的作出一样，在案件实体上也存在一个认定事实、适用法律的过程，也存在举证责任的分配问题，虽然目前我国尚无统一的行政程序法，但总结世界各国行政程序法中关于行政程序举证责任分配的规定和我国行政法理论上的通说，一致认为，当行政机关依职权作出不利于行政相对人的决定时，在行政程序中承担举证责任，在行政诉讼中也承担举证责任。从立法本意上看，我国的《行政处罚法》、《行政诉讼法》及相关司法解释对行政处罚均规定了遵循“先取证、后裁决”的规则，行政执法机关在无法律特别规定的情况下，不能随意改变举证责任分配规则或设定举证期限，将举证责任转嫁给行政相对人，否则在此情形下收集的证据便是合法性欠缺的证据，作出的处罚也将视为违法处罚。
第三，依法谨慎运用事实推定。根据学界通说，推定分为法律推定与事实推定，事实推定是根据前提事实，运用经验法则、逻辑法则而推知结论事实的一种证明活动。由于事实推定的前提事实与推定事实之间是一种高度或然性联系，未必就符合客观情况，在诉讼实践中，只要行政相对人提出了可成立的反证，事实推定即失效。因此在执法实践中，应当谨慎运用事实推定，只有在无法收集直接定案证据时，才运用事实推定，并应尽可能收集其他间接证据对推定事实加以印证，以防止行政相对人提出有效反证。
第四，根据证据证明力大小有针对性收集运用证据。这主要是指借鉴行政诉讼中的最佳证据规则，有针对性的收集运用证据。结合行政执法实践，主要体现在书证、物证、视听资料、证人证言、鉴定结论、现场笔录上，一般来说，可以作如下理解：代表国家公权力的公文书证证明力优于其他书证；鉴定结论、现场笔录、档案材料以及经过公证或登记的书证证明力优于其他书证、视听资料和证人证言；原件、原物的证明力优于复制件、复制品；原始证据的证明力优于传来证据；无利害关系的证人证言优于有利害关系的证人提供的对该当事人有利的证言；数个种类不同、内容一致的证据证明力优于孤证的证明力。
第五，理解行政处罚中证据的证明标准。违法事实清楚、证据确凿、程序合法、适用法律(法规、规章)正确是行政处罚合法有效的必然要求，难点在于如何理解“违法事实清楚、证据确凿”即行政处罚中的证明标准问题。按照主流观点，在我国目前的国情下，行政处罚的证明标准应采用“清楚而有说服力的证明标准”，具体可简要按照如下四点理解：一是行政机关据以作出处罚的证据的可信度比例非常高；二是不排除存在合理怀疑即允许个别的合理怀疑的存在；三是行政机关收集的证据之间具有清楚的逻辑关系；四是行政处罚应当有充分的证据使大多数人相信其是必要的，即具有一定的说服力
