当发现行政处罚文书存在错误时，可以采取以下步骤进行更正：
如果错误属于编号、字迹、日期、印章等小瑕疵或笔误，可以直接向作出处罚决定的行政机关申请更正。行政机关应以正式文件作出说明，并重新制作并送达《行政处罚决定书》给行政相对人，无需重新履行行政处罚告知程序。
如果错误涉及处罚种类或处罚幅度，应以局正式文件作出必要说明，从行政相对人处收回错误的《行政处罚决定书》，并重新制作并送达新的《行政处罚决定书》。由于改变了处罚种类或处罚幅度，必须重新履行行政处罚告知程序。
如果错误在于所适用的法律法规规章或条款，应以局正式文件撤销错误的《行政处罚决定书》，并从行政相对人处收回。然后重新履行行政处罚告知程序，重新制作并送达新的《行政处罚决定书》。
如果错误涉及违法事实不清或证据不确凿，应以局正式文件撤销错误的《行政处罚决定书》，并从行政相对人处收回。随后，应重新对违法事实进行调查核实，补充完善相关证据，在确保事实清楚、证据确凿的基础上，按照行政处罚程序规定重新作出处理决定，并重新履行处罚告知程序，重新制作并送达新的《行政处罚决定书》。
当事人如果认为行政处罚决定书有错误，可以通过提起行政复议或行政诉讼来纠正。在行政诉讼中，如果法院认定行政处罚决定有误，可以判决撤销或部分撤销，并可以判决被告重新作出行政行为。
建议
及时更正：一旦发现行政处罚文书错误，应尽快以正式文件形式进行更正，以确保行政行为的合法性和有效性。
重新履行告知程序：对于涉及处罚种类、处罚幅度或适用法律法规规章错误的更正，必须重新履行行政处罚告知程序，确保行政相对人的知情权和申辩权。