成立国务院打击走私临时领导小组
福州会议之后，1981年3月23日国务院副秘书长吴庆彤主持会议，宣布成立国务院打击走私临时领导小组。谷牧任组长，小组成员有：国务院副秘书长吴庆彤、海军副司令员杨国宇、总参谋部总参谋长助理刘凯、公安部边防保卫局长慕丰韵、海关总署副署长宿世芳、工商行政管理总局副局长长左平（不久，改为李衍援副局长）、财政部税务局副局长牛立成等8人。
领导小组下设办公室，地点在公安部。慕丰韵兼办公室主任，我兼副主任，公安、海关、总参、海军都派人参加。不久后，慕丰韵离休，我接任主任，公安部边防保卫局局长曹岩华任副主任。办公室的任务是：掌握突击性打击走私活动的情况；了解有关各省的查私工作进度和问题；研究有关查私的政策和措施；协调广东、福建、浙江三省的查私联防行动。每周要向国务院、中央书记处、中央军委简要报告一次情况。
1983年10月14日，经谷牧副总理批准，国务院办公厅下发了《关于调整打击走私领导小组成员的通知》，免去工商行政管理总局副局长李衍援领导小组成员的职务，增加甘国屏副局长为领导小组成员；增加国家经委组长沙叶和国务院特区办副主任张戈为领导小组成员；增加海关总署孙锡文副司长为打私办专职副主任。
召开第二次打击走私会议
1981年7月，国务院在北京召开了东南沿海三省第二次打击走私工作会议。参加会议的有广东、福建、浙江三省的有关部门、部分走私严重的地、市、县，国务院和中央军委的有关部门及最高人民检察院、最高人民法院、广州军区、福州军区、南京军区、中纪委以及中央对台工作领导小组办公室的负责同志。谷牧主持会议并讲了话。
会议认为，第一阶段的反走私取得了显著的成绩，但对成绩不能估计过高，打击走私工作距离国务院、中央军委的要求还相差很远，存在的问题还很多。
会议在四省市海关沿海缉私工作会议和东南沿海三省第一次打击走私工作会议的基础上，对反走私工作做出了若干新的要求和规定，其中主要有以下几点：
第一，端正思想，统一认识。反走私斗争要取得的决定性胜利，首先在于各级领导统一认识。一部分领导干部对走私的严重性、危害性以及打击走私的必要性认识仍然不足。有的怕犯错误，提出“打击走私是不是‘左’的行动”，“会不会影响对外开放、搞活经济”，“会不会打到对台‘三通’政策上”；有的有畏难情绪，怕受到打击报复，认为“走私活动多是内外勾结，牵涉面广，查私得罪人多，还是少管为好”，“走私已成为群众性的问题，不好解决”；还有的贪图小利，不顾大局，认为“买卖走私物品赚点钱，搞点地方建设，解决就业和职工福利问题，有什么不好”。由于这些思想障碍，一些同志左顾右盼，决心不大，领导不力，这是反走私斗争进展不理想的一个主要原因。
会议建议，广东、福建、浙江三省省委和走私严重地区的各级地委把缉私工作放在党委的重要议事日程上，三省省委、政府指定一至两名负责干部，在下半年集中主要精力抓反走私斗争。
第二，坚决刹住内部走私、贩私风。要通过各条系统重申：任何企业、事业单位和机关、团体、部队都不准走私、贩私，也不准用提供资金、账户、运输工具，代开介绍信、发票、外运证等方式支持、包庇、掩护走私、贩私。如果执法人员接受贿赂、徇私枉法，要罪加一等。
第三，三个省的经验都证明，要坚决打击走私、贩私，关键是要有一个好的领导班子。只要有好的领导班子，走私、贩私就搞不起来，就算搞起来也能很快压下去。因此，对自觉抵制走私活动的先进事例应当予以表扬奖励，并广为宣传。对那些走私、贩私严重的企事业单位、机关、部队等单位，上级党、政领导机关要选派有群众工作经验的干部组成工作队，帮助他们进行认真整顿，建立起强有力的领导班子，恢复正常的生产秩序和社会秩序。
重拳出击，全国打击走私
第四，香港和澳门的一百多个走私集团利用我对台湾走私船处罚较宽松的情况，雇佣台湾船只进行走私。根据这一变化的情况，今后查获的台湾走私船应该同香港和澳门走私船一样对待——私货和船只一律没收，有关船员由公安部门押解出境。情况特别严重的，还应依法追究刑事责任。
第五，以查私罚没收入加速缉私力量的建设。国务院、中央军委1981年6号文件提出“公安部门要加强海上巡逻队和边防公安派出所的建设，以便更好的承担起经常性的维护沿海治安和查私任务”。鉴于海军不可能经常长期参加缉私，此项建设任务需抓紧完成，而国家财政又有困难，会议建议，三省的查私罚没收入，除用于查私费用和奖励费用外，上缴地方财政的部分，应当用于缉私力量的建设，特别是重点用于建设海上公安巡逻队和边防派出所。
会议还做出了《东南三省第二次打击走私工作会议纪要》。中央审议并通过了这个纪要，并于8月3日由中共中央、国务院以中发【1981】29号通知予以批转。
《通知》由国务院打击走私办公室草拟，中央领导做了重要的修改。后来我听说，“走私，贩私是祸国殃民的罪恶活动”这句话是陈云亲自加上去的，可见他对走私活动的深恶痛绝以及他对打击走私活动的大力支持。
1981年8月29日，《人民日报》发表社论《坚决打击走私犯罪活动》，号召：“各级党委要加强领导，端正思想，统一认识，统一行动，在不太长的时期内取得反走私斗争的决定性胜利。”
其他三次打私会议
在上述两次打击走私会议后，前后又召开过三次打击走私会议：
1982年6月22日在北京召开第三次打击走私会议。会议对切断私货从三省向其他省内流，加强三省海上缉私，加强金融监督等12个议题进行了讨论，重点研究了如何发挥各级政府有关职能部门的作用，加强监督管理，堵塞漏洞，进一步开展反走私斗争。
1984年11月在北京召开第四次打私会议，1986年4月又召开第五次打私会议。
打私活动大事记
打私会后立即行动
1981年第一次打击走私会议后，广东、福建、浙江三省反走私斗争取得了很大的成绩，但是香港、澳门和台湾的走私集团及沿海地区的一些走私分子仍在活动，而且更加狡猾、隐蔽。大陆与港、澳、台是两种社会制度、两种市场、两种价格体系，许多商品内外差价较大，不法分子就是利用这种情况进行走私活动，海上缉私任务因而非常艰巨。为此，国务院专门于1982年8月17日发出文件，要求东南沿海三省加强海上缉私，堵住海上大规模走私渠道，切断海上私货来源，防止海上大规模走私出现反复。
当时对海上缉私防区的划分做出了明确安排：广东的海上缉私力量负责洗米海口（广东、广西分界处）至宫口港（广东、福建分界处）海域；福建海上缉私力量负责宫口港至虎头鼻（福建、浙江分界处）海域；浙江海上缉私力量负责虎头鼻至金沙（浙江省、上海市分界处）海域。
至于东沙岛私货市场问题，我和吴庆彤到中央军委研讨商定：为稳定台湾海峡局势，不采取军事行动。由福建省采取封锁的办法或其他办法解决。后来福建省组织缉私力量佯装渔民坐渔船到东沙岛购买私货，以迅雷不及掩耳之势，抓捕了台湾的走私分子，打掉了东沙岛的私货市场。事后，谷牧派我专程到福州参加了福建省打私办为此组织的庆功会。