您现在的位置是：网站首页> 编程资料编程资料
Linux下删除大数据文件中部分字段重复行的方法_LINUX_操作系统_
2024-02-12
164人已围观
简介 Linux下删除大数据文件中部分字段重复行的方法_LINUX_操作系统_
最近写的一个数据采集程序生成了一个含有1千多万行数据的文件，数据由4个字段组成，按照要求需要删除第二个字段重复的行，找来找去linux下也没找到合适的工具，sed/gawk等流处理工具只能针对一行一行处理，并无法找到字段重复的行。看来只好自己python一个程序了，突然想起来利用mysql，于是进行乾坤大挪移：
1. 利用mysqlimport --local dbname data.txt导入数据到表中，表名要与文件名一致
2. 执行下列sql语句(要求唯一的字段为uniqfield）
use dbname;
alter table tablename add rowid int auto_increment not null;
create table t select min(rowid) as rowid from tablename group by uniqfield;
create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;
drop table tablename;
rename table t2 to tablename;
1. 利用mysqlimport --local dbname data.txt导入数据到表中，表名要与文件名一致
2. 执行下列sql语句(要求唯一的字段为uniqfield）
复制代码
代码如下:use dbname;
alter table tablename add rowid int auto_increment not null;
create table t select min(rowid) as rowid from tablename group by uniqfield;
create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;
drop table tablename;
rename table t2 to tablename;
相关内容
- 花千骨手游如何过魍魉森林 boss食人花打法详解_手机游戏_游戏攻略_
- 刀塔传奇奥丁之子和潮汐哪个好 两者对比介绍_手机游戏_游戏攻略_
- 怎么样刷灵宠碎片在花千骨手游中？ 签到系统补签刷灵宠技巧_手机游戏_游戏攻略_
- 天天酷跑EnjoySummerHoliday在哪掉落 掉落地点介绍_手机游戏_游戏攻略_
- 有杀气童话都有神马福利 日常福利大介绍_手机游戏_游戏攻略_
- 天天酷跑流金宣言通过哪种抽奖才能获得 正确答案介绍_手机游戏_游戏攻略_
- 我叫MT2双头食人魔铭刻顺序一览_手机游戏_游戏攻略_
- 《仙剑奇侠传 7》除PC版外还将推出手机版_手机游戏_游戏攻略_
- 我叫MT2英雄升星铭刻与阵容选择小技巧分享_手机游戏_游戏攻略_
- 天天风之旅新手升级刷金币最佳搭配推荐_手机游戏_游戏攻略_
