*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

A-DATA ASP900S3-64GM-C-7MM / ADATA 2.5"SSD 64GB SATA6G

A-DATA ASP900S3-64GM-C-7MM ADATA 2.5"SSD

記事を読む

すっきりわかった!Linux 使い方から管理まで (NETWORK MAGAZINE BOOKS) / ネットワークマガジン編集部

すっきりわかった!Linux 使い方から管理まで (NETWORK MAGAZI

記事を読む

OSが新しくなったらマシンの買い換え?

* 新しい OS が発表されたら、パソコンを買い換える人が多いですね。 OS だけアップグレ

記事を読む

ブルーレイドライブが激安

ブルーレイドライブ KEIAN LITEON 内蔵Bru-rayドライブ バル

記事を読む

KURO-DACHI/CLONE/CRU3 玄人志向 クローン機能搭載 2ベイ外付けドッキングステーション

これは 2台の HDD または SSD を縦に差して、外付けドライブとして使ったり、ドライブ

記事を読む

acer ASX3950-N34D/TF 入院

acer の ASX3950-N34D/TF は昨年 2月にヤフオクで 3000円で落札した

記事を読む

【無料フォント】やさしさゴシック

「デザイナーが本当に欲しい無料フォント10選」という記事を見つけて、読んでみました。 普段使っ

記事を読む

FUJITSU FUTRO MP702 起動

「FUJITSU FUTRO MP702 2台到着」の続きです。 Fujitsu製の

記事を読む

MakuluLinux 2020 Flash インストールしてみた

前回の記事「MakuluLinux 2020 Flash 試用してみた」の続きで、SSD にインスト

記事を読む

ちゃんと起きろよ 寒い日の HDD

CORSAIR Force Series GT CSSD-F60GBGT-B

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

SUNO で作曲してみた

SUNO という音楽生成 AI で 初めて歌詞付きの音楽を作曲してみま

高槻遠隔画像診断センターお引越し

いよいよ引っ越し当日。 始発電車で高槻へ。 寝過ごしてはいかん

久々の「残業」

明日高槻遠隔画像診断センターの引っ越しなので、整理に行ってきました。ま

この1冊でしっかりわかる Geminiの教科書 / 佐倉井 理冴

★★★☆☆(わかりやすい) Gemini 初心者向けの優しく

大昔のグラボ

高槻遠隔画像診断センターの閉所(引っ越し)を間近に控え、せっせと倉庫を

→もっと見る

  • アクセスカウンター
PAGE TOP ↑