*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

外から自宅のパソコンの電源を入れて使う本―ネットワークを経由して外からサクサクパソコン操作 / 大槻 有一郎

外から自宅のパソコンの電源を入れて使う本―ネットワークを経由して外からサクサクパ

記事を読む

OZZIO MX35332SDS スタンバイほぼ完了

OZZIO(オッジオ)というあの悪評高い PC DEPOT のブランドのマシン。ヤフオクで落

記事を読む

Seagate HDD また一位

オンラインストレージサービスBackblazeが実際に使用した200種類(合計約4万台)のハ

記事を読む

Makulu 10 Aero について

MakuluLinux 以前の記事「Makulu 10 Aero と Linux Lite 3.8

記事を読む

DELL Precision490 2台目ゲット

  * 製品名:Precision 490 CPU:Intel Xeon 51

記事を読む

パソコン電源の交換 SSRP440AC

* 自宅でのメイン機である愛称 White Base(白い木馬)ですが、ファンがやたらうる

記事を読む

USB3.0接続LANアダプタ+USB3.0ハブ

5%OFF限定クーポン!!MSL FORCE Type-C

記事を読む

Win10☆自作945CGT-M/E5800/QuadroFX580 チェック

ヤフオクで 2650円で落札したパソコン。 本日初チェック。 USBポートに キ

記事を読む

悲報 ブルーレイレコーダー 発売停止

https://www.youtube.com/watch?v=fAsBrwu-gnk 東芝が

記事を読む

no image

美麗な壁紙

* 以下のサイトで 超・美麗な壁紙が無料でゲットできます。 > http://www.wa

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

【FX】FX雑感 2026/7/23

MT4 のバグがいっこうに直る気配がないので、最近 FX について い

画像生成系AI「Dreamina AI」

画像生成系の AI の一つに「Dreamina AI」があります。

ハリソン内科学 第3版(原著第17版)が 330円

昨日、久々にブックオフ堅田店に行くと、書籍の置き場がさらに縮小し、バト

韓国ブラックマンデー来たか

昨日の記事「韓国ブラックマンデー来るか」の続きです。 テ

韓国ブラックマンデー来るか

韓国の株価指数が先月末にダブルトップをつけ、今月は明らかな下降トレンド

→もっと見る

  • アクセスカウンター
PAGE TOP ↑