*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

WindowsXP の弱点というか Ubuntu の利点

昔使っていたマシンから取り出したハードディスク(WindowsXP と Ubuntu 10.04

記事を読む

Windows10 の update

昨日、メインPCの Windows10 のアップデートが行われ、「再起動が必要です」と出て再起動した

記事を読む

ヨドバシ梅田でキーボードいじり

一昨日、灘校新30回生の関西同窓会に大阪梅田に行きましたが、ちょっとだけヨドバシカメラに寄りまし

記事を読む

A-DATA ASP900S3-64GM-C-7MM / ADATA 2.5"SSD 64GB SATA6G

A-DATA ASP900S3-64GM-C-7MM ADATA 2.5"SSD

記事を読む

no image

USB3.0 グラフィックアダプタ DVI接続 バスパワー駆動 VGA-USB3.0/DVI

玄人志向 USB3.0 グラフィックアダプタ DVI接続 バ

記事を読む

デジカメ写真は撮ったまま使うな! / 鐸木 能光

デジカメ写真は撮ったまま使うな!―ガバッと撮ってサクッと直す (岩波アクティブ新

記事を読む

日経 Linux (リナックス) 2012年 12月号 [雑誌]

日経 Linux (リナックス) 2012年 12月号 日経Linux 日経

記事を読む

MakuluLinux 2020 Flash インストールしてみた(2)

以前の記事「MakuluLinux 2020 Flash インストールしてみた 」の続きです。

記事を読む

格安 SSD 128GB

OCZ SSD OCZ Octane 2.5” SATA2 SSD 128G

記事を読む

iPad で授業をする? ジョブズが泣くぜ

iPad で授業 iPad で授業をするための教師研修のニュースをこの前TVでやっていました。

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

マイクロ波を使って廃プラスチックからナフサを作る

廃プラスチックからマイクロ波を使ってナフサを作るという話があります。

S&B エスビー食品 マンダラビーフマサラカレー

  ヱスビー食品の「神田カレーグランプリ」シリ

JBL Paragon で聴くジャズ

https://www.youtube.com/watch?v=wUW

【FX】AXI Select Seedステージ卒業

プロップファームの AXI Select のお話。 一昨日「なか

ワハーン回廊

中東の地図を眺めていると、面白い部分に目が行きました。 イランの東に

→もっと見る

  • 2026年4月
     12345
    6789101112
    13141516171819
    20212223242526
    27282930  
  • アクセスカウンター
PAGE TOP ↑