在 Linux/Bash 中随机改组行

问题描述：

我在 Linux 中有一些文件。例如 2，我需要将文件随机排列到一个文件中。

例如

$cat file1
line 1
line 2
line 3
line 4
line 5
line 6
line 7
line 8

和

$cat file2
linea one
linea two
linea three
linea four
linea five
linea six
linea seven
linea eight

稍后我将这两个文件混编，得到如下结果：

linea eight
line 4
linea five
line 1
linea three
line 8
linea seven
line 5
linea two
linea one
line 2
linea four
line 7
linea six
line 1
line 6

解决方案 1：

您应该使用shuf命令=)

cat file1 file2 | shuf

或者使用 Perl：

cat file1 file2 | perl -MList::Util=shuffle -wne 'print shuffle <>;'

解决方案 2：

排序：（相似的行会放在一起）

cat file1 file2 | sort -R

舒夫：

cat file1 file2 | shuf

Perl：

cat file1 file2 | perl -MList::Util=shuffle -e 'print shuffle<STDIN>'

重击：

cat file1 file2 | while IFS= read -r line
do
    printf "%06d %s
" $RANDOM "$line"
done | sort -n | cut -c8-

awk：

cat file1 file2 | awk 'BEGIN{srand()}{printf "%06d %s
", rand()*1000000, $0;}' | sort -n | cut -c8-

解决方案 3：

对于使用 MacPorts 的 OS X 用户，请注意：该shuf命令是 的一部分coreutils，并以 名称 为名安装gshuf。

$ sudo port install coreutils
$ gshuf example.txt # or cat example.txt | gshuf

解决方案 4：

您不需要在这里使用管道。Sort 本身会使用文件作为参数来执行此操作。我只需这样做

sort -R file1

或者如果你有多个文件

sort -R file1 file2

解决方案 5：

下面是一个不依赖于shuf或 的单行代码sort -R，我的 Mac 上没有它：

while read line; do echo $RANDOM $line; done < my_file | sort -n | cut -f2- -d' '

这将遍历所有行my_file并以随机顺序重新打印它们。

解决方案 6：

我也会用shuf。

另一个选项，gnu sort 有：

   -R, --random-sort
          sort by random hash of keys

你可以尝试：

cat file1 file2|sort -R

解决方案 7：

这对我有用。它采用了 Fisher-Yates 洗牌法。

randomize()
{   
    arguments=("$@")
    declare -a out
    i="$#"
    j="0"

while [[ $i -ge "0" ]] ; do
    which=$(random_range "0" "$i")
    out[j]=${arguments[$which]}
    arguments[!which]=${arguments[i]}
    (( i-- ))
    (( j++ ))
done
echo ${out[*]}
}


random_range()
{
    low=$1
    range=$(($2 - $1))
    if [[ range -ne 0 ]]; then
        echo $(($low+$RANDOM % $range))
    else
        echo "$1"
    fi
}

解决方案 8：

这显然是有偏向的随机数（比如一半的时间列表会从第一行开始），但对于一些仅使用 bash 内置命令的基本随机化，我想这没问题？只需打印每行是/否，然后打印其余部分...

shuffle() {
    local IFS=$'
' tail=
    while read l; do
        if [ $((RANDOM%2)) = 1 ]; then
            echo "$l"
        else
            tail="${tail}
${l}"

        fi
    done < $1
    printf "${tail}
"
}