카테고리 Archives: linux

apache 2.4.27 버전 이상에서 Segmentation fault 오류가 발생.

apache 2.4.26 이하 버전에서 Important 취약점인 CVE-2017-9788, CVE-2017-9789 가 존재 하기 때문에

apache 버전을 최신화 한뒤에 apache error_log 에서 간헐적인 접속 끊김 증상이 확인이 되었다.

Segmentation fault, memory corrupted – core dump 에 의한 apache child 프로세스의 강제 exit 가 된다.

[Wed Mar 27 15:03:41.085336 2019] [core:notice] [pid 3936:tid 139993855101120] AH00051: child pid 31653 exit signal Aborted (6)

[Wed Mar 27 15:38:24.149597 2019] [core:notice] [pid 3936:tid 139993855101120] AH00051: child pid 32428 exit signal Segmentation fault (11)

이와 같은 경우 메인 프로세스는 살아 있는 상태에서 child 가 죽는 현상이다 보니 실제 apache 는 설정에 따라

부족한 child 프로세스를 다시 생성하기 때문에 발생하고 있지만 모르고 있을 수 있다. – apache – error_log 를 꼭 점검해봐야 한다.

내용 추적이 되지 않아 한동안 고생을 하다가 이 에러가 특정한 상황에서만 발생하는것을 확인하였다.

조건1. https 프로토콜 사용

조건2. http/2 사용

조건3. mpm_worker 혹은 mpm_event 사용 (event 에서 더 심하게 발생함.)

조건4. mod_php 사용

기존에 apache 2.4.27 부터 worker 가 기본 mpm 이 되었고,

어떤 버전인지 부터는 모르지만 최신 버전의 2.4.38 버전은 event mpm 이 기본값으로 설정이 된다.

이를 prefork 방식으로 변경해서 운영을 해도 되지만 이럴 경우 http/2 는 지원이 되지 않는다.

기본이 event mpm 일 경우 권장 되는 운영 환경은 apache 2.4 – fcgi_proxy – php-fpm 구조이다.

다만 php-fpm 의 경우 tomcat 처럼 별도의 WAS 환경이기 때문에 익숙치 않고 설정법을 새롭게 배워야 하는 단점이 존재 한다.

변경을 하는것은 맞는 방향이겠지만 이는 충분한 시간이 주어져야 한다는 단점이 존재한다.

하지만 서버는 당장에 문제가 발생하고 있기 때문에..

때문에 임시 방편으로 아래와 같은 설정(H2MaxWorkers)을 추가 하여 오류를 방지 하고 시간을 벌도록 한다. ‘ㅅ’a

ProtocolsHonorOrder On

Protocols h2 h2c http/1.1

H2MaxWorkers 1

</IfModule>

H2MaxWorkers 설정을 1로 할경우 mpm_worker 의 경우 속도 저하가 체감이 될정도 이기 때문에 mpm_event 로 운영을 하도록 한다.

mpm 설정은 ……./httpd/conf.modules.d/00-mpm.conf 에 존재 한다.

# Select the MPM module which should be used by uncommenting exactly

# one of the following LoadModule lines. See the httpd.service(8) man

# page for more information on changing the MPM.

# prefork MPM: Implements a non-threaded, pre-forking web server

# See: http://httpd.apache.org/docs/2.4/mod/prefork.html

# NOTE: If enabling prefork, the httpd_graceful_shutdown SELinux

# boolean should be enabled, to allow graceful stop/shutdown.

#LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

# worker MPM: Multi-Processing Module implementing a hybrid

# multi-threaded multi-process web server

# See: http://httpd.apache.org/docs/2.4/mod/worker.html

#LoadModule mpm_worker_module modules/mod_mpm_worker.so

# event MPM: A variant of the worker MPM with the goal of consuming

# threads only for connections with active processing

# See: http://httpd.apache.org/docs/2.4/mod/event.html

LoadModule mpm_event_module modules/mod_mpm_event.so

현재 apache 의 mpm 은 아래 명령어로 확인할 수 있다.

~]# httpd -V

Server version: Apache/2.4.38

Server loaded: APR 1.5.2, APR-UTIL 1.5.2

Compiled using: APR 1.5.2, APR-UTIL 1.5.2

Architecture: 64-bit

Server MPM: event

threaded: yes (fixed thread count)

forked: yes (variable process count)

GEOIP data 파일 업데이트

아래 스크립트는 배포 url 이 변경되어 동작 되지 않아요.

새로운 업데이트 방법 관련 글 : GEOIP database 파일 업데이트

GeoIP.dat 파일을 배포하는 maxmind (https://www.maxmind.com/) 사에서 레거시 파일 형태인 GeoIP.dat 파일을 2019-01-02 일로 부터 배포를 중단하였다.

기존에 apache 혹은 nginx 그리고 iptables 등에서 사용중인 국가별 구분 및 제한을 을 지속적으로 사용 하기 위해서는

GeoIP의 지속적인 업데이트가 필요로 한다.

– 주기적으로 ip는 로테이션이 되기 때문에 dat 파일이 갱신되지 않은채 1년 정도가 지나면 신뢰도가 떨어진다.

다만 과거 형태 .dat 파일만 배포 중단이며 .mmdb 및 .csv 형태의 배포는 지속되고 있다.

때문에 배포되는 csv 파일을 이용 하여 dat 파일을 직접 생성해 주는 방향으로 진행할 수 있다.

이미 github 에서 csv를 이용한 dat 파일을 만드는 게 몇몇 올라와 있다. 이중 https://github.com/sherpya/geolite2legacy 을 이용하여 생성할 수 있는 스크립트를 작성 하였다 ‘ㅅ’a

#!/bin/bash

### config - DISABLE city it'll be need free memory 2GB

REPLACEDATA="30"

CITYDATA="N"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

if [[ -z $(which pip) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

if [[ -z $(pip list|grep pygeoip) ]];then sudo pip install pygeoip > /dev/null 2>&1 ;fi

if [[ -z $(pip list|grep ipaddr) ]];then sudo pip install ipaddr > /dev/null 2>&1 ;fi

### link path

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

if [[ ! -d $GEOIPDIR ]];then

mkdir -p $GEOIPDIR

for a in $DATALINK

if [[ ! -d $a ]];then if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then cd $GEOIPDIR

git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files

if [ -d $GEOIPDIR/geolite2legacy ];then cd $GEOIPDIR/geolite2legacy

COUNTRY="GeoLite2-Country-CSV.zip"

CITY="GeoLite2-City-CSV.zip"

if [[ -z $(find $GEOIPDIR/geolite2legacy -maxdepth 1 $ -name $COUNTRY -o -name $CITY $ -mtime +$REPLACEDATA) ]];then

rm -f $COUNTRY $CITY

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-Country-CSV.zip" > /dev/null 2>&1

if [[ $CITYDATA == "Y" ]];then

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip" > /dev/null 2>&1

if [ -e $GEOIPDIR/geolite2legacy/$COUNTRY ];then

python geolite2legacy.py --input-file $COUNTRY --fips-file geoname2fips.csv --output-file GeoIP.dat

python geolite2legacy.py --input-file $COUNTRY -6 --fips-file geoname2fips.csv --output-file GeoIPv6.dat

if [[ $CITYDATA == "Y" ]];then

python geolite2legacy.py --input-file $CITY --fips-file geoname2fips.csv --output-file GeoLiteCity.dat

python geolite2legacy.py --input-file $CITY -6 --fips-file geoname2fips.csv --output-file GeoLiteCityv6.dat

if [ -e GeoIP.dat ];then

find $GEOIPDIR -maxdepth 1 -name "*.dat" -mtime +$REPLACEDATA -exec rm -f {} \;

if [[ $CITYDATA == "Y" ]];then

mv -f Geo{IP,IPv6,LiteCity,LiteCityv6}.dat $GEOIPDIR/ > /dev/null 2>&1

else

mv -f Geo{IP,IPv6}.dat $GEOIPDIR/ > /dev/null 2>&1

fi;fi;fi

unset GEOIPDIR DATALINK CITY COUNTRY CITYDATA REPLACEDATA

exit 0

GeoLiteCity.dat 는 최상단의 config CITYDATA 를 Y 로 지정하면 생성한다. (일반적으로 불필요 하며, 생성시 2GB 이상의 메모리를 사용 한다.)

cron 등록은 /etc/cron.daily/ 혹은 /etc/cron.weekly/ 에 파일을 만들어 두면 anacron 이 알아서 주 or 일에 돌려주겠지요..

bash 스크립트의 실행 속도(간격) 한계

bash 로 작성된 스크립트의 경우 anacron 혹은 crond 에 의존하여 작동을 한다.

# Example of job definition:

# .---------------- minute (0 - 59)

# | .------------- hour (0 - 23)

# | | .---------- day of month (1 - 31)

# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...

# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

# | | | | |

# * * * * * user-name command to be executed

때문에 지정 할 수 있는 최소 시간은 1분이다.

즉 1분에 1회만 실행이 가능하다.

필요에 따라 5초 혹은 10초 단위 마다 재 실행 이 가능한 경우가 발생했다. (push 메세지 전송이라든가..)

이 한계를 넘기 위해 아래와 같이 작성하여 지정된 $TERM 동안 sleep 을 하고 excute-job 펑션을 재실행 하도록 작성 한다.

#!/bin/bash

### shell overlab avoid (중복실행방지)

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

fi;fi

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### CONFIG (1분안에 재 실행 횟수 지정) ### set 1 ~ 6

RETRY_A_MIN=6

### FUNCTION (실제 실행할 프로세스)

excute-job() {

echo -ne "\r$(date)"

}

### LOOP a MINUTE (간격 설정값에 따른 반복 실행)

if [ $RETRY_A_MIN -eq 1 ];then TERM=51

elif [ $RETRY_A_MIN -eq 2 ];then TERM=26

elif [ $RETRY_A_MIN -eq 3 ];then TERM=17

elif [ $RETRY_A_MIN -eq 4 ];then TERM=13

elif [ $RETRY_A_MIN -eq 5 ];then TERM=11

else TERM=9;fi

SHNOW=$(date +"%s")

SHLIMIT=$(date +"%s" -d "50 secs")

while [ $SHNOW -lt $SHLIMIT ]

((RETRY_A_MIN--))

excute-job;

if [ $RETRY_A_MIN -eq 0 ];then

break 1

else

sleep $TERM

SHNOW=$(date +"%s")

done

echo

unset SHNOW SHLIMIT

exit 0

1~6 값을 지정함에 따라 알맞은 $TERM을 sleep 하고 재 실행 하게 된다.

TLS 1.3 활성화 (apache, nginx)

RFC 8446 이 발표 되고 TLS 1.3 의 표준이 제정 되었다. (https://tools.ietf.org/html/rfc8446)

아래의 조건을 만족하는 경우 TLS v1.3 를 사용할 수 있다.

openssl 1.1.1 이상 / nginx 1.13.0 이상 / apache 2.4.37 이상

openssl 이 웹서버 데몬(apache,nginx) 에 의존성이 있으므로 openssl 을 업데이트 하고 웹서버를 재설치 해야 하는 경우가 발생할 수 있다.

nginx.conf 에서의 SSL 관련 설정 방법

ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;

ssl_ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS;

ssl_ecdh_curve secp384r1;

ssl_prefer_server_ciphers on;

apache 의 SSL 설정 방법

SSLProtocol ALL -SSLv2 -SSLv3

SSLCipherSuite "EECDH+AES128:EECDH+AES256:+SHA:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:RSA+3DES:!DSS"

브라우저 호환성 (https://caniuse.com/#feat=tls1-3)

TLS v1.3 이 나왔다고 TLS v1.2 끌 경우 많은 브라우져가 접속하지 못한다.

현재 TLS v.1.3을 지원하는 브라우져는 FireFox, Chrome, Safari, Opera, IOS Safari, Chrome for Android, FireFox for Android 정도 이다.

AWS 인스턴스 시작, 중지 스크립트

aws cli 명령어를 이용하여 ec2 서버를 껏다 켰다 하는 스크립트 이다.

일반 환경에서는 불필요 하고 개발 환경의 서버를 24/7 을 켜둘 이유가 없다.

개발자의 개발 환경을 고려하여 월~금 사이 AM 8:50 ~ PM 18:30 까지 만 사용 한다면 1일에 10시간만 사용함으로서 청구금액을 낮출 수 있다.

t3.medium ( 2 Core / 4G-RAM ) = 시간당 US$ 0.0416

0.0416 * 24 * 365 = $364

0.0416 * 10 * (365 / 7 * 5) = $108

* 예약 인스턴스 (Reserved instances) 를 사용한다면 더 낮출 수 있다.(30% ~ 63%) *

그래서 상시 떠있어야 하는 product 레벨의 서버 라든가 syslog 서버 등에서 아래와 같이 스크립트를 작성 하고 운영 하여 절감을 한다.

서버가 UTC 으로 세팅 되어 있는 서버 이기 때문에 cron 등록은 아래와 같이 진행하였다.

(cron : 50 23 * * 0-4 bash /shell/aws-start-instance.sh ) 월~금 KST AM 08:50 분에 작동

(cron : 30 09 * * * bash /shell/aws-start-instance.sh ) 매일 KST PM 18:30에 작동

인스턴스 자동 시작 스크립트 ( /shell/aws-start-instance.sh )

#!/bin/bash

##################################################################################

# - script dependency awscli. (~]# pip install awscli)

# by Enteroa ( enteroa.j@gmail.com )

##################################################################################

export AWS_ACCESS_KEY_ID=AAAAAAAAAAAAAAAAAAAA

export AWS_SECRET_ACCESS_KEY=BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB

AWSCLI=$(which aws)

AWS_INSTANCES=(

ap-northeast-2:i-xxxxxxxxxxxxxxxxx

ap-northeast-2:i-88888888888888888

)

## instance status : stopped -> pending -> running

instance_start() {

until [[ $INSTANCE_CHECK == "running" ]]

INSTANCE_CHECK=$($AWSCLI ec2 describe-instances --region $REGION --instance-ids $INSTANCE --output text \

--query "Reservations[*].Instances[*].[State.Name]")

if [[ $INSTANCE_CHECK == "stopped" ]];then

$AWSCLI ec2 start-instances --region $REGION --instance-ids $INSTANCE

sleep 5

elif [[ $INSTANCE_CHECK == "pending" ]];then

sleep 10

elif [[ -z $INSTANCE_CHECK ]];then

break 1;

((COUNT_LOOP++))

if [ $COUNT_LOOP -ge 360 ];then

break 1;

done

unset INSTANCE_CHECK COUNT_LOOP

}

for a in ${AWS_INSTANCES[*]}

REGION=$(echo $a|cut -d":" -f1)

INSTANCE=$(echo $a|cut -d":" -f2)

instance_start;

unset REGION INSTANCE

done

unset AWS_INSTANCES AWSCLI AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY

exit 0

인스턴스 자동 정지 스크립트 ( /shell/aws-start-instance.sh )

#!/bin/bash

##################################################################################

# - script dependency awscli. (~]# pip install awscli)

# by Enteroa ( enteroa.j@gmail.com )

##################################################################################

export AWS_ACCESS_KEY_ID=AAAAAAAAAAAAAAAAAAAA

export AWS_SECRET_ACCESS_KEY=BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB

AWSCLI=$(which aws)

AWS_INSTANCES=(

ap-northeast-2:i-xxxxxxxxxxxxxxxxx

ap-northeast-2:i-88888888888888888

)

## instance status : running -> stopping -> stopped

instance_stop() {

until [[ $INSTANCE_CHECK == "stopped" ]]

INSTANCE_CHECK=$($AWSCLI ec2 describe-instances --region $REGION --instance-ids $INSTANCE --output text \

--query "Reservations[*].Instances[*].[State.Name]")

if [[ $INSTANCE_CHECK == "running" ]];then

$AWSCLI ec2 stop-instances --region $REGION --instance-ids $INSTANCE

sleep 5

elif [[ $INSTANCE_CHECK == "stopping" ]];then

sleep 10

elif [[ -z $INSTANCE_CHECK ]];then

break 1;

((COUNT_LOOP++))

if [ $COUNT_LOOP -ge 360 ];then

break 1;

done

unset INSTANCE_CHECK COUNT_LOOP

}

for a in ${AWS_INSTANCES[*]}

REGION=$(echo $a|cut -d":" -f1)

INSTANCE=$(echo $a|cut -d":" -f2)

instance_stop;

unset REGION INSTANCE

done

unset AWS_INSTANCES AWSCLI AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY

exit 0