본문 바로가기

file

특정 파일 검색해서 해당 파일내에 특정 문구 추가하기 기본적으로 파일내에 특정 문구를 추가하려면 아래 명령을 사용하면된다. ]$ sed -i '[넣어줄 줄위치]s/^/[추가해줄 문장]\n/' [추가하려는 파일]]$ sed -i '2s/^/SET autocommit=0;\n\n/' ./test.sql \; # 여러 개를 추가하려면(5개가 추가됨)]$ sed -i '1,5s/^/-- test line\n\n/' ./test.sql \; 덤프뜬 데이터 양이 많아서 split으로 나눠서 일괄로 등록해줄 필요가 있었음.그래서 split으로 나눈후 해당 내용에 SET autocommit=0을 모든 파일에 추가해줘야함. ]$ split -l 500 all_log.sql ./log_split/log-]$ find ./ -name 'log-*' -exec sed -i '1.. 더보기
[Python] 파일 읽고 쓰기 # _*_ coding: utf8 _*_ with open({file_path}, {file_mode}) as fp:fp.write('Hello World')fp.close() 파일 모드r - 파일 읽기만 할 경우w - 파일에 내용 쓸때a - 기존 파일에 새로운 내용 추가시 더보기
[CDH] Cloudera manager 이용한 cluster hadoop 구성하기 총 4대의 서버를 이용해서 cloudera cluster 환경 구성을 해보겠음. 먼저 각 서버상의 호스트들을 정의해 줌.# 모든 서버들에 넣어줘버리자.# 클라우드 환경에서 공인아이피를 넣었더니 클러스터 구성에서 실패하는 현상이 보임.# 그래서 사설 아이피를 넣어서 사용해보았더니 잘 동작함.]$ vi /etc/hosts10.1.1.1 manager.domain.com manager10.1.1.2 master1.domain.com master110.1.1.3 node1.domain.com node110.1.1.4 node2.domain.com node2 manager 서버에 Cloudera manager 프로그램을 설치할 예정임.manager 서버에서 ssh rsa 키를 생성해 줌. # manager 서버에.. 더보기