Mysql/MariaDB 대용량 데이터 import 하기

1. command 명령 프롬프트에서 mysql/mariadb 로그인

D:\eGov_3.6_DEV\bin\mariadb-10.2.6-winx64>bin\mysql -u root -p
Enter password: **********
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 23
Server version: 10.2.6-MariaDB-log mariadb.org binary distribution

Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> help load
Many help items for your request exist.
To make a more specific request, please type 'help <item>',
where <item> is one of the following
topics:
   LOAD DATA
   LOAD INDEX


2. import 하고자 하는 DB로 변경

MariaDB [(none)]> use skb_mss;  <== 해당 db로 이동
Database changed

3. *.csv/*.log 파일의 내용을 읽어서 로딩
// 파일에서 데이터 읽어서 로딩하기.
// 아래 문장의 내용
// input 파일명 : d:\aapl2.csv  입력 테이블명 : aapl
// 컬럼 구분은 ','
// 줄 끝은 '\n'
// 첫줄은 header 이므로 무시
MariaDB [skb_mss]> load data local infile 'd:\\aapl2.csv' into table aapl columns terminated by ',' lines terminated by '\n' ignore 1 lines;
Query OK, 1243 rows affected, 2471 warnings (0.04 sec)
Records: 1243  Deleted: 0  Skipped: 0  Warnings: 2471

Linix] centos45_oracle10gr2설치하기

이 문서는 http://supike.spaces.live.com/blog/cns!502FB505094D1443!377.entry 와http://tykim.wordpress.com/2007/04/11/red-hat-rhel4에-oralcle-10g-r2-설치-intsall-howto 사이트를 참조하여 재구성 하였으며, 전체적으로는 http://tykim.wordpress.com/2007/04/11/red-hat-rhel4에-oralcle-10g-r2-설치-intsall-howto를 기반으로 하였 고, 단지 1가지 측면의 설치 방법을 다루고 있다. 

================================================================================================

CentOS 4.5 에 Oralcle 10g R2 설치, Intsall HOWTO

Filed under: Syste m Guru — Peter Kim @ 수정 : journae

CentOS4.5(RedHat REHL4 clone) 에서 10g를 설치 가이드 자료가 많지 않아 기록차원으로 남긴다. 

0.개요

   1) 시스템 요구 사항 검증

   2) 디렉토리 생성

   3) 오라클 그룹 및 사용자 계정 생성

   4) Linux 커널 매개변수 설정

   5) Oracle계정 Shell Limit 설정

   6) Oracle 계정 환경 변수

   7) Oracle 설치   

Oracle 사용 

0. 전제 조건 OS 는 쉽게 구할 수 있는 Centos 4.5 를 사용했다. 처음에 Centos 5.0 으로 설치를 시도 했으나 gcc, glibc 등의 버전이 맞지 않아 4.5로 downgrade 한 후 다시 설치를 진행했다.

참고로, centos 설치도 GUI를 지원하는 관계로 설치가 예전보다 훨씬 편하다. 아직 윈도우 보다는 불편(?)하지만 …^^ 

1. 시스템 요구사항 검증1) Kernel 버전 확인 하여 Kernel버전 및 Architecture(i386, x86_64등)을 확인

    # uname -a

2) 설치 필요 패키지를 확인

    * gcc-3.4.3-9.EL4

    * make-3.80-5

    * binutils- 2.15.92.0.2-10.EL4

    * openmotif-2.1.30-11

    * setarch-1.6-1

    * compat-db-4.1.25-9

    - # rpm -q <패키지명> (ex:rpm -q binutils)으로 설치 여부 및 버전확인하여 최근 상위 본으로 설치한다. 특히 binutils는 최신본으로 설치할 것 (binutils를 상기 버전으로하면 중간에 skip가능한 오류가 하나 나옴)

    - 패키지의 설치는 RHN의 up2date 혹은 CentOS의 yum을 통해서 update하거나,      RPM repository 서비스 site를 이용하여 해당 RPM을 받아 직접 설치한다.

    - ex) yum install gcc … (package name)

    - 참고로 yum을 사용해 본 결과 상당히 편함을 느꼈다. 

2. 오라클 그룹 및 사용자 계정 생성Oralce의 운영을 위해 필요한 계정/그룹을 설치한다. —————————————————————————————-

# /usr/sbi n/groupadd oracle

# /usr/sbin/groupadd dba

# /usr/sbin/useradd -m -g oracle -G dba oracle

# passwd oracle

—————————————————————————————-

3. 디렉토리 생성Oracle 10g (10.2.0.1.0) 설치에 필요한 디렉토리 및 권한을 설정한다. ————————————————————————————— 

# mkdir -p /u 01/app/oracle   (Oralce 프로그램 설치 폴더)

# mkdir -p / u02/ oradata      (Oracle 데이터 설치 폴더)

# chown -R oracle:oracle / u01/app/oracle / u02 /oradata# chmod -R 775 / u01/app/oracle / u02 /oradata

—————————————————————————————-

4. Linux 커널 매개변수 설정Oracle 운영에 필요한 커널 매개변수를 아래와 같이 설정한다.—————————————————————————————-

# cat >> /etc/sysctl.conf <  > kernel.shmall = 2097152  > kernel.shmmax = 2147483648  > kernel.shmmni = 4096  > kernel.sem = 250 32000 100 128  > fs.file-max = 65536  > net.ipv4.ip_local_port_range = 1024 65000  > EOF

# /sbin/sysctl -p

—————————————————————————————-

아래와 같이 상기 커널 파라메터가 적용되었는지 확인 한다. 

—————————————————————————————-

# /sbin/sysctl -a | grep shmkernel.shmmni = 4096kernel.shmall = 2097152kernel.shmmax = 2147483648kernel.shm-use-bigpages = 0

# /sbi n/sysctl -a | grep semkernel.sem = 250        32000   100     128

# /sbin/sysctl -a | grep file-maxfs.file-max = 65536

# /sbin/sysctl -a | grep ip_local_port_rangenet.ipv4.ip_local_port_range = 1024     65000—————————————————————————————-

5. Oracle계정 Shell Limit 설정Oracle 계정의 shell limit을 아래와 같이 설정한다.

—————————————————————————————-

cat >> /etc/security/limits.conf

cat >> /etc/pam.d/login

6. Oracle 계정 환경 변수Bourn/Korn 쉘의 경우 ~oracle/.bash_profile 파일에 대해서 아래 내용을 추가 하도록 한다.

—————————————————————————————-

export ORACLE_BASE=/disk01/app/oracle                              

export ORACLE_SID=                     

* Note : SID를 orcl로 미리 설정하였음.

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0.1.0/db_1   

* Note : 설치 폴더를 미리 설정하였음.

export PATH=$PATH:$ORACLE_HOME/binexport LD_LIBRARY_PATH=$ORACLE_HOME/lib

—————————————————————————————-

7. 시스템 Rebooting & Check Version 시스템을 Reboot 한다.

# vi etc/redhat-release 

(파일의 내용을 redhat-4 확인 / CentOS일 경우 인식못함으로 변경) 위의 파일의 내용을 아래와 같이 변경하여 사용한다.

“Red Hat Enterprise Linux As release 3 (Taroon) ”

8. Oracle 설치1) Oracle 해당 버전 download     

a. “http://otn.oracle.com/software/products/database/oracle10g/index.html” 에서         RHEL 4AS 64bit를 위해 x86-64bit인 “Oracle Database 10g Release 2 (10.2.0.1.0) for Linux x86-64″를 다운로드 받는다.        (받는 위치는 / u01/app/oracle 에 저장한다.)     

b. “unzip -d 10201_database_linux_x86_64.cpio.gz”하여 unzip을 해주고     

c. “cpio -idmv < 10201_database_linux_x86_64.cpio”를 통해서 묶음을 풀어준다.       (이러면 압축은 /u01/app/oracle/database 에 풀린다)

** 실제 파일은 10201_database_linux32.zip 파일이 다운된다. 이 파일을 푸는 방법은 unzip 10201_database_linux32.zip 하면 현재 폴더에 database 밑에 쭈~욱 풀리게 된다.

2) oracle 계정으로 login 및 설치 명령

————————————————————————————— -

$ cd /u 01/app/oracle/database

$ ./runInstaller

이때부터는 GUI 형태이므로 설명 생략 설치폴더는 / u01/app/oracle/product/10.2.0.1.0/db_1 으로 기재 

—————————————————————————————-

(RHEL4 운영체제에서 binutils, gcc, openmotif에대한 점검작업이 실패한 경우에는 경고 메시지를 무시하고 다음 단계로 진행할 것. )

9. Oracle 사용 확인 

1) Oracle Enterprise Manager 10g Database Control    설치 후 안내화면에 데이터베이스 컨트롤 URL이 나오면 기록해 놓았다가 접속    

- http://ipaddress:port/em     

- User Name: SYS    

- Password: <설치과정에서 입력한 패스워드>    

- Connect As: SYSDBA

2) 데이터베이스 시작 및 중단

—————————————————————————————-

$ sqlplusSQL> shutdown immediate * Oracle instance 종료 

SQL> startup                           

* Oracle instance 시작 

—————————————————————————————-