Pemasangan HBase di Ubuntu

Isi kandungan:

Anonim

Dalam tutorial ini- anda akan belajar,

  • Mod Pemasangan Apache HBase
  • Cara memuat turun versi stabil fail tar Hbase
  • Hbase - Pemasangan mod Berdiri
  • Hbase - Kaedah pemasangan Pseudo diedarkan
  • Hbase - Pemasangan mod Teragih Sepenuhnya
  • Penyelesaian Masalah Pemasangan HBase

Mod Pemasangan Apache HBase

Apache HBase boleh dipasang dalam tiga mod. Ciri-ciri mod ini disebutkan di bawah.

1) Pemasangan mod Berdiri (Tidak bergantung pada sistem Hadoop)

  • Ini adalah mod lalai HBase
  • Ia berjalan terhadap sistem fail tempatan
  • Ia tidak menggunakan Hadoop HDFS
  • Hanya daemon HMaster yang boleh dijalankan
  • Tidak digalakkan untuk persekitaran pengeluaran
  • Berjalan dalam JVM tunggal

2) Pemasangan mod Pseudo-Distributed (Sistem Hadoop nod tunggal + pemasangan HBase)

  • Ia berjalan di Hadoop HDFS
  • Semua Daemon berjalan dalam satu nod
  • Mengesyorkan untuk persekitaran pengeluaran

3) Pemasangan mod yang diagihkan sepenuhnya (persekitaran MultinodeHadoop + pemasangan HBase)

  • Ia berjalan di Hadoop HDFS
  • Semua daemon akan berjalan melintasi semua nod yang terdapat dalam kluster
  • Sangat disyorkan untuk persekitaran pengeluaran

Untuk pemasangan Hadoop Rujuk URL ini di Sini

Cara memuat turun versi stabil fail tar Hbase

Langkah 1) Pergi ke pautan di sini untuk memuat turun HBase. Ia akan membuka laman web seperti gambar di bawah.

Langkah 2) Pilih versi stabil seperti yang ditunjukkan di bawah versi 1.1.2

Langkah 3) Klik pada hbase-1.1.2-bin.tar.gz. Ia akan memuat turun fail tar. Salin fail tar ke lokasi pemasangan.

Hbase - Pemasangan mod Berdiri:

Pemasangan dilakukan di Ubuntu dengan Hadoop sudah terpasang.

Langkah 1) Letakkan hbase-1.1.2-bin.tar.gz di / home / hduser

Langkah 2) Buka zip dengan melaksanakan arahan $ tar -xvf hbase-1.1.2-bin.tar.gz . Ia akan mengekstrak kandungannya, dan akan membuat hbase-1.1.2 di lokasi / rumah / hduser

Langkah 3) Buka hbase-env.sh seperti di bawah dan sebutkan jalan JAVA_HOME di lokasi.

Langkah 4) Buka fail ~ / .bashrc dan sebutkan laluan HBASE_HOME seperti yang ditunjukkan di bawah

eksport HBASE_HOME = / rumah / hduser / hbase-1.1.1 eksport PATH = $ PATH: $ HBASE_HOME / tong

Langkah 5) Buka hbase-site.xml dan letakkan sifat berikut di dalam fail

hduser @ ubuntu $ gedit hbase-site.xml (kod seperti di bawah)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Di sini kita meletakkan dua sifat

  • Satu untuk direktori root HBase dan
  • Yang kedua untuk direktori data sesuai dengan ZooKeeper.

Semua aktiviti HMaster dan ZooKeeper menunjukkan hbase-site.xml ini.

Langkah 6) Buka fail host yang terdapat di / etc. lokasi dan sebutkan IP seperti yang ditunjukkan di bawah.

Langkah 7) Sekarang Jalankan Start-hbase.sh di lokasi hbase-1.1.1 / bin seperti gambar di bawah.

Dan kita boleh periksa dengan arahan jps untuk melihat HMaster sedang berjalan atau tidak.

Step8) Shell HBase dapat dimulai dengan menggunakan "shell hbase" dan ia akan memasuki mod shell interaktif seperti yang ditunjukkan dalam tangkapan layar di bawah. Setelah memasuki mod shell, kita dapat melakukan semua jenis perintah.

Mod mandiri tidak memerlukan daemon Hadoop untuk dimulakan. HBase boleh berjalan secara bebas.

Hbase - Mod pemasangan Pseudo diedarkan:

Ini adalah kaedah lain untuk Pemasangan Apache Hbase, yang dikenali sebagai mod Pemasangan Pseudo Distributed. Berikut adalah langkah-langkah untuk memasang HBase melalui kaedah ini.

Langkah 1) Letakkan hbase-1.1.2-bin.tar.gz di / home / hduser

Langkah 2) Buka zip dengan melaksanakan arahan $ tar -xvf hbase-1.1.2-bin.tar.gz . Ia akan mengekstrak kandungannya, dan akan membuat hbase-1.1.2 di lokasi / rumah / hduser

Langkah 3) Buka hbase-env.sh seperti berikut di bawah dan sebutkan jalan JAVA_HOME dan laluan pelayan Wilayah di lokasi dan eksport arahan seperti yang ditunjukkan

Langkah 4) Pada langkah ini, kita akan membuka fail ~ / .bashrc dan menyebut jalan HBASE_HOME seperti yang ditunjukkan dalam tangkapan skrin.

Langkah 5) Buka HBase-site.xml dan sebutkan sifat di bawah dalam fail. (Kod seperti di bawah) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Menyiapkan direktori root Hbase di harta tanah ini
  2. Untuk persediaan yang diedarkan, kita harus menetapkan harta tanah ini
  3. Harta kuorum ZooKeeper harus disediakan di sini
  4. Penyediaan replikasi dilakukan di harta tanah ini. Secara lalai kami meletakkan replikasi sebagai 1.

    Dalam mod diedarkan sepenuhnya, terdapat banyak node data sehingga kita dapat meningkatkan replikasi dengan meletakkan lebih dari 1 nilai di properti dfs.replication

  5. Pelabuhan pelanggan harus disebutkan di tempat penginapan ini
  6. Direktori data ZooKeeper dapat disebut dalam harta tanah ini

Langkah 6) Mulakan daemon Hadoop terlebih dahulu dan selepas itu mulakan daemon HBase seperti gambar di bawah

Di sini pertama anda harus memulakan daemon Hadoop dengan menggunakan perintah "./start-all.sh" seperti yang ditunjukkan di bawah.

Setelah memulakan Hbase daemon oleh hbase-start.sh

Sekarang periksa jps

Hbase - Pemasangan mod diedarkan sepenuhnya: -

  • Penyediaan ini akan berfungsi dalam mod kluster Hadoop di mana beberapa nod muncul di seluruh kluster dan berjalan.
  • Pemasangannya sama dengan mod pseudo diedarkan; satu-satunya perbezaan adalah bahawa ia akan muncul di beberapa nod.
  • Fail konfigurasi yang disebut dalam HBase-site.xml dan hbase-env.sh adalah sama seperti yang disebutkan dalam mod pseudo.

Penyelesaian Masalah Pemasangan HBase

1) Pernyataan Masalah: Pelayan induk memulakan tetapi pelayan wilayah tidak menginisialisasi

Komunikasi antara pelayan Master dan wilayah melalui alamat IP mereka. Seperti cara Master akan mendengar bahawa pelayan wilayah sedang berjalan atau mempunyai alamat IP 127.0.0.1. Alamat IP 127.0.0.1 yang merupakan hos tempatan dan menyelesaikan ke pelayan induk tuan rumah tempatan sendiri.

Sebab:

Dalam komunikasi dua kali antara pelayan wilayah dan induk, pelayan wilayah terus menerus memberitahu pelayan induk mengenai alamat IP mereka adalah 127.0.0.1.

Penyelesaian:

  • Perlu mengeluarkan nod nama pelayan induk dari hos tempatan yang terdapat dalam fail hos
  • Lokasi fail hos / etc / host

Apa yang perlu diubah:

Buka / etc / host dan pergi ke lokasi ini

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Ubah konfigurasi di atas seperti di bawah (hapus nama pelayan wilayah seperti yang disorot di atas)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Penyataan Masalah: Tidak dapat mencari alamat saya: XYZ dalam senarai pelayan kuorum Zookeeper

Sebab:

  • Pelayan ZooKeeper tidak dapat dimulakan, dan ia akan menimbulkan kesalahan seperti .xyz dalam nama pelayan.
  • HBase berusaha untuk memulakan pelayan ZooKeeper pada beberapa mesin tetapi pada masa yang sama mesin tidak dapat menemukan konfigurasi kuorum seperti yang terdapat dalam fail konfigurasi HBase.zookeeper.quorum .

Penyelesaian: -

  • Harus mengganti nama host dengan nama host yang ditunjukkan dalam mesej ralat
  • Andaikan kita mempunyai pelayan DNS maka kita dapat menetapkan konfigurasi di bawah di HBase-site.xml.
    • HBase.zookeeper.dns.interface
    • HBase.zookeeper.dns.nameserver

3) Penyataan Masalah: Direktori Root yang dibuat untuk HBase melalui Hadoop DFS

  • Tuan mengatakan bahawa anda perlu menjalankan skrip migrasi HBase.
  • Setelah menjalankannya , skrip migrasi HBase bertindak balas seperti tidak ada fail dalam direktori root .

Sebab:

  • Penciptaan direktori baru untuk HBase menggunakan sistem fail Hadoop Terdistribusi
  • Di sini HBase menjangkakan dua kemungkinan

1) Direktori root tidak wujud

2) HBase menjalankan masa sebelumnya yang dimulakan sebelumnya

Penyelesaian:

  • Buat kesesuaian direktori root HBase pada masa ini tidak ada atau telah diinisialisasi oleh menjalankan contoh HBase sebelumnya.
  • Sebagai sebahagian daripada penyelesaian, kita harus mengikuti langkah-langkah

Langkah 1) Menggunakan Hadoop dfs untuk menghapus direktori root HBase

Langkah 2) HBase membuat dan memulakan direktori dengan sendirinya

4) Penyataan masalah: Sesi Zookeeper tamat tempoh acara

Sebab:

  • Pelayan HMaster atau HRegion ditutup dengan membuang Pengecualian
  • Sekiranya kita melihat log, kita dapat mengetahui pengecualian sebenar yang dilemparkan

Berikut menunjukkan pengecualian yang dilemparkan kerana Zookeeper tamat tempoh. Peristiwa yang disorot adalah beberapa pengecualian yang berlaku dalam fail log

Log kod fail seperti paparan di bawah:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Penyelesaian:

  • Saiz RAM lalai adalah 1 GB. Kerana telah lama mengimport, kami telah mengekalkan kapasiti RAM lebih dari 1 GB.
  • Harus meningkatkan masa tamat sesi untuk Zookeeper.
  • Untuk meningkatkan masa sesi daripada Zookeeper, kita harus mengubah sifat berikut dalam "hbase-site.xml" yang terdapat dalam jalur folder hbase / conf.
  • Waktu tamat sesi lalai adalah 60 saat. Kita dapat mengubahnya menjadi 120 saat seperti yang disebutkan di bawah
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000