Mengintegrasikan cluster Azure Data Explorer dengan Azure Synapse

Artikel ini akan menunjukkan cara membuat kluster Azure Data Explorer, lalu mengonfigurasinya untuk digunakan dengan instans Azure Synapse Analytics.

pengantar

Dalam artikel saya sebelumnya, Mencerna data ke Azure Synapse Data Explorer Pool, kami mempelajari cara membuat kumpulan Azure Data Explorer di Synapse, serta cara mengisinya dengan data yang dihosting di Azure Data Lake Storage. Cara kerja penyiapan ini adalah memerlukan data untuk diisi di kumpulan Data Explorer yang dibuat di Synapse. Mungkin ada kasus penggunaan di mana seseorang sudah memiliki cluster Azure Data Explorer yang melayani pengguna dengan data yang terisi di dalamnya. Jika seseorang ingin menggunakan data ini di Azure Synapse dan untuk ini, jika seseorang harus memindahkan seluruh data dari cluster ke kumpulan Azure Data Explorer, itu tidak akan menjadi pendekatan yang efisien atau mudah sama sekali. Untungnya, seseorang tidak perlu melakukan migrasi data jenis ini dari satu cluster ke pool lainnya. Azure Synapse Analytics menawarkan mekanisme di mana seseorang dapat menggunakan sumber data eksternal dengan Azure Synapse.

Membuat Cluster Penjelajah Data Azure

Dalam seri artikel sebelumnya, kami telah membahas cara membuat instans Azure Synapse Analytics dengan berbagai jenis kumpulan, yang terbaru adalah kumpulan Azure Data Explorer. Jadi di sini kita akan berasumsi bahwa seseorang telah membuat instance Synapse dan memiliki akses ke Azure Synapse Studio untuk mengoperasikan instance ini.

Bagi mereka yang baru mengenal Azure Data Explorer, pertama-tama kita akan mempelajari cara membuat cluster Azure Data Explorer, yang hampir identik dengan kumpulan Synapse Data Explorer. Setelah kami membuat cluster ini, kami akan bisa mendapatkan titik akhir cluster, yang dengannya kami akan melihat cara mendaftarkan instance ini dengan Azure Synapse untuk menggunakan data dari cluster ini di Synapse.

Dengan asumsi seseorang memiliki akun cloud Azure dengan hak istimewa yang diperlukan untuk mengelola Azure Data Explorer Cluster, navigasikan ke dasbor layanan ini dan akan terlihat seperti yang ditunjukkan di bawah ini jika seseorang tidak memiliki cluster. Kita dapat memulai pembuatan cluster baru dengan mengklik tombol yang berjudul “Buat cluster Azure Data Explorer”.


Ini akan membuka wizard yang rumit untuk membuat cluster Azure Data Explorer seperti yang terlihat di bawah ini. Langkah pertama mengharuskan kami untuk memberikan detail dasar yang dimulai dengan langganan dan nama grup sumber daya. Kemudian kita perlu memberikan nama yang unik untuk cluster dan wilayah di mana cluster harus dibuat. Setelah selesai, gulir ke bawah untuk melanjutkan dengan set detail berikutnya.


Dasar-dasar

Kita perlu memilih spesifikasi komputasi yang menentukan jenis konfigurasi yang kita butuhkan untuk beban kerja yang akan dijalankan pada cluster ini. Untuk latihan ini, kita tidak memerlukan konfigurasi skala produksi. Jadi, kita dapat menyederhanakan ini dan memilih beban kerja Dev/Test untuk latihan ini.


Beban kerja

Pada langkah selanjutnya, kita perlu memilih opsi terkait skalabilitas – Skala manual atau Skala otomatis yang dioptimalkan. Jika seseorang membutuhkan berbagai tingkat penskalaan karena persyaratan sumber daya beban kerja mungkin sangat tidak stabil, opsi penskalaan otomatis akan optimal. Dalam kasus lain, jika seseorang membutuhkan sumber daya tetap dan model biaya tetap untuk mengoperasikan beban kerja mereka, dalam hal ini, opsi skala manual akan menjadi titik awal yang baik. Untuk saat ini, kami akan melanjutkan dengan opsi default dan melanjutkan dengan opsi manual.


Skalabilitas

Pada langkah selanjutnya, kita perlu mengaktifkan atau menonaktifkan pengaturan tertentu pada langkah konfigurasi. Secara default, penyerapan dan pembersihan berbasis streaming dinonaktifkan, dan opsi kluster berhenti otomatis diaktifkan. Opsi ini dikonfigurasi dari sudut pandang pengaturan dasar default. Untuk saat ini, kami tidak perlu mengubah apa pun dalam pengaturan ini, dan kami dapat melanjutkan dengan nilai default.


Konfigurasi

Pada langkah selanjutnya, kita perlu mengonfigurasi pengaturan terkait keamanan pada langkah ini. Secara default, hampir setiap layanan dan data di cloud Azure dienkripsi. Dalam hal, seseorang perlu memperkuat tingkat enkripsi, seseorang dapat memilih enkripsi ganda juga. Ini bukan sesuatu yang mungkin diperlukan secara default untuk setiap kasus penggunaan, sehingga dinonaktifkan secara default. Kami memiliki opsi untuk menentukan penyewa klaster ini yang akan menggunakan klaster ini untuk mengonsumsi data. Untuk saat ini, kami tidak menetapkan penyewa eksternal, tetapi di masa mendatang, mungkin ada penyewa yang dapat menggunakan cluster ini. Jadi, akan optimal untuk memilih opsi “Semua Penyewa” di sini. Opsi Identitas Sistem dan Identitas Pengguna dinonaktifkan secara default. Tetapi seseorang mungkin ingin mengaktifkannya jika seseorang bermaksud menggunakan cluster ini dari sistem lain seperti Synapse atau penyewa lain juga. Selesaikan konfigurasi identitas pengguna dan sistem dan lanjutkan ke langkah berikutnya.


Keamanan

Pada langkah selanjutnya, kita perlu mengonfigurasi pengaturan terkait jaringan untuk cluster ini. Secara default, cluster ini tidak dibuat di jaringan virtual, tetapi secara opsional seseorang dapat mengaktifkan pengaturan ini dan menentukan jaringan virtual di mana cluster harus dibuat.


Jaringan

Pada langkah berikutnya, kita perlu menentukan secara opsional apakah kita ingin mengaktifkan pengaturan diagnostik untuk cluster ini. Mengaktifkan ini akan menghasilkan cluster yang mentransmisikan data terkait kinerja ke Microsoft. Konfigurasikan pengaturan ini sesuai keinginan dan kemudian lanjutkan ke langkah berikutnya.


Pengaturan Diagnostik

Sekarang kita perlu secara opsional menentukan tag untuk cluster ini jika diperlukan. Kemudian pada langkah selanjutnya, kita perlu meninjau konfigurasi yang telah kita tentukan sejauh ini, dan kemudian kita dapat mengklik tombol Create untuk memulai pembuatan cluster ini. Cluster mungkin memerlukan waktu beberapa menit untuk dibuat. Setelah cluster dibuat, navigasikan ke dasbor halaman ini dan itu akan terlihat seperti yang ditunjukkan di bawah ini setelah menggulir ke bagian Memulai.

Setelah cluster dibuat, langkah pertama adalah membuat database, lalu membuat tabel dan objek data lainnya di dalamnya. Setelah objek database berada di tempatnya, seseorang dapat memulai penyerapan data untuk mengisi objek database ini. Setelah selesai, cluster siap untuk diakses dan/atau didaftarkan dengan Azure Synapse.


Dasbor Klaster

Sebelum kita mulai dengan langkah berikutnya, diasumsikan bahwa instance Azure Synapse sudah ada. Arahkan ke Synapse Studio dan klik pada tab Data. Klik pada tanda plus dan kita akan dapat melihat opsi seperti yang terlihat di bawah ini. Mengklik database penjelajah data membuat database baru di kumpulan penjelajah data yang ada. Ini bukan pilihan yang tepat untuk mengintegrasikan cluster Azure Data Explorer eksternal dengan Synapse. Sebagai gantinya, klik opsi sambungkan ke data eksternal dari bagian tertaut seperti yang ditunjukkan di bawah ini.


Layanan Tertaut

Pada langkah selanjutnya, kita akan diberikan pilihan untuk memilih salah satu sumber data yang didukung. Salah satunya adalah layanan Azure Data Explorer, seperti yang ditunjukkan di bawah ini. Pilih yang sama dan lanjutkan ke langkah berikutnya.


Hubungkan ke data eksternal

Ini adalah langkah di mana kita dapat mengonfigurasi pendaftaran dan integrasi cluster Azure Data Explorer. Berikan nama baru untuk layanan tertaut yang akan dibuat untuk layanan Azure Data Explorer. Gunakan AutoResolvingIntegrationRuntime, dan metode autentikasi seperti yang dikonfigurasi untuk kluster, seseorang harus dapat menemukan kluster dalam daftar kluster. Berikan id penyewa serta nama dan kredensial yang dikelola pengguna atau sistem, lalu klik tombol untuk mendaftarkan klaster. Asalkan nilai konfigurasi dan kredensial keamanan dikonfigurasi dengan benar, cluster Azure Data Explorer akan terdaftar, dan seseorang dapat mulai menggunakan data dari cluster ini di Synapse menggunakan layanan tertaut ini.


Pengaturan konfigurasi untuk layanan tertaut

Dengan cara ini, kita dapat menggunakan cluster Azure Data Explorer eksternal dengan layanan Azure Synapse Analytics.

Kesimpulan

Dalam artikel ini, kami mempelajari cara membuat cluster Azure Data Explorer baru, membuat objek database dan mengisinya dengan data dari antarmuka dasbor, lalu mendaftarkannya ke layanan Azure Synapse Analytics sebagai sumber tertaut eksternal untuk menggunakan data dari cluster.

Gauri Mahajan
Posting terbaru oleh Gauri Mahajan (Lihat semua)

Pemulihan Data