Подключение Excel к Apache Hadoop при помощи драйвера Microsoft Hive ODBC в Azure HDInsight

Решение Майкрософт для работы с большенными данными содержит в себе составляющие бизнес-аналитики (БА) Майкрософт с кластерами Apache Hadoop, развернутыми в HDInsight. Примером может служить возможность подключения Excel к хранилищу данных Hive кластера Hadoop. Подключение при помощи драйвера Microsoft Hive Open Database Connectivity (ODBC).

Вы сможете подключить данные, связанные с кластером HDInsight, из Excel при помощи надстройки Microsoft Power Query для Excel. Доп сведения см. в статье Подключение Excel к HDInsight при помощи Power Query.

Подготовительные требования

Перед началом работы с данной для нас статьей нужно иметь последующее:

Кластер HDInsight Hadoop. Доп сведения о разработке кластера см. в статье Приступая к работе с Hadoop в HDInsight.
Рабочая станция с Office 2010 Professional Plus либо наиболее поздней версии либо Excel 2010 либо наиболее поздней версии.

Установка драйвера Microsoft Hive ODBC

Скачайте и установите драйвер Microsoft Hive ODBC. Изберите версию, которая соответствует версии приложения, где будет употребляться драйвер ODBC. В рамках данной статьи употребляется драйвер для Office Excel.

Создание источника данных Apache Hive ODBC

Ниже показано, как сделать источник данных Hive ODBC.

В Windows откройте Запуск > Средства администрирования Windows > Источники данных ODBC (32-разрядная либо 64-разрядная версия) . В итоге раскроется окно Админ источников данных ODBC.

На вкладке DSN юзера изберите Добавить, чтоб открыть окно Создание новейшего источника данных.

Изберите Microsoft Hive ODBC Driver, а потом — Готово, чтоб открыть окно Microsoft Hive ODBC Driver DSN Setup (Настройка DSN Microsoft Hive ODBC Driver).

Введите либо изберите последующие значения:

Необязательно: изберите Доп характеристики.

Параметр	Описание
Употреблять начальный запрос	При выбирании этого параметра драйвер ODBC НЕ пробует конвертировать TSQL в HiveQL. Следует употреблять лишь при полной убежденности в отправке реальных инструкций HiveQL. При подключении к серверу SQL Server либо базе данных Azure SQL нужно снять этот флаг.
Строчки, загружаемые для всякого блока	При получении огромного размера записей включение этого параметра может обеспечить лучшую производительность.
Длина столбца строчки по дефлоту, длина столбца двоичного кода, масштаб столбца десятичных значений	Длина и точность типа данных может воздействовать на метод выведения данных. Это приведет к возврату недопустимой инфы из-за утраты точности и/либо усечения.

Щелкните Тест для проверки источника данных. При правильной настройке источника результатом теста будет слово УСПЕШНО! .

Нажмите клавишу ОК, чтоб закрыть окно тестов.

Нажмите клавишу ОК, чтоб закрыть окно Microsoft Hive ODBC Driver DSN Setup (Настройка DSN Microsoft Hive ODBC Driver).

Нажмите клавишу ОК, чтоб закрыть окно Админ источников данных ODBC.

Импорт данных в Excel из службы HDInsight

Ниже описан метод импорта данных из таблицы Hive в рабочую книжку Excel при помощи источника данных ODBC, сделанного в прошлом разделе.

Откройте новейшую либо существующую рабочую книжку в Excel.

На вкладке Данные перейдите к разделу Получить данные > Из остальных источников > Из ODBC, чтоб открыть окно Из ODBC.

Из раскрывающегося перечня изберите имя источника данных, который вы сделали в прошлом разделе, и щелкните ОК.

При первом использовании раскроется диалоговое окно Драйвер ODBC. В меню слева изберите пункт Windows. Потом нажмите клавишу Подключиться, чтоб открыть окно Навигатор.

В окне Навигатор перейдите к HIVE > по дефлоту > hivesampletable, а потом нажмите клавишу Загрузить. Для импорта данных в Excel будет нужно несколько секунд.

Последующие деяния

В рамках данной для нас статьи вы узнали, как получить данные из службы HDInsight в Excel при помощи драйвера Microsoft Hive ODBC. Аналогичным образом можно получать данные из службы HDInsight в базу данных SQL. Можно также передавать данные в службу HDInsight. Доп сведения см. на последующих ресурсах:

Где хранятся опции системный dsn. Firebird ODBC, InterBase ODBC либо OLE DB? Избираем драйвер для InterBase и Firebird.

Для получения доступа к сделанной DBF-таблице из сценария WSH мы воспользуемся технологией ODBC (Open DataBase Connectivity). ODBC — это обычное средство Microsoft для работы с реляционными базами данных разных форматов и производителей, способное обрабатывать запросы к базам на языке SQL (Structured Query Language, язык структурированных запросов).

Замечание

Для исходного ознакомления с языком SQL можно посоветовать книжку .

Вы ввели пароль для юзера по дефлоту во время установки. Естественно, если у вас нет базы данных, установленной локально, данные, показанные ниже, будут совсем различными. Видите ли, соединение было сотворено. Это страшно длиннющий, но не вся информация, содержащаяся в нем, нужна.

Сейчас для вас, наверняка, любопытно, почему мы сделали настолько не мало шагов, чтоб получить лишь некую надпись? Все эти шаги были нужны. Моя сокращенная ссылка смотрится так. Почему бы нам не обосновать, что они пишут ординарную программку. Мы используем классы из системного места.

Сначала нам пригодится завести в системе ODBC-запись для связи с нашей базой, т.е. сделать новейший DSN (Data Source Name, имя источника данных). В Windows ХР это делается последующим образом.

Загрузим Панель управления (Control Panel) Windows (меню Запуск (Start)) и переключимся к традиционному виду (рис. 9.6).

Рис. 9.6. Традиционный вид панели управления Windows ХР

Меня зовут Цезарь Валенсюк. Моя мечта — посодействовать остальным людям, которые начинают свое программирование. Если вы желаете посодействовать мне употреблять одну из клавиш понизу либо добавить комментарий. Столбцы, первичные ключи и остальные индексы сейчас могут быть добавлены в существующую таблицу. Этот флаг делает этот символ байтового б.

Этот флаг сохраняет знаки новейшей строчки, заключая их в знаки с 2-мя кавычками. Котировки Команда экспорта поддерживает одиночные либо двойные кавычки в аргументах, которые разрешают именам таблиц и именам файлов содержать внедренные пробелы и остальные особые знаки.

Поочередно выберем пункты Администрирование (Administrative tools) и Источники данных (ODBC) (Data sources (ODBC)). В показавшемся диалоговом окне выберем вкладку Системный DSN (System DSN), что дозволит сделать DSN, доступный всем юзерам компа (рис. 9.7).

Рис. 9.7. Админ источников данных ODBC в Windows ХР

Шаг 1: Подготовка к привязке

Снутри кавычек поддерживается оборотное слэш последующих особых знаков. Вы сможете сходу ссылаться на несколько объектов. . Изучите начальные данные для последующего. Доступ поддерживает до 255 полей в таблице, потому сплетенная таблица будет включать лишь 1-ые 255 полей объекта, к которому вы привязываетесь. Потому, если у вас уже есть иная таблица с этим же именованием, новое имя связанной таблицы имеет добавление 1, к примеру «Контакты». Когда операция привязки завершена, вы сможете узреть новейшую связанную таблицу либо новейшие таблицы, связанные в области переходов.

В данной для нас статье желаю поведать как просто сделать из командной строчки в Windows XP.
ODBC строчки подключения бывают Пользовательские, другими словами доступны для текущего юзера; Системные — доступны для всех юзеров компа и Файловые. Я использую системные. Для что совершенно необходимо создавать из командной строчки? Ведь можно просто зайти в и сделать необходимое соединение с базой вручную. Да, совсем правильно, можно и так. Но! Если у вас много компов? А если вы передаете собственный дистрибутив программки заказчику на самостоятельную установку? Проще созодать это из командной строчки.

Итак, для сотворения новейшего источника данных (либо еще можно сказать — алиаса) ODBC из командной строчки я использую встроенную в Windows XP утилиту odbcconf.exe . Вызвав «odbcconf /?» можно поглядеть ключи пуска. Всё весьма просто: для сотворения системного источника нам нужен параметр CONFIGSYSDSN .
Проще будет показать примеры готовых cmd файлов.
Этот пример указывает создание источника данных с именованием Alias базы MyBase для MS SQL сервера на сервере с именованием SERVER и аутентификацией Windows:

Шаг 1: Готов к ссылке

Крайние данные. Щелкните правой клавишей мыши таблицу в области переходов и изберите «Управляемые таблицы» в контекстном меню. Автоматическая переводная обмолвка: эта статья была переведена на it систему без вмешательства человека. Так как статья была переведена на комп, она может содержать словарный припас, синтаксис либо ошибки грамматики. По мере необходимости обратитесь к админу базы данных за информацией о связи. Вы сможете связать несколько объектов за раз. . Просмотрите начальные данные и вызовите последующие советы.

Odbcconf CONFIGSYSDSN «SQL server» «DSN=Alias|Server=SERVER|database=MyBase|Trusted_Connection=Yes»

Пример сотворения источника для MS Access с именованием Client для таблицы C:client.mdb:

Тут Имя юзера DBA , пароль pass , описание Client .

Видно, что для всякого типа источника, будь то MS SQL, Access либо Visual FoxPro, необходимы различные имена характеристик. Все их знать не непременно. И вот здесь весьма обычная хитрость. Даже не хитрость, а так 🙂
Все системные источники данных хранятся в реестре Windows. Путь их хранения: . Если необходимо сделать источник данных для хоть какого драйвера БД, я вручную создаю его через Панель управления — Администрирование — Источники данных (ODBC) , потом открываю реестр, нахожу сделанный источник и в его значениях все эти имена характеристик как на ладошки. К примеру, нам необходимо выяснить какие характеристики будут необходимы в командной строке для сотворения источника подключения к Excel. Для этого вручную создаем источник с именованием test к файлу c:test.xls . Смотрим в реестр и лицезреем:

Шаг 2: Ссылка на данные

Доступ поддерживает не наиболее 255 полей в таблице, потому сплетенная таблица содержит лишь 1-ые 255 полей связанного объекта. Итак, у вас уже есть таблица с таковым же именованием, добавив 1 к новенькому имени связанной таблицы, к примеру «Контакты». Нажмите «ОК», а в разделе «Таблицы» щелкните каждую таблицу либо представление, которое вы желаете сравнить, и нажмите «ОК».

Опосля окончания операции связывания вы сможете узреть новейшую связанную таблицу либо таблицы в навигационной панели. Когда вы открываете связанную таблицу либо начальный объект, вы видите самые крайние данные. В области навигации щелкните правой клавишей мыши таблицу, а потом в контекстном меню изберите «Связанный менеджер таблиц». Установите флаг рядом с каждой связанной таблицей, которую вы желаете обновить, либо нажмите «Все теги», чтоб избрать все связанные таблицы. Примечание: отказ от машинного перевода: эта статья была переведена с внедрением компьютерной системы без вмешательства человека.

Аккуратненько переписываем характеристики и получаем по аналогии с вышеуказанными примерами последующую командную строчку для сотворения такового ODBC подключения:

Odbcconf CONFIGSYSDSN «Microsoft Excel Driver (*.xls)» «DSN=test|DBQ=c:test.xls|DefaultDir=C:|Description=Test»

Итак, что мы имеем. Варьируя вручную характеристики алиаса из Панели Управления и следя итог в реестре Windows по адресу HKEY_LOCAL_MACHINESOFTWAREODBCODBC.INI , можно сделать хоть какой ODBC алиас из командной строчки Windows.

Эта статья была переведена с внедрением машинного перевода и может содержать глоссарий, синтаксис либо грамматические ошибки. Если поток документов невелик, вы также сможете иметь ручной веб-портал. Перед пуском интеграционного проекта нужно заблаговременно создать лучшую архитектуру входа в систему. Нужно решить, как данные будут экспортироваться и импортироваться в систему учета, какой формат файла будет, какой канал более подступает и т.д. при выбирании принципиально учесть нужную функциональность, простоту использования и стоимость реализации проекта.

Это всё. Если есть вопросцы либо у Вас есть что дополнить к данной для нас теме, пишите в комментах.

Акселерометр (либо G-sensor) — датчик положения устройства в пространстве. В качестве главный функции, акселерометр употребляется для автоматического конфигурации ориентации изображения на мониторе (вертикальной либо горизонтальной). Также, G-sensor применяетс

Почти все недоброжелатели винят компанию Самсунг в том, что ее телефоны похожи друг на друга, что одну линейку просто перепутать с иной. Естественно, в этих словах есть толика правды, но вот настоящий юзер никак от этого не мучается. Так, Самсунг Gala

UC Browser — пользующийся популярностью резвый браузер для Android устройств. Содержит режим «Турбо» для сжатия страничек и высочайшей скорости загрузки веб-сайтов. Центр приложений и дополнений, позволяющих расширить способности браузера. Приватный режим делает интернет-серфи

Подключение Excel к MySQL

Естественно, Excel употребляется для электрических таблиц, но понимаете ли вы, что вы сможете подключить Excel к наружным источникам данных? В данной для нас статье мы собираемся обсудить, как подключить электрическую таблицу Excel к таблице базы данных MySQL и употреблять данные в таблице базы данных для наполнения нашей электрической таблицы. Есть несколько вещей, которые для вас необходимо создать, чтоб приготовиться к данной для нас связи.

подготовка

Во-1-х, вы должны загрузить самую последнюю версию драйвера Open Database Connectivity (ODBC) для MySQL. Текущий драйвер ODBC для MySQL быть может размещен в

Опосля загрузки файла удостоверьтесь, что вы проверили его хэш-код md5, обозначенный на страничке загрузки.

Дальше для вас необходимо будет установить лишь что загруженный драйвер. Два раза щелкните файл, чтоб начать процесс установки. Опосля окончания процесса установки для вас будет нужно сделать имя источника базы данных (DSN) для использования с Excel.

Создание DSN

DSN будет содержать всю информацию о соединении, нужную для использования таблицы базы данных MySQL. В системе Windows для вас необходимо будет надавить Запуск, потом Панель управления, потом Администрирование, потом Источники данных (ODBC). Вы должны узреть последующую информацию:

Направьте внимание на вкладки на изображении выше. Пользовательский DSN доступен лишь юзеру, который его сделал. Системный DSN доступен хоть какому, кто может войти в систему. Файл DSN — это файл .DSN, который можно транспортировать и употреблять в остальных системах, в каких установлены те же ОС и драйверы.

Чтоб продолжить создание DSN, нажмите клавишу «Добавить» в правом верхнем углу.

Может быть, для вас придется прокрутить вниз, чтоб узреть драйвер MySQL ODBC 5.x. Если его нет, означает, что-то пошло не так с установкой драйвера в разделе Подготовка этого поста. Чтоб продолжить создание DSN, удостоверьтесь, что драйвер MySQL ODBC 5.x выделен, и нажмите клавишу Готово. Сейчас вы должны узреть окно, схожее приведенному ниже:

Дальше для вас необходимо будет предоставить информацию, нужную для наполнения формы, показанной выше. База данных и таблица MySQL, которые мы используем для этого поста, находятся на компе разраба и употребляются лишь одним человеком. Для «производственных» сред предлагается сделать новейшего юзера и предоставить новенькому юзеру лишь привилегии SELECT. В дальнейшем вы сможете предоставить доп привилегии, если это нужно.

Опосля того, как вы предоставили данные для конфигурации вашего источника данных, вы должны надавить на клавишу «Тест», чтоб убедиться, что все в порядке. Дальше нажмите на клавишу ОК. Сейчас вы должны узреть имя источника данных, которое вы указали в форме из предшествующего набора, обозначенного в окне админа источника данных ODBC:

Создание подключения к электрической таблице

Сейчас, когда вы удачно сделали новейший DSN, вы сможете закрыть окно ODBC Data Source Administrator и открыть Excel. Открыв Excel, нажмите на ленту данных. Для наиболее новейших версий Excel нажмите «Получить данные», потом «Из остальных источников», потом «Из ODBC».

В наиболее старенькых версиях Excel это мало наиболее непростой процесс. Во-1-х, вы должны узреть что-то вроде этого:

Последующий шаг — щелкнуть ссылку «Соединения», расположенную прямо под словом «Данные» в перечне вкладок. Размещение ссылки Connections обведено красноватым на изображении выше. Для вас обязано быть представлено окно Соединения с рабочей книжкой:

Последующим шагом является нажатие на клавишу Добавить. Это откроет для вас окно имеющихся соединений:

Разумеется, вы не желаете работать ни с одним из перечисленных соединений. Потому нажмите клавишу «Обзор для наиболее». Это откроет для вас окно выбора источника данных:

Как и в прошлом окне «Имеющиеся подключения», вы не желаете употреблять подключения, перечисленные в окне «Выбор источника данных». Потому вы желаете два раза щелкнуть по папке + Connect to New Data Source.odc. При всем этом вы должны узреть окно мастера подключения данных:

Беря во внимание перечисленные варианты выбора источника данных, вы желаете выделить ODBC DSN и надавить Дальше. На последующем шаге мастера подключения к данным отобразятся все источники данных ODBC, доступные в применяемой вами системе.

Возлагаем надежды, что если все идет по плану, вы должны узреть DSN, сделанный на прошлых шагах, в перечне источников данных ODBC. Выделите его и нажмите «Дальше».

Последующим шагом мастера подключения к данным является сохранение и окончание. Поле названии файла обязано быть заполнено автоматом. Вы сможете предоставить описание. Описание, использованное в этом примере, самоочевидно для хоть какого, кто может его употреблять. Потом нажмите клавишу Готово в правом нижнем углу окна.

Сейчас вы должны возвратиться к окну Workbook Connection. Соединение для передачи данных, которое вы лишь что сделали, обязано быть перечислено:

Импорт данных таблицы

Вы сможете закрыть окно подключения к книжке. Нам необходимо надавить на клавишу «Имеющиеся подключения» на ленте данных Excel. Клавиша «Имеющиеся подключения» обязана быть размещена слева на ленте данных.

При нажатии на клавишу «Имеющиеся подключения» раскроется окно «Имеющиеся подключения». Вы лицезрели это окно на прошлых шагах, сейчас разница в том, что ваше подключение для передачи данных обязано быть обозначено вверху:

Удостоверьтесь, что подключение для передачи данных, сделанное на прошлых шагах, выделено, а потом нажмите клавишу «Открыть». Сейчас вы должны узреть окно Import Data:

В этом сообщении мы будем употреблять опции по дефлоту в окне «Импорт данных». Дальше нажмите на клавишу ОК. Если у вас все вышло, вы должны сейчас представить данные таблицы базы данных MySQL на вашем рабочем листе.

Для этого поста таблица, с которой мы работали, имела два поля. 1-ое поле представляет собой поле INT с автоматическим приращением под заглавием ID. 2-ое поле — VARCHAR (50) и именуется fname. Наша крайняя таблица смотрится приблизительно так:

Как вы, наверняка, увидели, 1-ая строчка содержит имена столбцов таблицы. Вы также сможете употреблять стрелки раскрывающегося перечня рядом с именами столбцов для сортировки столбцов.

Заворачивать

В этом посте мы разглядели, где отыскать крайние драйверы ODBC для MySQL, как сделать DSN, как сделать соединение данных электрической таблицы при помощи DSN и как употреблять соединение данных электрической таблицы для импорта данных в электрическую таблицу Excel. Услаждайтесь!

Интересно почитать: Как в эксель сделать заголовок таблицы на каждой странице