400-650-7353

精品課程

您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】HDFS API之客戶端環境準備

【大數據基礎知識】HDFS API之客戶端環境準備

  • 發布: 大數據培訓
  • 來源:大數據干貨資料
  • 2021-03-05 12:07:35
  • 閱讀()
  • 分享
  • 手機端入口

在HDFS API編程之前,我們首先需要把HDFS客戶端環境準備好。

1.根據自己電腦的操作系統拷貝對應的編譯后的hadoop jar包到非中文路徑(例如:D:\Develop\hadoop-2.7.2),如圖1所示

圖1 編譯后的hadoop jar包

2.配置HADOOP_HOME環境變量,如圖2所示

圖2 配置HADOOP_HOME環境變量

3. 配置Path環境變量,如圖3所示

圖3 配置Path環境變量

如果配置成功,可以使用hadoop -version進行校驗,如果報錯:提示JAVA_HOME incorrect,問題原因是由于jdk目錄配置中有空格,比如安裝在c盤下jdk,路徑一般是默認為

C:\program file\Java\jdk1.8.0_144,由于路徑中有空格,所以會報錯。

解決方法:在解壓后的Hadoop安裝包中的etc目錄中找到hadoop-env.cmd(注意windows需要修改hadoop-env.cmd,linux中修改的是hadoop-env.sh),找到配置的JAVA_HOME

改為:C:\PROGRA~1\Java\jdk1.8.0_144

4.創建一個Maven工程HdfsClientDemo

5.導入相應的依賴坐標+日志添加

注意:如果eclipse/idea打印不出日志,在控制臺上只顯示

需要在項目的src/main/resources目錄下,新建一個文件,命名為“log4j.properties”,在文件中填入:

6.創建包名:com.root.hdfs

7.創建HDFSApp類

學習疑問申請解答
您的姓名
您的電話
意向課程
 

中公優就業

IT小助手

掃描上方二維碼添加好友,請備注:599,享學習福利。

>>本文地址:
注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

推薦閱讀

優就業:ujiuye

關注中公優就業官方微信

  • 關注微信回復關鍵詞“大禮包”,享學習福利
QQ交流群
在線疑問解答
(加群備注“網站”)
IT培訓交流群 加入群聊 +
軟件測試 加入群聊 +
全鏈路UI/UE設計 加入群聊 +
Python+人工智能 加入群聊 +
互聯網營銷 加入群聊 +
Java開發 加入群聊 +
PHP開發 加入群聊 +
VR/AR游戲開發 加入群聊 +
大前端 加入群聊 +
大數據 加入群聊 +
Linux云計算 加入群聊 +
優就業官方微信
掃碼回復關鍵詞“大禮包”
享學習福利

測一測
你適合學哪門IT技術?

1 您的年齡

2 您的學歷

3 您更想做哪個方向的工作?

獲取測試結果
 
課程資料、活動優惠 領取通道
 
 
国产超级VA在线观看视频|久久99国产综合精品女同|免费高清A片特级午夜毛片