暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Databricks命令行界面(CLI)指南

原创 花飞墨 2022-09-24
878

image.png

Databricks命令行界面是最方便的CLI之一,当你在使用Databricks notebook时,它可以帮助你。它是Databricks平台的一个易于使用的界面,它建立在Rest API 2.0之上。

开始Databricks CLI

安装DBCLI

为了安装CLI,你必须在本地机器有这些前提。

  • Python2(2.79及以上版本)或Python3(3.6及以上版本)。
  • PIP(Preferred Installer Program)。
# For installing the CLI
pip install databricks-cli

#For Updating the CLi
pip install databricks-cli --upgrade

#In order to get the version of your DBCLI
databricks -v

安装认证

现在,为了从云端访问你的资源,你需要在本地机器中设置databricks云证书细节,文件名为~/.databrickscfg。你可以使用以下命令来存储凭证:

#This command will let you add the host name 
databricks configure --token

#Output of the above command
Databricks Host (should begin with https://):

你也可以使用用户名和密码来代替token,但databricks不推荐这样做。0.8.0以上版本的CLI支持以下环境变量。

  • databricks_host
  • databricks_username
  • databricks_password
  • databricks_token

以下是使用CLI的例子。

databricks --profile AZURE fs cp -r <src> <desitnation>

有用的Databricks CLI命令

DBFS CLI

Databricks文件系统CLI是专门用来执行基本操作的,如移动、删除、复制等。

但在使用DBFS CLI进行操作时,你需要小心,即包含超过10k的文件,这可能导致超时的情况。

在这种情况下,可以使用文件系统工具(dbutils.fs)。

  • 列出一个文件的内容

    databricks --profile AWS fs cat dbfs:/my-temp/aTextFile.txt
    // Output
    This is the DB CLI Blog
    
  • 复制一个文件

    databricks --profile AZURE dbfs:/my-temp/aTextFile.txt /home/ravi/myNas 
    
  • 创建一个目录

    databariks fs mkdirs dbfs:/tmp/new-dir
    
  • 删除一个文件

    databricks fs rm dbfs:/my-temp/aTextFile.txt
    

结论

如果你还想了解更多关于Databricks CLI的信息,你可以点击下面链接参考官方文档。

如果你喜欢我的博客,那么请点击这里查看更多博客。

参考

https://docs.databricks.com/getting-started/overview.html

原文标题:A Guide to Databricks Command-Line Interface(CLI)
原文作者:Raviyanshu
原文地址:a-guide-to-databricks-command-line-interface-cli

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论