-
Notifications
You must be signed in to change notification settings - Fork 1
docs サイトを Docusaurus へ刷新+チュートリアル/GPU使い方ガイドを追加 #25
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Changes from all commits
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,40 @@ | ||
| name: Deploy Docusaurus to GitHub Pages | ||
|
|
||
| on: | ||
| push: | ||
| branches: [master] | ||
| workflow_dispatch: | ||
|
|
||
| permissions: | ||
| contents: read | ||
| pages: write | ||
| id-token: write | ||
|
|
||
| concurrency: | ||
| group: pages | ||
| cancel-in-progress: false | ||
|
|
||
| jobs: | ||
| build: | ||
| runs-on: ubuntu-latest | ||
| steps: | ||
| - uses: actions/checkout@v4 | ||
| - uses: actions/setup-node@v4 | ||
| with: | ||
| node-version: 20 | ||
| cache: npm | ||
| - run: npm ci | ||
| - run: npm run build | ||
| - uses: actions/upload-pages-artifact@v3 | ||
| with: | ||
| path: build | ||
|
|
||
| deploy: | ||
| needs: build | ||
| runs-on: ubuntu-latest | ||
| environment: | ||
| name: github-pages | ||
| url: ${{ steps.deployment.outputs.page_url }} | ||
| steps: | ||
| - id: deployment | ||
| uses: actions/deploy-pages@v4 |
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,20 @@ | ||
| # Dependencies | ||
| /node_modules | ||
|
|
||
| # Production | ||
| /build | ||
|
|
||
| # Generated files | ||
| .docusaurus | ||
| .cache-loader | ||
|
|
||
| # Misc | ||
| .DS_Store | ||
| .env.local | ||
| .env.development.local | ||
| .env.test.local | ||
| .env.production.local | ||
|
|
||
| npm-debug.log* | ||
| yarn-debug.log* | ||
| yarn-error.log* |
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,41 @@ | ||
| # Website | ||
|
|
||
| This website is built using [Docusaurus](https://docusaurus.io/), a modern static website generator. | ||
|
|
||
| ## Installation | ||
|
|
||
| ```bash | ||
| yarn | ||
| ``` | ||
|
|
||
| ## Local Development | ||
|
|
||
| ```bash | ||
| yarn start | ||
| ``` | ||
|
|
||
| This command starts a local development server and opens up a browser window. Most changes are reflected live without having to restart the server. | ||
|
|
||
| ## Build | ||
|
|
||
| ```bash | ||
| yarn build | ||
| ``` | ||
|
|
||
| This command generates static content into the `build` directory and can be served using any static contents hosting service. | ||
|
|
||
| ## Deployment | ||
|
|
||
| Using SSH: | ||
|
|
||
| ```bash | ||
| USE_SSH=true yarn deploy | ||
| ``` | ||
|
|
||
| Not using SSH: | ||
|
|
||
| ```bash | ||
| GIT_USER=<Your GitHub username> yarn deploy | ||
| ``` | ||
|
|
||
| If you are using GitHub pages for hosting, this command is a convenient way to build the website and push to the `gh-pages` branch. |
This file was deleted.
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,59 @@ | ||
| --- | ||
| title: GPUの上手な使い方(混雑を避ける) | ||
| sidebar_position: 0 | ||
| description: 6枚のGPUをみんなで気持ちよく使うための、枠の選び方と最低限のマナー。 | ||
| --- | ||
|
|
||
| # GPUの上手な使い方(混雑を避ける) | ||
|
|
||
| AICのGPUは **6枚を全員で共有** しています。少し気をつけるだけで待ち時間が減り、みんなが使いやすくなります。このページは「**どの枠を使えばいいか**」と「**最低限のマナー**」の早見表です。 | ||
|
|
||
| :::tip 3秒まとめ | ||
| **GPUが要らない作業はCPUで/対話は1枚で短く(放置すると自動で返却)/本番の学習はバッチに投げる/1人 同時2枚まで。** | ||
| ::: | ||
|
|
||
| ## どの枠を使う?(早見表) | ||
|
|
||
| | やりたいこと | おすすめの枠 | GPU | 時間の目安 | | ||
| |---|---|---|---| | ||
| | コードを書く・データ前処理・可視化(GPU不要) | **CPU Jupyter** | 0 | ゆるめ・人数制限なし | | ||
| | ちょっと試す・デバッグ・対話的に回す | **GPU Jupyter**(`gpu-interactive`) | 1 | 〜2時間・**放置で自動返却** | | ||
| | 動作確認・お試しジョブ | バッチ(`gpu-short`) | 1 | 〜1時間 | | ||
| | **本番の学習**(時間がかかる) | **バッチ(`gpu-standard`)** | 1〜 | 〜24時間 | | ||
| | 大規模・多GPU(NVLink) | バッチ(`gpu-strong`・**要申請**) | 〜4 | 〜36時間 | | ||
| | 空いてる時だけ急いで回したい | `scavenger`(**中断あり**) | 空き次第 | 〜24時間 | | ||
|
|
||
| :::note 「対話(Jupyter)」と「バッチ(sbatch)」の違い | ||
| - **対話**=画面の前で少しずつ試す。**GPUを握りっぱなし**になりやすい → 1枚・短時間・放置しない。 | ||
| - **バッチ**=学習スクリプトを投げて待つ。**終わったらGPUを自動で手放す** → 本番の学習はこちらが効率的。 | ||
| ::: | ||
|
|
||
| ## 守ってほしいこと(みんなのため) | ||
|
|
||
| 1. **使い終わったら返す** — Jupyterは **My Interactive Sessions → Delete** でセッションを消す。放置はGPUの空占有になります(一定時間アイドルだと**自動で回収**されます)。 | ||
| 2. **GPUが要らない作業はCPUで** — 前処理・コード書き・結果確認は CPU Jupyter で。GPUは「実際に計算する時」だけ。 | ||
| 3. **長い学習は checkpoint** — 途中状態を `/share/<ユーザー名>` に保存しておけば、時間切れや中断(`scavenger` 等)からも再開できます。 | ||
| 4. **ひとりじめしない** — 1人が同時に使えるのは **2枚まで**。もっと必要なときは申請を。 | ||
|
|
||
| ## 上限と申請 | ||
|
|
||
| - **1人 同時2枚** が基準です(`gpu-standard` 等のバッチ)。 | ||
| - 多GPU学習など **恒常的に多く要る** 場合は `gpu-strong`(最大4枚)を**申請制**で。 | ||
| - 締切前など **一時的に多く確保** したい場合も申請で対応します。窓口:`aic-server-group@keio.jp`。 | ||
|
|
||
| ## 困ったとき | ||
|
|
||
| | 症状 | 主な原因 | 対処 | | ||
| |---|---|---| | ||
| | ジョブがずっと `PENDING` | GPUが埋まっている/上限に当たった | 少し待つ・GPU数や時間を見直す・`gpu-short` で試す | | ||
| | `Invalid account` で即失敗 | Slurmアカウント未登録 | 管理者に登録依頼 | | ||
| | Jupyter が起動しない(長い Queued) | GPU空き待ち | 待つ・partition/時間を見直す | | ||
|
|
||
| ## 次へ:実際に学習してみる | ||
|
|
||
| 枠の選び方がわかったら、手を動かして学習してみましょう。 | ||
|
|
||
| - [モデル学習①:画像分類(CIFAR-10)](../tutorials/train-image-classifier) | ||
| - [モデル学習②:LLMのLoRAファインチューニング](../tutorials/finetune-llm-lora) | ||
|
|
||
| 困ったときは `aic-server-group@keio.jp` または Discord へ。 |
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -1,4 +1,7 @@ | ||
| # AIC Slurmサーバ(試験運用版)ユーザマニュアル | ||
| --- | ||
| title: Slurm ユーザマニュアル | ||
| sidebar_position: 2 | ||
| --- | ||
|
|
||
| このマニュアルは、AIC(AIコンソーシアム)が提供する **GPUサーバ(Slurm試験環境)** の利用者のためのガイドです。 | ||
| 本サービスは試験運用中であり、利用条件・機能・構成は予告なく変更されることがあります。 | ||
|
|
@@ -87,7 +90,7 @@ scp <local-file> <username>@nadeko:/share/<username> | |
| | `gpu-strong` | 大規模学習(長時間・多GPU想定) | | ||
| | `gpu-interactive` | 対話的デバッグ・短時間実験(`srun --pty` など) | | ||
|
|
||
| > 各パーティションには **GPU数・メモリ・最大実行時間** の上限が設けられています。上限を超える指定はできません。 | ||
| > 各パーティションには **GPU数・メモリ・最大実行時間** の上限が設けられています。上限を超える指定はできません。 | ||
|
Member
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. これはどうして?
Contributor
Author
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 理由も合わせて書いた方が良いという指摘ですかね
Member
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. いや |
||
|
|
||
| 指定例: | ||
|
|
||
|
|
||
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,28 @@ | ||
| --- | ||
| slug: / | ||
| title: はじめに | ||
| sidebar_position: 1 | ||
| --- | ||
|
|
||
| # Keio AIC 計算資源ガイド | ||
|
|
||
| 慶應義塾大学 AIコンソーシアム(AIC)が提供する GPU 計算資源・LLM サービスの使い方ガイドです。 | ||
|
kazeruch marked this conversation as resolved.
|
||
|
|
||
| ## どの入口を使う? | ||
|
|
||
| | 使い方 | 向いている人 | リンク | | ||
| |---|---|---| | ||
| | **OOD(Open OnDemand)** — ブラウザで使う(**推奨**) | これから始める人・GUI で手軽に使いたい人 | [OOD はじめの一歩](./tutorials/ood-getting-started) | | ||
| | **Slurm CLI** — SSH+コマンドで使う | バッチ学習・自動化・上級者 | [Slurm ユーザマニュアル](./guides/slurm-cli) | | ||
| | **LLM Gateway** — ブラウザ/API で LLM を使う | チャットや OpenAI 互換 API で LLM を使いたい人 | [LLM Gateway マニュアル](./guides/llmgateway) | | ||
| | JupyterHub(旧方式) | 既存利用者 | [JupyterHub マニュアル](./guides/jupyterhub) | | ||
| | LXC コンテナ(旧方式) | 既存利用者 | [コンテナマニュアル](./guides/lxc-container) | | ||
|
|
||
| :::tip まずはここから | ||
| ブラウザだけで GPU を使える **OOD** が現在の推奨です。[OOD はじめの一歩](./tutorials/ood-getting-started) を一周すれば、ログインから初めての学習ジョブまで体験できます。 | ||
| ::: | ||
|
|
||
| ## 困ったときは | ||
|
|
||
| - お問い合わせ:`aic-server-group@keio.jp` | ||
| - コミュニティ(Discord):[コミュニティ規約](./community-rules) | ||
Uh oh!
There was an error while loading. Please reload this page.