Google Colaboratory

1 ：デフォルトの名無しさん：2021/05/03(月) 10:35:40.91 ID:fmjSWVjG.net

https://colab.research.google.com/

▼特徴
・無料
・各種googleサービスと連携可能
・GPU、TPUも無料
・プライベート開発も共有開発もできる
・機械学習系ライブラリもすぐ使える
・

83 ：デフォルトの名無しさん：2021/12/12(日) 00:48:42.97 .net

st.date_input
タイムゾーン設定が無い？ので
st側のUTCでのmin_value　＜　min_valueの日本時間の日付け
となるとエラー起こる
今だと
UTCは１１日　＜　Asia/Tokyoは１２日
colab関係ないけど

84 ：デフォルトの名無しさん：2021/12/15(水) 16:57:37.87 .net

ToDoアプリ（fastapi+sqlalchemy+streamlit）
https://colab.research.google.com/drive/1NpT9PcLUjW8YqvT4G_NvRm8M9n6GizSH

今のところStreamlitの使いにくいとこ
・ページ遷移操作やポップアップがやや難
・ボタンの配置位置など自由度が難

85 ：デフォルトの名無しさん：2021/12/15(水) 21:34:29.83 .net

Streamlitのページ遷移部分だけ抜き出し
https://colab.research.google.com/drive/1umgL56FKBlTkNUQMk2DMGUmeIuAQMMUB

st.session_state使えばいいのはわかったが癖がある
こういうやり方であってるのかもわからない状態
・通常の画面切り替え、ページ飛び
・ポップアップ
・戻る
これができれば大抵のことができるだろうというページ遷移３選

未解決
・ボタン配置が縦並び
・ポップの二重クリック

86 ：デフォルトの名無しさん：2021/12/18(土) 15:41:58.19 .net

タブを複製しやすいようにした　>>85
https://colab.research.google.com/drive/1umgL56FKBlTkNUQMk2DMGUmeIuAQMMUB

もしタブのListを複製したものを加えたいなら
Listのelif以下を丸々コピペしてさらにTAB名をList2に書き換えて、
st.sidebar.selectboxに"List2"を追加するだけ
https://colab.research.google.com/drive/1RlxWOH3128zf231wk3HzlXV0iBNg4emn

87 ：デフォルトの名無しさん：2021/12/21(火) 14:50:45.39 .net

st.spinnerはwithスコープ内の処理も消えてくれたらいいのにな

88 ：デフォルトの名無しさん：2021/12/23(木) 22:04:16.45 .net

st.empty()と.container()便利だな・・
これ使えばページ遷移９割解決しそう

89 ：デフォルトの名無しさん：2021/12/26(日) 19:25:49.44 .net

empty()使ったらStreamlitでページ遷移は９割できた
その他まとめ

簡易版
https://colab.research.google.com/drive/1M7vXfYIeLed1u-awzd39u6PU-tCGNC0W

Streamlitページ遷移まとめ
https://colab.research.google.com/drive/1umgL56FKBlTkNUQMk2DMGUmeIuAQMMUB

ToDoアプリ（fastapi+sqlalchemy+streamlit）
https://colab.research.google.com/drive/1NpT9PcLUjW8YqvT4G_NvRm8M9n6GizSH

90 ：デフォルトの名無しさん：2021/12/28(火) 06:53:56.62 .net

streamlit 最低限のテンプレ
https://colab.research.google.com/drive/1og0_bNY34dLozye0pm73mUMRmIRwUlgy

91 ：デフォルトの名無しさん：2021/12/28(火) 13:03:16.95 .net

雑だがStreamlitで集合写真の画像読み込んで番号割り当てるやつ
https://colab.research.google.com/drive/1WORBn4ULF9krgCV9DpiqeZMo11iaDMxQ

参考
https://i.imgur.com/yQ2pl0U.jpg

「URL」から「ファイル参照」から、どちらも対応
斜め顔だったり横顔は未対応
顔の当たり反応も省略（番号が他人の顔にかぶるときがある）

92 ：デフォルトの名無しさん：2021/12/28(火) 14:16:59.18 .net

haarcascade_frontalface_alt2.xmlにしたら斜めの顔も認識するようになったので変更しといた >>91

93 ：デフォルトの名無しさん：2021/12/31(金) 18:31:46.34 .net

youtubeダウンロードするやつ
https://colab.research.google.com/drive/1A1arSrbxtzSOz3UfpeUzzLGsSUZngYWc

・動画個別保存、チャンネル一括保存の両方対応
・画質設定 best,1080p,720p,480p,360p,240p,144pで保存に対応

無料枠のせいかダウンロードに結構時間かかる
googleにダウンロード後、ローカルにダウンロード
ってなるので結構無駄
ランタイムを出荷時設定にリセットすれば一回こっきり動画消える
１２時間くらい経ってもDLした動画は消える
消したくなければマウントしたgoogleドライブのパスを
download_dirに設定すれば、googleドライブに保存可能

94 ：デフォルトの名無しさん：2022/01/10(月) 17:56:16.91 ID:lW5UiBD2.net

https://github.com/3d-hand-shape/hand-graph-cnn
↑誰かこれ、Colabでお試しできるようにしてくれませんかね|･ω･*)ﾁﾗ
自分でやれ？
出来ましぇん！”

95 ：デフォルトの名無しさん：2022/01/11(火) 16:33:00.70 .net

>>94
opendrがpython3と互換性がなくてpython2でインストールできるけど
かといってpytorchがpython2ではエラーが出るところで詰んだ

96 ：デフォルトの名無しさん：2022/01/11(火) 22:38:29.50 ID:3ynZphxZ.net

>>95
チャレンジしてくれただけでも感謝やで！

97 ：デフォルトの名無しさん：2022/02/14(月) 14:00:13.76 ID:9aNwCEID.net

現在の時間を取得をするとグリニッジ標準時になってしまうんですが、日本時間で使用することはできないでしょうか？

98 ：デフォルトの名無しさん：2022/02/28(月) 02:50:06.31 .net

>>97
変換するしかないと思う
datetimeのtimedeltとpytzで可能
from datetime import datetime, timedelta
import pytz
import time

_jst=pytz.timezone("Asia/Tokyo")
_utc=pytz.timezone("UTC")
def _to_zone(zone=None,due:datetime=datetime.now()):
＿due=due.astimezone(zone)
＿return datetime(due.year,due.month,due.day,due.hour,due.minute,due.second,due.microsecond)
now=datetime.now()
print("colab時間",now)
print("UTC時間　",_to_zone(_utc,now))
print("日本時間 ",_to_zone(_jst,now))

https://colab.research.google.com/drive/1SqkEonzbMmV8EUHdeC_HKO2pJn5nLmko

99 ：デフォルトの名無しさん：2022/05/16(月) 10:59:13 .net

sys.stdout = sys.__stdout__
しても標準出力戻らねぇな

100 ：デフォルトの名無しさん：2022/05/16(月) 11:20:17 .net

一応解決策あった
https://colab.research.google.com/drive/1lmwagu2jX6eVfXOsHbelzdQgav6oFI0_

self.stdout=sys.stdout
を
sys.stdout=self.stdoutに戻したらいけた

101 ：デフォルトの名無しさん：2022/08/02(火) 12:00:33.18 ID:ydYC2/Rd.net

このスレ人いるかな？
ローカルからファイルアップロードするコードを実行するとうまくいかないんだが
クッキーをすべて受け入れる設定にしてもだめっぽい
Upload widget is only available when the cell has been executed in the current browser session. Please rerun this cell to enable.

となってしまう

102 ：デフォルトの名無しさん：2022/08/02(火) 18:13:42.55 ID:67ChPJTw.net

google driveにファイルをアップロードしてgoogle colabでgoogle driveをマウントして使うのはダメなの？

103 ：101：2022/08/02(火) 18:32:54.84 ID:ydYC2/Rd.net

>>102
これを実行しようとしてるんだけど、アップロードの部分でつまってしまうんだよな

https://colab.research.google.com/notebooks/magenta/onsets_frames_transcription/onsets_frames_transcription.ipynb


WSLでMagentaを使ったピアノ耳コピの自動化
https://qiita.com/burugaria7/items/4005724c5d1b5228327e

104 ：デフォルトの名無しさん：2022/08/02(火) 20:11:46.27 ID:Y5fClkUy.net

>>101
そのエラーが出るセルを再実行はした？

105 ：デフォルトの名無しさん：2022/08/02(火) 23:12:50.53 ID:ydYC2/Rd.net

>>104
再実行したけど同じエラーが出るんだよね
ググって調べたけど同じ状況の人がいるっぽいのでcolabでやるのは諦めます
ありがとうございました

106 ：デフォルトの名無しさん：2022/08/03(水) 10:38:26.83 ID:GJzf0Q1S.net

>>105
サードパーティクッキーが無効化されてるとかなんとか
https://github.com/googlecolab/colabtools/issues/17

アップロードの処理をGDriveへの接続と読み出しに変えれば上手くいくと思うよ

107 ：デフォルトの名無しさん：[ここ壊れてます] .net

ngrokもlocaltunnelも使えなくなってんね

108 ：デフォルトの名無しさん：[ここ壊れてます] .net

すみません、質問です
googlecolabのプログラムをローカルのGPUで実行させたいのですが手順通りjupyterから取得したパスを入力してもランタイムに接続できませんとなります
原因が分かる方はいらっしゃいますでしょうか

109 ：デフォルトの名無しさん：2022/09/07(水) 06:07:41.02 ID:zTQPia7N.net

すみません、やり直したらできました理由は分かっていませんが
お騒がせしました

110 ：デフォルトの名無しさん：2022/09/15(木) 17:40:05.08 ID:AD4jkwND.net

meboっていうチャットボット用の外部ソフトをgooglecolabのAPIで操作したいのですがつまづいてます。誰か助けて　mebo:　ttps://mebo.work/　meboの説明書：ttps://zenn.dev/makunugi/books/f3d9eb62b6d133/viewer/f0c36f#%E3%81%93%E3%81%AE%E3%83%81%E3%83%A3%E3%83%97%E3%82%BF%E3%83%BC%E3%81%AE%E3%82%B4%E3%83%BC%E3%83%AB
import requests


def main():


apikey="ｘｘｘｘｘｘｘ"

agentid="ｙｙｙｙｙｙ"

uidp="ｚｚｚｚｚ"

hatugen="おはよう"

api_url = "https://api-mebo.dev/api"



payload = {"api_key": apikey, "agent_id": agentid, "utterance":hatugen,"uid":uidp}


response = requests.post(api_url, data=payload)

print(response.json())


if __name__=="__main__":

main()
出力は　rpc error: code = InvalidArgument desc = Document name "projects/mabo-f1cc7/databases/(default)/documents/bots/" has invalid trailing "/".

111 ：デフォルトの名無しさん：2022/09/17(土) 12:19:34.12 ID:kn9qAbXr.net

>>110
解決しました。>>110のレスは無視してください。

112 ：デフォルトの名無しさん：2022/12/11(日) 17:42:44.73 ID:I4kEKa1h.net

マウントするドライブを共有ドライブに変えたいのですが、drive.mount('/content/gdrive')はどの様に記述すれば良いですか？

113 ：デフォルトの名無しさん：2022/12/12(月) 17:22:18.67 ID:8RqsHyNm.net

共有ドライブって、googleドライブのマイドライブの中の
共有化されたディレクトリだとするなら

マウントは
from google.colab import drive
drive.mount("/content/drive")

アクセスは
!cd /content/drive/MyDrive/共有ディレクトリやファイル && ls
でできたけど

114 ：デフォルトの名無しさん：2023/01/06(金) 23:03:48.53 ID:d87TyPxV.net

以前はGoogleドライブが My Driveとスペースが付いていて
それでColaboratoryで使いにくかったんだよなあ
改善されて良くなったよ

コラボ問題

115 ：デフォルトの名無しさん：2023/02/02(木) 09:06:56.27 ID:bvOKiq3l.net

自動保存ってオフに出来ないの？

116 ：デフォルトの名無しさん：2023/02/04(土) 14:37:48.87 ID:lJVKcEws.net

GPU不要でメモリ512GBの環境が欲しいのですが、Colaboratoryで安く計算できたりしますか？

117 ：sage：2023/02/24(金) 17:09:14.93 ID:rMJnFhEb.net

>>113
>共有ドライブって、googleドライブのマイドライブの中の
複数のユーザーに、私のドライブ内の"publicData"のドライブに次のように
　from google.colab import drive
　drive.mount("/xxx/yyy/drive/publicData")
アクセスさせることは可能でしょうか？

118 ：デフォルトの名無しさん：2023/03/10(金) 17:23:14.65 .net

前はpython3.8だったような気がするけどここ最近Python 3.9.16に更新されたっぽい？
昨日大丈夫だったtensorflow==2.4.1でついさっきpipインストールエラーでて気づいたわ

119 ：デフォルトの名無しさん：2023/03/10(金) 17:23:34.78 ID:tiZC5u0g.net

前はpython3.8だったような気がするけどここ最近Python 3.9.16に更新されたっぽい？
昨日大丈夫だったtensorflow==2.4.1でついさっきpipインストールエラーでて気づいたわ

120 ：デフォルトの名無しさん：2023/03/10(金) 22:35:02.70 ID:R6svC8t4.net

それな
requirements.txtの読み込みにめちゃくちゃ時間かかるしコンパイルをアップグレードしたり消したりするのがめんどいしこれは知らんが実行中から進まないことが多くなった

121 ：デフォルトの名無しさん：2023/03/11(土) 07:13:37.03 ID:LTSyWEUy.net

有料プランだと4090かそれ以上に速くてメモリも多かったりする？

122 ：デフォルトの名無しさん：2023/03/12(日) 11:13:32.68 ID:ufiNDXu67

>>120
Building wheels〜で時間が掛かってるなら、その時.whlファイルができてるので
保存して再利用するといい

123 ：デフォルトの名無しさん：2023/03/15(水) 14:01:33.47 ID:emhXmBz+.net

A100でも処理速度は4090と大差ないんじゃないかな
その代わりA100のメモリは40GBで4090の24GBよりも多い
GPUガチャで当たればの話だが
外れるとV100とかT4がでる
V100はまだマシだがT4は推論用GPUという位置付けなので機械学種に使うには遅い
またどちらにせよ24時間で処理が外されるので１日以上かかるような処理が必要な
場合には別のクラウドで環境を作るか、4090でローカル環境を作った方がいい

124 ：デフォルトの名無しさん：2023/03/30(木) 07:20:07.01 ID:cdWb2547.net

ジュピターノートブックでRとPython同時に使うことはできる？
colab上じゃなくてもVscodeで出来る、とかあるなら教えてほしい

125 ：デフォルトの名無しさん：2023/04/04(火) 17:54:01.13 ID:fd1Y8RFi.net

すごいなハイメモリは
今まで3～4時間で落ちてたのが12時間保ったよ

126 ：デフォルトの名無しさん：2023/05/06(土) 01:00:00.47 ID:ubs5Yepd.net

webサービスに依存するの抵抗ない？
RSSリーダーを思い出すよ
まぁ、終了告知くるまで使うだけ、なのかな？

127 ：デフォルトの名無しさん：2023/05/08(月) 04:49:32.16 ID:pk+n6/JV.net

GPUガチャが無くなって素晴らしいサービスになった
paperspaceより確実にA100取れるし
てかNvidiaこそGPU余ってんだからサブスクしろと言いたい

128 ：デフォルトの名無しさん：2023/05/09(火) 02:18:33.36 ID:ncIXrPHP.net

きっと、支払ってる料金だけじゃ成り立たないんじゃん？

129 ：デフォルトの名無しさん：2023/05/09(火) 08:34:04.22 ID:IPFiZn4H.net

OpenCL、動かなくね？
clinfoで0のまま。下で動くようにはなった。Googleチェックしてんの？
!apt-get install --yes nvidia-cuda-toolkit

130 ：デフォルトの名無しさん：2023/06/28(水) 13:52:52.02 ID:BVdlIcNn.net

漠∞！！！！
列∞！！！！！
廷∞！！！！！！
機∞！！！！！！！
個∞！！！！！！！！
図∞！！！！！！！！！
寿∞！！！！！！！！！！
非∞！！！！！！！！！！！
蘭∞！！！！！！！！！！！！
武∞！！！！！！！！！！！！！
哥∞！！！！！！！！！！！！！！
陽∞！！！！！！！！！！！！！！！
帳∞！！！！！！！！！！！！！！！！
翔∞！！！！！！！！！！！！！！！！！
寿∞！！！！！！！！！！！！！！！！！！

131 ：デフォルトの名無しさん：2023/10/14(土) 13:51:00.88 ID:4/nd+ugw.net

なんで、ヒーローは技名を叫びながら必殺技繰り出すの？

132 ：デフォルトの名無しさん：2024/03/15(金) 16:23:39.87 ID:lQ3WcxI8.net

ここって、Davinciの動画書き出しとかに使ってもいいの？